Wat is een robots.txt bestand?
Zoekmachines gebruiken robots ook wel spider bots genoemd om de inhoud van websites te beoordelen. Een spider bot doorzoekt simpelweg alles en dat is vaak niet wenselijk en daarvoor is het bestand robots.txt in het leven geroepen. in dit bestand kunnen we aangeven welke delen van de website niet door de spider bot geindexeerd mogen worden. We willen immers niet dat we gevonden worden op het administratie gedeelte van de site maar ook als de spider door de tijdelijke bestanden zou lopen zou dat hele onwenselijke effecten opleveren. De kans is immers groot dat het bestand niet meer bestaat als de bezoeker er in google op klikt.
Zonder robots.txt bestand doorzoekt de spider bot de site helemaal niet meer. Kortom het bestand is onmisbaar voor de Google optimalisatie van de site. Heeft u een deel wat u liever onzichtbaar wil maken voor de zoekmachine bots, neem dan gerust contact met ons op om dit verder voor u te regelen.