robot.txt – Robots exclusion standard

Standarden robot.txt forteller ganske enkelt en robot for søkemotor hva de skal indeksere å ha tilgang til.

robots.txt forteller roboten til en søkemotor hva som skal indekseres.
Du kan med dette verktøyet utelate en katalog eller fil så en søkerobot ikke indekserer dette.

En søkerobot vil lete etter filen robots.txt for å få instruksjoner til hva den skal gjøre.