Robot Exclusion Standard: Forskelle mellem versioner

Robots.txt, er en file der bliver brugt af søge robotter, til at vise, til søge robotten hvad den skal/må bruge af data fra den aktuelle webside. Der er ikke nogen garanti for at søge robotten over holder brugen af Robots.txt, og dets indhold.

Brugen af Robots.txt er mest brugt som en udelukkelse mekanisme; udelukkelse filer på webside, som ikke skal katalogisetres , indexsetres osv. Mest brugt er nok, en Robots.txt file indholdende;