Robots.txt: laissons à Google ce qui lui appartient

Le fichier robots.txt est destiné aux robots (crawlers) comme son nom l’indique. Censé bloquer l’indexation de certaines URL, son efficacité peut parfois laisser songeur… Ils peuvent cepandant être lus par les humains. Il suffit de rajouter /robots.txt à la fin d’une nom de domaine. Et cela peut parfois donner des informations intéressantes aux indiscrets…

Source et article complet : http://www.yapasdequoi.com/apache/2094-robots-txt-laissons-a-google-ce-qui-lui-appartient.html