Robots.txt : un outil puissant parfois méconnu des SEO

Même si, à première vue, vous pensez connaître le fonctionnement de cet outil, découvrez cet article bien complet sur le fichier robots.txt.

Au sommaire :
– Différence entre crawl et indexation : les notions de crawl et indexation
– Robots.txt : un outil pour gérer le crawl (mais aussi… l’indexation)
– Possibilités offertes par le robots.txt : interdire ou autoriser le crawl d’une ressource, interdire l’indexation, déclarer des sitemaps
– La syntaxe : Documentation officielle, quelques exemples d’utilisation
– Et ça fonctionne vraiment ? Est-ce fiable ?
– Trucs & astuces sur le robots.txt
– Warnings et erreurs courantes

Source et article complet : http://www.nicemedia.fr/blog/articles-referencement/robots-txt-un-outil-puissant-et-meconnu-des-seo