Google signale quand une description est bloquée par un robots.txt

Google affiche dorénavant un message d’information lorsqu’un lien vers une page interdite de crawl est proposée dans ses résultats…

En effet, si une page est ainsi interdite au crawl par Googlebot, elle peut quand même être présente dans les résultats de Google (même si elle n’est pas crawlée) du fait de liens vers elle depuis d’autres pages web.

Source et article complet : http://www.abondance.com/actualites/20120820-11779-google-signale-lorsquune-description-est-bloquee-par-un-fichier-robots-txt.html