06 janvier 2014
Abondance
Pas de crawl de votre site si le robots.txt n’est pas disponible
Un googler a indiqué sur un forum que, si le robot du moteur avait des soucis pour lire votre fichier robots.txt, le crawl du site s’arrêtait instantanément…
Source et article complet : http://www.abondance.com/actualites/20140106-13535-google-ne-crawle-pas-votre-site-si-votre-fichier-robots-txt-nest-pas-disponible.html
