Traquer les erreurs de crawl rencontrées par GoogleBot

Au delà de l’aspect traitement des logs afin de mieux comprendre le crawl de Googlebot sur un site pour optimiser le maillage interne et lui faciliter le crawl vers des pages profondes par exemple, voici les différentes erreurs qu’il est susceptible de rencontrer en visitant un site, pour les corriger au plus vite…

A chaque status 404 trouvé par Googlebot, on va s’envoyer un email avec la ligne de log concernée pour mieux identifier la page incriminée. Attention, cet exemple va bien pour des petits sites uniquement…

Source et article complet : http://www.yapasdequoi.com/apache/2318-traquer-les-erreurs-de-crawl-rencontrees-par-googlebot.html