Faire crawler les pages ignorées par Googlebot
Lorsque l’on analyse les urls découvertes par un crawler et qu’on les compare à la liste des urls crawlées par Google, on découvre le plus souvent que certaines d’entre elles n’ont pas été visitées par Googlebot.
Le contenu de ces urls est donc inconnu pour Google, et elles ne sont pas indexées.
Le fait qu’une partie des urls d’un site ne soient pas indexées a évidemment un impact négatif sur le trafic SEO capté.
Par contre, la croyance selon laquelle le phénomène de « non indexation » des urls est récent, et/ou de plus en plus fréquent est totalement erronée. Il se passe sur ce sujet la même chose pour les pages non indexées que pour les astéroïdes géocroiseurs : avant d’avoir les bons télescopes et avant qu’on les cherche systématiquement, ils étaient déjà là mais personne ne le savait. On détecte plus facilement les pages non indexées avec les outils SEO modernes, mais cette situation a toujours existé.
