06 février 2017
Sources diverses
Attention aux valeurs indiquées dans X-Robots-Tag pour GoogleBot !
Gary Illyes a précisé dans un tweet qu’il fallait prendre garde à la valeur indiquée dans l’entête HTTP X-Robots-Tag destinée à aider ou limiter l’indexation des pages par GoogleBot (et aussi pour d’autres robots). Il faut notamment prendre garde à la valeur « none » qui peut être mal interprétée. Voici sa réaction et quelques indications et exemples de l’entête X-Robots-Tag.