07 juin 2018
Abondance
Définition de Allow:
Le fichier robots.txt permet d’indiquer aux robots des moteurs de recherche un certain nombre de directives sur leur comportement lorsqu’ils crawlent un site web. La directive Allow: permet, contrairement au Disallow:, d’autoriser cette exploration. Mais attention, elle n’est pas obligatoirement standard !
