A quoi sert le fichier robots.txt

A quoi sert le fichier robots.txt

A quoi sert le fichier robots.txt ?   Le fichier robots.txt est un fichier texte placé à la racine d’un site web qui permet de contrôler l’accès des robots d’exploration (crawlers) des moteurs de recherche à certaines parties du site.  ...