Robots.txtProtocole d'exclusion des robots
File indicating parts for web crawlingFichier bloquant aux bots des pages web
The Robots Exclusion Protocol is a standard used by websites to indicate to visiting web crawlers and other web robots which portions of the website they are allowed to visit.Le protocole d'exclusion des robots, souvent nommé robots.txt, est une ressource de format texte qui peut être placée à la racine d'un site web, et qui contient une liste des ressources du site qui sont censées ou non être indexées par…
