La norme d’exclusion des robots a été élaborée en 1994 afin que les propriétaires de sites Web puissent indiquer aux moteurs de recherche comment explorer leur site.
Placer un fichier robots.txt à la racine de votre domaine vous permet d’empêcher les moteurs de recherche d’indexer des fichiers et des répertoires sensibles. Par exemple, vous pouvez empêcher un moteur de recherche de parcourir votre dossier d’images ou d’indexer un fichier PDF situé dans un dossier secret.
Les principales recherches suivront les règles définies. Néanmoins, les robots des logiciels malveillants et les mauvais moteurs de recherche peuvent ne pas respecter vos règles et indexer ce qu’ils veulent.
Découvrez comment créer et modifier un fichier robots.txt !