Robots.txt

Le fichier robots.txt, mode d’emploi des moteurs

Le fichier robots.txt est un fichier texte placé à la racine du domaine web qui dialogue avec les robots des moteurs de recherche. Avant de parcourir vos pages, les moteurs de recherche consultent ce fichier pour savoir quelles ressources et quels répertoires ils peuvent explorer. Ce fichier robots applique le protocole d’exclusion des robots, baptisé Robots Exclusion Protocol et encadré par une RFC, qui guide le travail des robots d’exploration comme Googlebot. Comprendre le fichier robots.txt vous aide à piloter la façon dont Google et les autres moteurs de recherche découvrent votre domaine web.

User-agent, Disallow et Allow : la syntaxe

Concrètement, chaque ligne du fichier s’adresse à un user-agent précis et lui indique un répertoire ou une URL à éviter grâce à la directive Disallow. La directive Disallow bloque un chemin, tandis que la directive Allow rouvre une ressource précise à l’agent. Vous pouvez aussi déclarer l’emplacement de votre sitemap dans le fichier. Cette feuille de route oriente l’exploration des moteurs de recherche sans pour autant retirer une page des résultats de recherche. Le couple user-agent et Disallow forme donc le cœur de la syntaxe : un user-agent visé, puis une liste de répertoires interdits.

À quoi sert ce fichier pour le SEO

Pourquoi ce fichier compte autant en SEO ? Parce qu’il économise le budget de crawl des moteurs de recherche. En empêchant les robots de parcourir des répertoires inutiles, vous concentrez l’exploration sur les pages et le contenu qui méritent d’apparaître dans les résultats de recherche. Un répertoire d’administration, une recherche interne ou des paramètres d’URL n’ont aucune raison de mobiliser les robots des moteurs de recherche. Bien réglé, ce fichier améliore l’indexation des pages utiles et l’efficacité du SEO de votre domaine web. Le fichier agit comme un filtre placé en amont de l’exploration.

Bloquer l’exploration ne supprime pas de l’index

Attention toutefois à une confusion fréquente. Bloquer une URL avec la directive Disallow ne revient pas à la retirer de l’index des moteurs de recherche. Pour exclure réellement une page de l’index, la balise meta noindex reste l’outil adapté, comme l’explique notre définition dédiée au noindex. Le fichier empêche l’exploration de l’URL, pas l’affichage de la page. Une URL bloquée par Disallow mais reliée par des liens peut encore surgir dans une page de résultats de recherche, sans contenu ni description. Le crawler respecte la consigne d’exploration sans toucher à l’indexation.

Tester et corriger ses directives

La syntaxe obéit à des règles simples mais strictes. On déclare d’abord le User-agent visé, par exemple Googlebot ou un astérisque pour tous les robots, puis on liste les répertoires et les URL interdits avec Disallow. Une mauvaise écriture du fichier, un slash mal placé ou une majuscule oubliée peut neutraliser une directive entière et désorganiser l’exploration. Mieux vaut tester chaque directive dans la Google Search Console avant publication, puis surveiller le comportement du robot Googlebot sur vos pages. La Google Search Console signale les ressources bloquées et les répertoires mal couverts.

Le fichier robots.txt sur WordPress

Sur WordPress, ce fichier est souvent généré de façon virtuelle par le CMS ou par une extension comme Yoast SEO. Ce fichier robots.txt WordPress peut être édité pour protéger le répertoire wp-admin tout en laissant accessibles les ressources CSS et JavaScript nécessaires au rendu des pages. Pensez aussi à déclarer votre sitemap : un sitemap XML bien référencé accélère la découverte des nouvelles pages par les moteurs de recherche. Bloquer par erreur des ressources de rendu reste l’écueil classique sur WordPress. Notre fiche sur le sitemap-xml détaille la déclaration du plan de site.

Questions fréquentes

Bien paramétré, le fichier robots.txt fluidifie l’exploration sans jamais masquer vos pages par erreur. Un audit SEO complet contrôle la cohérence entre vos directives, vos balises et votre maillage, et révèle les ressources bloquées qui pèsent sur votre visibilité. Le crawler d’un audit reproduit le comportement de Googlebot pour mesurer ce que voient réellement les moteurs, une mécanique d’exploration détaillée dans notre fiche sur le crawler. Pour transformer ce diagnostic en gains de positions, appuyez-vous sur une agence de search marketing.