X-Robots-Tag

Qu’est-ce que le X-Robots-Tag et son rôle dans l’indexation

Le X-Robots-Tag est un en-tête HTTP qui transmet aux robots des moteurs de recherche les mêmes instructions que la balise meta name robots, mais sans modifier le contenu de la page. Le serveur ajoute la ligne X-Robots-Tag à la réponse, et Google lit cette directive lors de l’exploration de l’url. Vous pouvez ainsi appliquer un noindex, un nofollow ou d’autres directives robots pour indexer ou non n’importe quelle ressource. La grande force de cet attribut tient à sa portée : là où la balise meta robots ne vit que dans le code, le header X-Robots-Tag s’applique aussi à un fichier PDF, une image, une vidéo ou tout fichier non HTML qui ne peut pas recevoir de balises meta. Cette directive d’indexation devient alors le seul moyen propre de retirer ces fichiers des résultats de recherche et d’éviter qu’ils ne s’affichent dans Google.

En-tête HTTP contre balise meta robots dans le code HTML

La balise meta robots vit dans la section head du document HTML, sous la forme meta name robots. Le X-Robots-Tag, lui, voyage dans le header de la réponse serveur, ce qui le rend lisible par les moteurs de recherche avant même le rendu de la page. Cette différence est déterminante pour les formats sans HTML : un fichier PDF ou une image n’ont pas de balise meta name robots exploitable, alors que l’en-tête HTTP X-Robots-Tag s’applique à tout type de ressource. Pour une page HTML classique, les deux balises produisent le même effet d’indexation, le même noindex, la même valeur ; mais l’en-tête offre une portée plus large sur l’ensemble des fichiers du site web. En clair, la balise meta robots reste pratique pour le HTML, tandis que la directive X-Robots-Tag couvre tout le reste, des images aux vidéos. Pour aller plus loin sur la consigne elle-même, consultez notre définition du noindex.

Les directives et valeurs disponibles

Le X-Robots-Tag accepte les mêmes valeurs que la balise meta robots. La directive noindex retire la page des résultats de recherche et empêche les moteurs de l’indexer. Le nofollow demande aux robots de ne pas suivre les liens présents sur la page. Le couple noindex nofollow combine les deux instructions. D’autres directives robots existent : noarchive supprime la version en cache, nosnippet masque l’extrait, max-snippet limite la longueur du snippet, max-image-preview règle l’aperçu image en preview, et unavailable after programme une date de désindexation. Vous pouvez aussi cibler un robot précis, par exemple Googlebot suivi de la valeur noindex, plutôt que la valeur générique appliquée à tous les agents. Bien choisir ses directives robots, c’est piloter finement le snippet et ce que Google va afficher dans ses pages de résultats.

Configurer le X-Robots-Tag sur le serveur via htaccess

La mise en place dépend de votre serveur. Sur Apache, une ligne Header set X-Robots-Tag dans le fichier htaccess applique la directive à un ensemble de fichiers ciblés par extension, par exemple tous les PDF ou toutes les images. Sous Nginx, la directive add_header remplit le même rôle dans la configuration du serveur. En PHP, la fonction header permet d’émettre l’en-tête X-Robots-Tag dynamiquement selon la logique de votre application. La plupart des CMS proposent également des réglages ou des extensions pour piloter cet en-tête et appliquer un noindex sans toucher au code. Un header set robots tag bien réglé garantit que la bonne directive d’indexation part vers les moteurs de recherche et que Googlebot reçoit la bonne instruction.

X-Robots-Tag, fichier robots txt et balise meta robots

Ces trois leviers d’indexation ne jouent pas le même rôle. Le fichier robots txt gère l’exploration : il indique aux robots quelles zones du site web ils peuvent crawler, mais il ne contrôle pas l’indexation. Une page bloquée dans le robots txt peut tout de même apparaître dans les résultats de recherche si d’autres pages pointent vers elle. Pour empêcher réellement l’affichage d’une page, il faut une consigne noindex, portée soit par la balise meta robots, soit par l’en-tête X-Robots-Tag. Attention au piège classique : si vous bloquez une url dans le fichier robots txt, Google ne lira jamais la directive noindex de l’en-tête, puisqu’il n’explorera pas la page. L’exploration via robots txt et le X-Robots-Tag doivent donc rester cohérents pour que vos directives robots produisent l’effet attendu sur l’indexation et le référencement.

Cas d’usage courants en référencement web

L’en-tête HTTP brille pour désindexer des fichiers non HTML. Un rapport PDF confidentiel, une image que vous ne voulez pas voir s’afficher dans Google Images, une vidéo ou un export de données : autant de fichiers où la balise meta robots est impossible et où le X-Robots-Tag prend tout son sens pour appliquer un noindex. On l’utilise aussi pour gérer en masse l’indexation d’un répertoire entier, pour exclure des pages de filtres à faible valeur des résultats de recherche, ou pour retirer un espace de pré-production. Côté référencement, un nosnippet bien placé ou un max-image-preview maîtrisé affine le snippet que Google affiche pour vos pages. Un audit SEO technique permet d’identifier les pages et fichiers mal configurés et de vérifier que vos directives d’indexation reflètent votre stratégie de présence sur les moteurs de recherche.

Questions fréquentes

Bien employé, le X-Robots-Tag vous donne un contrôle fin sur ce que les moteurs de recherche indexent, des pages HTML jusqu’aux fichiers PDF, images et vidéos. Encore faut-il que vos directives robots et votre fichier robots txt restent cohérents. Pour auditer votre indexation et sécuriser vos consignes, faites appel à notre agence de search marketing.