Balise meta robots

Qu’est-ce que la balise meta robots ?

La balise meta robots est une balise HTML située dans la partie head du code source d’une page internet. Elle contient un attribut name égal à robots et un attribut content qui porte les instructions destinées aux robots des moteurs de recherche. Sa syntaxe de base s’écrit avec la balise meta, l’attribut name robots et l’attribut content valeur. Cette balise meta donne des directives spécifiques pour cette page précise, là où le fichier robots.txt s’adresse à l’ensemble du site web. La balise meta robots est lue par les crawlers comme Googlebot lors de l’exploration. Pour comprendre la mécanique d’indexation des moteurs, le code de cette balise reste simple, mais chaque valeur compte dans son utilisation en SEO.

À quoi sert la balise meta robots ?

L’utilité de la balise meta robots est double : indiquer aux crawlers quels contenus ne pas indexer et quels liens ne pas suivre. Cette balise meta permet de contrôler l’activité des robots des moteurs de recherche page par page. En SEO, la balise robots sert à optimiser le budget d’exploration, appelé budget crawl. Ce budget correspond au nombre maximal de pages qu’un robot d’indexation peut explorer en un temps donné. Comme ce budget est limité, les directives meta robots orientent Googlebot vers les pages stratégiques et écartent les pages inutiles des résultats de recherche. Cette utilisation fine du SEO protège la visibilité du contenu vraiment important. Pour aller plus loin, voir notre définition crawler.

Quelles directives utiliser dans la balise meta robots ?

On trouve toute une série d’instructions, ou valeurs, à insérer dans la balise meta robots. Voici les principales directives et leur instruction associée :

• index demande aux robots des moteurs d’indexer la page (valeur par défaut) ;
• noindex demande aux robots de ne pas indexer la page, qui peut toutefois être explorée ;
• follow indique aux crawlers de suivre les liens présents sur la page ;
• nofollow indique aux crawlers de ne pas suivre les liens de la page ;
• all correspond à l’ensemble des instructions index et follow ;
• none correspond à l’ensemble des instructions noindex et nofollow ;
• noarchive bloque l’accès aux versions en cache pour qu’elles ne soient pas affichées dans les résultats ;
• nosnippet empêche Google d’afficher le snippet (titre, URL, méta-description) et les rich snippets de la page ;
• max-snippet limite la longueur du snippet en nombre de caractères ;
• max-image-preview contrôle la taille de l’aperçu image (preview) affiché par Google pour une image ;
• max-video-preview limite la durée de l’aperçu d’une vidéo dans les résultats ;
• notranslate empêche la traduction automatique du contenu de la page par Google ;
• unavailable_after stoppe l’indexation de la page après une date et une heure choisies.

La valeur none est pratique, mais une directive trop large peut produire l’effet inverse de celui voulu. Pour la valeur noindex, consultez notre fiche dédiée ; pour la valeur nofollow, voir sa définition.

Comprendre les valeurs noindex, nofollow et none

Parmi ces valeurs, trois reviennent en permanence. La valeur noindex retire la page des résultats de recherche tout en autorisant son exploration. La valeur nofollow demande de ne pas suivre les liens, donc de ne pas transmettre de popularité via ces liens. La valeur none cumule noindex et nofollow dans une seule instruction. À l’inverse, la valeur all (index, follow) laisse la page totalement ouverte aux moteurs de recherche. Bien choisir entre ces directives évite de désindexer par erreur un contenu stratégique.

Comment la balise robots influence l’affichage en SERP ?

Certaines directives ne touchent pas l’indexation mais l’affichage de la page dans les SERP. La directive nosnippet retire le snippet de la page dans les résultats, alors que max-snippet en limite la longueur. La valeur max-image-preview ajuste la taille de l’aperçu d’une image, et max-video-preview celle d’une vidéo. La directive noarchive empêche d’afficher la version en cache. Ainsi, sans désindexer la page, ces valeurs contrôlent ce que Google peut afficher dans les SERP : titre, description, aperçu image ou vidéo.

Où placer la balise meta robots dans le code ?

La balise meta robots doit être placée dans le head du document HTML, jamais dans le body. Le code se compose de l’attribut name avec la valeur robots et de l’attribut content avec les instructions. On peut aussi cibler un robot précis : par exemple un attribut name égal à googlebot ne s’adresse qu’au crawler Googlebot de Google, tandis que la valeur name robots vise tous les robots des moteurs de recherche. On peut donc adresser une instruction différente à chaque robot via son name. Plusieurs valeurs se combinent dans un même attribut content, séparées par une virgule. Une balise mal positionnée dans le body peut malgré tout être lue, mais ce placement n’est pas fiable et reste déconseillé.

Dans quels cas utiliser la balise robots ?

Les crawlers, aussi appelés robots d’indexation, se déplacent de page en page via les liens pour explorer et indexer les sites web, puis les proposer dans les SERP. Certains contenus n’ont pas besoin d’être indexés, et la balise meta robots permet alors de les écarter des moteurs de recherche :

• les données confidentielles : adresses, numéros de téléphone, informations bancaires ne devraient pas être indexées par Google ou Bing ;
• les pages en cours de création : ces pages incomplètes ne doivent pas être explorées ni indexées ;
• le contenu dupliqué : un noindex évite le gaspillage de budget d’exploration et les soucis de référencement ;
• les pages spammées : un noindex temporaire le temps de résoudre le problème ;
• les pages de résultats internes, de tri ou de filtre, sans valeur pour les moteurs de recherche ;
• les fichiers à ne pas afficher, comme certaines images ou vidéos, plutôt gérés via le X-Robots-Tag.

Pour gérer le contenu dupliqué, pensez aussi à la balise canonical. Les robots vont alors explorer en priorité les pages utiles, plutôt que des images ou des pages secondaires.

Balise meta robots et robots.txt : quelle différence ?

La confusion la plus fréquente oppose la balise meta robots au fichier robots.txt. Le fichier robots.txt, placé à la racine du site, donne des directives d’exploration à l’échelle de tout le site et utilise notamment la commande disallow. La balise meta robots, elle, agit page par page et porte sur l’indexation. L’erreur classique consiste à confondre noindex avec disallow : la directive noindex empêche l’indexation mais autorise l’exploration, alors que disallow bloque l’exploration sans garantir la désindexation. Une page bloquée par disallow ne sera pas explorée, donc le robot ne lira jamais l’instruction noindex de la balise meta. Pour bien distinguer ces deux mécanismes, lisez nos fiches robots.txt et disallow.

Quelle alternative à la balise meta robots ?

Il existe une alternative à la balise meta robots : la directive X-Robots-Tag. Cette directive s’inclut dans l’en-tête HTTP du site web, via les fichiers htaccess et httpd.conf. Le X-Robots-Tag offre plus de flexibilité que la balise meta robots : il permet de contrôler l’indexation de fichiers non HTML comme les vidéos, les images, l’audio ou les PDF, qu’une balise meta ne sait pas viser. Pour empêcher Google d’indexer des images ou des vidéos, le X-Robots-Tag reste donc la bonne option. Les valeurs possibles sont les mêmes que celles de la balise meta robots : noindex, nofollow, noarchive, nosnippet, max-image-preview, etc. Pour le détail, voir notre fiche x-robots-tag.

Les erreurs à ne pas commettre avec la balise robots

L’utilisation de la balise meta robots est simple, mais quelques erreurs peuvent nuire au référencement naturel d’un site. La plus commune est de confondre l’instruction noindex avec la commande disallow du fichier robots.txt. Une autre erreur consiste à mal positionner la balise dans le body au lieu du head. Il faut aussi surveiller les fautes de frappe dans le code, car chaque virgule et chaque valeur comptent. Pensez enfin à vérifier la date d’une directive unavailable_after, vite oubliée. Un noindex laissé par erreur sur une page stratégique la fait disparaître des résultats de recherche et des SERP, et pénalise le SEO.

Questions fréquentes

La balise meta robots reste un levier discret mais décisif pour piloter l’indexation de votre site et son affichage en SERP. Pour sécuriser vos directives via un audit SEO et un référencement naturel solides, faites appel à Premiere.Page, agence de search marketing.