Disallow

Que veut dire Disallow ?

Disallow signifie refuser en anglais. En SEO, c’est une instruction placée dans le fichier robots.txt, à la racine du domaine, pour indiquer aux crawlers comme Googlebot que certaines URL ne doivent pas être explorées. Le fichier robots.txt regroupe les directives destinées aux robots d’exploration.

Quatre directives structurent ce fichier :

• User-agent : cible le robot concerné (Googlebot, Bingbot, etc.) ;
• Disallow : interdit un chemin aux robots ;
• Allow : autorise une exception à l’intérieur d’un bloc interdit ;
• Sitemap : pointe vers le sitemap XML du site.

Quand les robots des moteurs de recherche arrivent sur un site, ils lisent ce fichier avant d’explorer les pages. Disallow permet d’interdire l’exploration d’une page unique, d’un dossier ou d’un répertoire entier. La directive Allow s’utilise pour autoriser une URL précise à l’intérieur d’un bloc Disallow, mais seuls les crawlers de Google interprètent fiablement cette instruction.

La syntaxe de Disallow dans le fichier robots.txt

Pour utiliser Disallow, faites suivre la directive du chemin à interdire. Plusieurs règles affinent son comportement. Voici les formes principales :

• Disallow : (vide) n’impose aucune restriction ;
• Disallow : / interdit tout le site aux robots d’exploration ;
• Disallow : /admin/ bloque le dossier admin, typique d’un CMS comme WordPress ;
• Disallow : /*.pdf$ empêche l’exploration des fichiers PDF grâce au caractère générique astérisque et au signe dollar qui marque la fin de l’URL.

Le robots.txt se structure en groupes : une ligne User-agent suivie d’une ou plusieurs lignes Disallow ou Allow. Pensez à déclarer votre sitemap XML dans le fichier pour faciliter l’exploration. Un audit technique SEO vérifie que vos directives sont bien réglées.

Disallow et indexation : la différence avec noindex

Disallow n’interdit pas l’indexation. Une page bloquée à l’exploration peut tout de même apparaître dans Google si des liens externes pointent vers elle. La SERP affiche alors la mention « Aucune information n’est disponible pour cette page ».

Pour empêcher l’indexation, utilisez noindex directement dans la balise meta robots ou dans le header X-Robots-Tag. Attention au piège : si une URL est interdite par Disallow, Googlebot ne lit pas son contenu HTML et ne voit donc pas la directive noindex.

Pour désindexer une page, laissez d’abord le robot accéder à l’URL, appliquez noindex, puis bloquez l’exploration une fois la désindexation effective. Depuis 2019, Google ignore les instructions noindex placées dans le fichier robots.txt.

À quoi sert Disallow : les cas d’usage

La directive Disallow sert surtout à économiser le budget d’exploration en interdisant les pages sans intérêt SEO. En concentrant l’exploration sur vos pages stratégiques, vous aidez Googlebot à indexer plus vite vos contenus utiles. On bloque typiquement :

• les pages d’administration d’un CMS comme WordPress ;
• les répertoires techniques et les fichiers internes (scripts en PHP, dossiers système) ;
• les pages de connexion ou de compte client ;
• les paramètres d’URL générant du contenu dupliqué ;
• les espaces de recherche interne sans valeur pour le référencement.

Un audit de référencement naturel identifie précisément les répertoires à exclure de l’exploration. Chaque ligne User-agent cible un robot précis, puis les règles Disallow listent les ressources web à ne pas explorer (fichiers PHP, pages HTML techniques, dossiers privés).

Les erreurs fréquentes avec Disallow

Quelques erreurs reviennent souvent et peuvent nuire à votre site web :

• Confondre Disallow et noindex : bloquer l’exploration n’empêche pas l’indexation ;
• Bloquer une page que l’on veut désindexer : Googlebot ne peut alors plus voir le noindex ;
• Bloquer les fichiers CSS et JS : Google ne peut plus afficher correctement la page ;
• Oublier la casse : les chemins du robots.txt sont sensibles aux majuscules et minuscules ;
• Placer le sitemap XML derrière un Disallow, ce qui le rend inaccessible.

Un audit régulier du fichier robots.txt évite ces erreurs et préserve la bonne exploration de votre site.

Questions fréquentes

Bien configurer Disallow, c’est piloter finement l’exploration de votre site et concentrer Googlebot sur vos pages stratégiques. Pour transformer ces réglages techniques en gains de visibilité durables, échangez avec notre agence de search marketing.