Budget crawl

En bref

• Le budget crawl correspond au nombre de pages qu’un robot de moteur de recherche peut explorer sur un site, sur une période donnée.
• Il dépend de plusieurs facteurs clés : taille du site, performance du serveur, qualité des contenus et fréquence de mise à jour.
• Les robots découvrent les pages via les liens internes/externes, les sitemaps XML et les pages techniquement accessibles (HTTP 200).
• Un budget crawl mal optimisé peut entraîner une indexation partielle, laissant des pages stratégiques invisibles dans les SERP.
• L’optimisation passe par un site rapide, bien structuré, sans contenu dupliqué ni erreurs techniques, et avec un maillage interne efficace.

Définition du budget crawl

Le budget crawl désigne l’ensemble des ressources que le robot d’un moteur de recherche (Googlebot, Bingbot ou Slurp pour Yahoo) met en place pour parcourir chacune des URLs d’un site web : le nombre limite de pages qu’un robot d’indexation peut crawler. Pour renouveler et améliorer leur index, les robots des moteurs de recherche doivent le mettre constamment à jour.

Cette étape passe par le crawl en premier puis, par l’indexation en second. Celui-ci tient compte de plusieurs critères lors de son exploration d’un site web : le nombre d’URLs du site, la vitesse d’exploration, la qualité du contenu et sa fréquence d’actualisation…

Pour proposer des résultats pertinents et en rapport avec les requêtes des internautes, les robots de Google (Bing ou Yahoo) explorent continuellement le Web. Lorsque des nouvelles pages se présentent et qu’elles peuvent être indexées de par la qualité de leurs contenus (textes, articles, vidéos, podcasts ou images), alors, les robots les ajoutent à leurs précieux index. Chaque nouvelle information pertinente peut être référencée et être ajoutée à un répertoire propre à chaque robot. L’objectif du budget crawl est de voir son site et ses pages indexées dans leur totalité ou partie la plus importante pour le référencement.

Comment les robots trouvent-ils des pages à explorer et à indexer ?

Le but de Google et des moteurs de recherche est de toujours donner la meilleure information possible aux internautes. Les robots explorent continuellement la toile afin de récupérer des pages de sites Internet pour les envoyer à des fins d’indexation par les moteurs de recherche. Googlebot crawle par exemple chaque jour 20 milliards de sites web. Pour actualiser et vérifier leur index, les robots ont plusieurs possibilités :

• suivre des liens internes et externes de pages ;
• parcourir les sitemaps XML ;
• vérifier les pages qui renvoient un code HTTP 200.

Sachez que ce sont les robots qui décident de venir sur vos pages. Il n’existe pas de fréquence d’indexation mesurée et mesurable. Généralement, la règle en SEO dit que : plus un site ou une page est mis à jour, plus les robots viennent vous visiter. En résumé, les robots aiment l’actualité.

Quels sont les critères d’exploration ?

Pour définir la quantité de ressources accordée à un site web, les robots des moteurs de recherche (Google, Bing, Yahoo !) tiennent compte de plusieurs critères. Parmi ces principaux paramètres, on trouve :

• le temps de réponse du serveur ;
• la profondeur des liens internes ;
• la régularité des mises à jour ;
• la qualité et la pertinence des informations dans la page.

Comment optimiser votre budget crawl ?

Vous souhaitez optimiser votre budget crawl pour bénéficier d’une exploration optimale spiders de Google ou Bing ? Pour cela, il faut que votre site soit performant sur des points essentiels. Plusieurs axes d’optimisation doivent, en effet, répondre aux critères d’exploration des crawlers. Voici les critères importants :

• améliorer le temps de réponse du serveur ;
• augmenter le temps de chargement de chacune de vos pages (compression des médias et lazy loading) ;
• rédiger et publier régulièrement des articles exhaustifs et de qualité ;
• éviter le duplicate content (contenus dupliqués) en créant des redirections 301 ou en utilisant des balises canoniques ;
• ne pas avoir de liens cassés ou liens dits « morts » ;
• corriger vos pages 404 ;
• mettre en place une stratégie efficace de netlinking.

Pour vous accompagner dans l’optimisation de votre budget crawl et vos projets de référencement naturel, notre agence SEO Premiere.Page vous accompagne en vous proposant des stratégies et actions sur mesure, adaptées à votre projet.