Budget crawl

Le budget crawl ou budget d’exploration en français est défini comme le nombre limite de pages qu’un robot d’indexation peut crawler. Celui-ci tient compte de plusieurs critères lors de son exploration d’un site web : le nombre d’URLs du site, la vitesse d’exploration, la qualité du contenu et sa fréquence d’actualisation… Comment fonctionne exactement ce budget crawl ? En quoi est-il utile à votre référencement naturel ? Et comment faire pour l’optimiser. Explications.

Définition du budget crawl

Le budget crawl désigne l’ensemble des ressources que le robot d’un moteur de recherche (Googlebot, Bingbot ou Slurp pour Yahoo) met en place pour parcourir chacune des URLs d’un site web. Pour renouveler et améliorer leur index, les robots des moteurs de recherche doivent le mettre constamment à jour. Cette étape passe par le crawl en premier puis, par l’indexation en second. Pour proposer des résultats pertinents et en rapport avec les requêtes des internautes, les robots de Google (Bing ou Yahoo) explorent continuellement le Web. Lorsque des nouvelles pages se présentent et qu’elles peuvent être indexées de par la qualité de leurs contenus (textes, articles, vidéos, podcasts ou images), alors, les robots les ajoutent à leurs précieux index. Chaque nouvelle information pertinente peut être référencée et être ajoutée à un répertoire propre à chaque robot. L’objectif du budget crawl est de voir son site et ses pages indexées dans leur totalité ou partie la plus importante pour le référencement.

Comment les robots trouvent-ils des pages à explorer et à indexer ?

Le but de Google et des moteurs de recherche est de toujours donner la meilleure information possible aux internautes. Les robots explorent continuellement la toile afin de récupérer des pages de sites Internet pour les envoyer à des fins d’indexation par les moteurs de recherche. Googlebot crawle par exemple chaque jour 20 milliards de sites web. Pour actualiser et vérifier leur index, les robots ont plusieurs possibilités :

• suivre des liens internes et externes de pages ;
• parcourir les sitemaps XML ;
• vérifier les pages qui renvoient un code HTTP 200.

Sachez que ce sont les robots qui décident de venir sur vos pages. Il n’existe pas de fréquence d’indexation mesurée et mesurable. Généralement, la règle en SEO dit que : plus un site ou une page est mis à jour, plus les robots viennent vous visiter. En résumé, les robots aiment l’actualité.

Quels sont les critères d’exploration ?

Pour définir la quantité de ressources accordée à un site web, les robots des moteurs de recherche (Google, Bing, Yahoo !) tiennent compte de plusieurs critères. Parmi ces principaux paramètres, on trouve :

• le temps de réponse du serveur ;
• la profondeur des liens internes ;
• la régularité des mises à jour ;
• la qualité et la pertinence des informations dans la page.

Comment optimiser votre budget crawl ?

Vous souhaitez optimiser votre budget crawl pour bénéficier d’une exploration optimale spiders de Google ou Bing ? Pour cela, il faut que votre site soit performant sur des points essentiels. Plusieurs axes d’optimisation doivent, en effet, répondre aux critères d’exploration des crawlers. Voici les critères importants :

• améliorer le temps de réponse du serveur ;
• augmenter le temps de chargement de chacune de vos pages (compression des médias et lazy loading) ;
• rédiger et publier régulièrement des articles exhaustifs et de qualité ;
• éviter le duplicate content (contenus dupliqués) en créant des redirections 301 ou en utilisant des balises canoniques ;
• ne pas avoir de liens cassés ou liens dits « morts » ;
• corriger vos pages 404 ;
• mettre en place une stratégie efficace de netlinking (maillage interne et backlinks de qualité).

Pour vous accompagner dans l’optimisation de votre budget crawl et vos projets de référencement naturel, notre agence SEO vous accompagne en vous proposant des stratégies et actions sur mesure, adaptées à votre projet.