Googlebot est le robot d’exploration du moteur de recherche de Google. C’est lui qui explore, lors d’un crawl, les pages web d’un site et indexe les documents (contenu de texte, images, vidĂ©os et audio) qui correspondent Ă ses critères de pertinence. Le robot se dĂ©place plus facilement grâce aux liens, maillage interne et externe du site. Quels sont les critères principaux pris en compte par Googlebot ? Quel est son principe de fonctionnement ? Et comment optimiser techniquement votre site pour faciliter son passage ?
Fonctionnement de Googlebot
Chaque moteur de recherche a un nom. Googlebot est le robot de Google, Bingbot est le robot de Bing et Slurp, celui de Yahoo. Pour chaque canal de Google, il existe un Googlebot qui se décline ainsi : robot de crawl pour Google news, robot pour Google Images, robot pour Google YouTube ou robot pour mobile. On parle également de spider. Un robot ne sait faire que deux choses :
- cliquer sur des liens internes et externes
- rĂ©cupĂ©rer le code HTML des pages qu’il visite.
Le robot arrive sur votre page d’accueil et envoie le code HTML Ă Google qui les « digère » et les mets dans son index en fonction de leur pertinence. Il clique ensuite sur tous les liens de votre page d’oĂą l’importance du maillage interne et de la nĂ©cessitĂ© de ne pas avoir de page 404 ! Le robot est une machine Ă clic et sauvegarde le code HTML des sources d’information. Googlebot crawle plus de 10 milliards de sites par jour. Un point important : Googlebot repère la mise Ă jour de vos pages. Plus vous les actualisez, plus il vient vous voir. Il dĂ©cide de lui-mĂŞme de sa frĂ©quence de crawl. On ne peut pas vraiment lui dire Ă quelle frĂ©quence il doit revenir visiter vos pages ! Il est en revanche possible d’accĂ©der Ă toutes les informations et rapport de crawl du passage de Googlebot en utilisant la Search Console de Google. De plus, Ă chaque nouvelle URL et sitemaps XML crĂ©Ă©s, une demande d’indexation par Googlebot est fortement conseillĂ©e. En effet, le robot de Google n’est pas Ă mĂŞme de savoir si vous avez mis Ă jour vos pages web. La Google Search Console est un outil indispensable pour obtenir un positionnement rapide de vos nouveaux contenus. Il suffit de demander une exploration en soumettant la nouvelle URL.
Les critères de pertinence dont raffole Googlebot
Les critères de pertinence dont raffole Googlebot sont multiples. Google interprète le web et analyse URL par URL. C’est d’ailleurs ce qui fait toute la richesse du rĂ©fĂ©rencement SEO.
Pour visiter et classer vos pages internet dans son index, Google accorde un budget crawl en fonction de chaque site. Il s’agit du nombre de pages(donc d’URL) que le robot peut parcourir en tenant compte de certains critères comme :
- la taille du site ;
- le maillage interne ;
- la vitesse et la performance générale du site (Core Web Vitals) ;
- la qualité et la mise à jour des contenus.
Blocage de Googlebot, est-ce possible ?
Oui, des facteurs négatifs peuvent bloquer ou rendre impossible le passage des robots sur votre site. Voici les plus importants :
- absence de fichier robots.txt ;
- balise no index ;
- contenu dupliqué ;
- structure des URL ;
- page d’erreur 404, 500 ;
- pages piratées ;
- absence de redirections 301 ;
- pages zombies et pages orphelines ;
- liens brisés ;
- backlinks de mauvaise qualité ou toxiques.
Optimiser l’exploration de votre site par Googlebot
Pour plaire Ă Googlebot et mettre toutes les chances de votre cĂ´tĂ©, il faut prioriser le contenu de qualitĂ© et exhaustif (metamots et entitĂ©s nommĂ©es), Ă©viter le contenu dupliquĂ© et bourrage de mots-clĂ©s, rĂ©aliser des audits SEO de votre site pour vĂ©rifier que le site est techniquement crawlable par Googlebot. Pensez Ă©galement Ă vĂ©rifier si votre sitemap est Ă jour. ContrĂ´lez par ailleurs votre rĂ©fĂ©rencement vidĂ©o et SEO local. Pour finir, l’optimisation mobile et l’UX experience (SXO) doivent ĂŞtre prises en considĂ©ration, car elles sont de plus en plus mises en avant par les algorithmes de Google.
Tout cela vous semble compliqué ?
