Googlebot. Cet infatigable robot d’exploration qui parcourt le web comme un navigateur intrépide, bondissant de lien en lien. Enfin, c’est ce que nous pensions tous. Mais préparez-vous à une révélation qui bouleverse cette notion profondément ancrée. Gary Illyes, lors d’un récent épisode du podcast « Search Off The Record », a levé le voile sur une vérité étonnante : Googlebot ne « suit » pas les liens en temps réel comme nous l’imaginions.
Une Nouvelle Perspective sur Googlebot
Gary Illyes a partagé une information qui remet en question des années de croyances répandues dans la communauté SEO. Contrairement à ce que stipule la documentation officielle de Google, Googlebot ne navigue pas sur le web en suivant activement les liens au fur et à mesure qu’il les trouve. En réalité, il collecte les liens et les traite ultérieurement. Cette distinction subtile mais cruciale pourrait avoir de vastes implications pour notre compréhension du comportement du crawler de Google.
Informations Contradictoires
“C’est mon sujet de prédilection,” a déclaré Illyes, exprimant son exaspération face aux incohérences présentes dans les pages de support de Google. Il poursuit :
“Sur notre site, nous continuons de dire que Googlebot suit les liens, mais non, il ne suit pas les liens. Il collecte les liens, puis il y retourne plus tard.”
La documentation officielle de Google sur les crawlers affirme pourtant :
« Un crawler (parfois également appelé ‘robot’ ou ‘araignée’) est un terme générique pour tout programme utilisé pour découvrir et scanner automatiquement des sites web en suivant les liens d’une page web à une autre. »
Cette déclaration laisse entendre que Googlebot navigue activement sur le web en suivant les liens en temps réel, ce qui ne semble pas correspondre à la réalité décrite par Illyes. Cette dissonance entre la communication publique de Google et la fonctionnalité réelle de leur crawler soulève des questions sur d’autres possibles malentendus dans la communauté SEO.
Implications Pour le SEO
Cette révélation a plusieurs implications potentielles pour notre compréhension du processus de crawl de Google :
- Budget de Crawl : Si Googlebot collecte d’abord les liens pour les revisiter plus tard, cela pourrait influencer notre perception du budget de crawl. L’étape initiale de « collecte » pourrait être moins gourmande en ressources qu’on ne le pensait.
- Architecture du Site : Bien qu’une structure de site logique reste importante, l’idée que Googlebot doit « découvrir » des pages profondes via une série de clics pourrait être dépassée. Cela pourrait modifier notre approche du maillage interne et de la profondeur du site.
- Fréquence du Crawl : Ce nouvel aperçu pourrait expliquer pourquoi certaines pages sont crawlé plus fréquemment que d’autres, indépendamment de leur position dans la hiérarchie du site.
En Avant sur le Terrain Inexploré
De nombreuses stratégies SEO reposent sur l’hypothèse que Googlebot traverse les sites web en suivant les liens internes comme un visiteur ordinaire. Si la description d’Illyes est exacte, cela suggère que le comportement de Googlebot est plus complexe que prévu.
Cette révélation n’invalide pas pour autant les pratiques SEO actuelles, mais elle souligne l’importance pour les professionnels du SEO de rester informés des nuances sur le fonctionnement réel de Google. Alors, chers auditeurs et praticiens du SEO, préparez-vous à ajuster vos stratégies en fonction de ces nouvelles perceptions et restez toujours à l’affût des dernières évolutions dans le monde en constante mutation du SEO.
