Googlebot Evergreen : le nouveau crawler de Google
Le monde du SEO a de quoi célébrer grâce au dernier article publié par l'équipe Google Webmasters, annonçant que la nouvelle version de leur Googlebot, appelée GoogleBot Evergreen, sera également disponible pour les outils webmaster.
Ci-dessous, nous examinerons les implications que cela a au niveau de l'implémentation technique d'un point de vue SEO.
1) Qu'est-ce que GoogleBot Evergreen ?
Jusqu'à récemment, le bot de Google (crawler) utilisait Google Chrome 41 pour analyser tous les sites web sur Internet. Considérant que Google Chrome est maintenant à la version 78, vous pouvez imaginer à quel point GoogleBot était en retard par rapport à son navigateur. Cependant, lors du récent événement Google I/O, ils ont annoncé de nombreuses améliorations à cet égard. La principale était que, désormais, non seulement GoogleBot utiliserait la nouvelle version de Chrome, mais que sa mise à jour serait liée afin qu'il utilise toujours les dernières versions.
Google annonce son nouveau moteur de rendu : GoogleBot Evergreen
Ci-dessous, vous pouvez regarder la vidéo de l'équipe Search, dans laquelle ils ont fait la grande annonce de GoogleBot Evergreen et ont également discuté des statistiques sur le monde du SEO et des plans de Google pour leurs prochains projets et améliorations en 2019.
C'est une vidéo de 40 minutes mais elle vaut vraiment la peine d'être regardée. D'abord, parce qu'elle met en vedette ce qui sont probablement 2 des plus grands experts SEO chez Google, et ensuite, parce qu'ils se concentrent sur l'évolution du monde du SEO et comment nous pouvons nous adapter pour servir le meilleur contenu aux utilisateurs.
2) Implications
Le changement fondamental et le plus important en passant de Chrome 41 à Chromium (dernières versions) est qu'à partir de maintenant, GoogleBot peut exécuter du Javascript et rendre les pages. Jusqu'à présent, ce processus était beaucoup plus lent voire impossible, sauf si certains outils étaient utilisés pour créer des pages statiques pour le bot (Prerender.io, Puppeteer...) si le site était construit avec un logiciel JavaScript moderne (Vue...). Cependant, avec cette amélioration, Google pourra comprendre beaucoup plus de sites qui étaient auparavant inaccessibles.
Dans l'image suivante, vous pouvez voir comment l'ancien GoogleBot avec Chrome 41 comprenait un site et comment il traite le contenu avec la nouvelle version.
Exemple de la façon dont GoogleBot voyait une page avant et après le changement.
Pour les grandes entreprises avec de vastes équipes techniques, ce n'était pas un problème majeur puisqu'elles pouvaient allouer les ressources nécessaires. Cependant, pour les petites et moyennes entreprises, cela pouvait être un véritable casse-tête. C'est pourquoi ce changement peut aider de nombreuses entreprises à s'assurer que leur contenu peut être correctement exploré et indexé.
Maintenant, si vous pensez à votre site et vous vous demandez comment cela peut vous affecter, notez que selon l'équipe Google elle-même, la réponse est "cela ne devrait pas", puisqu'en principe les changements ne devraient même pas être perceptibles. Pourquoi ?
- Cette technologie a été testée à fond.
- Des analyses ont été effectuées sur plusieurs mois sur de nombreux sites web.
- L'user-agent ne sera pas modifié sans préavis pour éviter de casser vos schémas de tracking/logging...
L'un des changements majeurs annoncés cette semaine est que ce nouveau moteur de rendu a également été appliqué aux outils SEO pour Webmasters afin que tous les professionnels du SEO puissent effectuer toutes sortes de tests et d'analyses :
3) Mobile First Index
Une autre grande nouvelle qui est venue avec l'annonce de GoogleBot Evergreen était l'annonce de changements liés au monde Mobile.
Probablement, d'ici fin 2019, tous les sites web sur Internet seront crawlés via GoogleBot Mobile.
L'équipe Google Search a révélé des statistiques vraiment impactantes :
- Plus de 50% des sites web sont analysés avec GoogleBot Mobile.
- D'ici fin 2019 ou début 2020, Google pourrait analyser 100% d'Internet avec GoogleBot Mobile.
- GoogleBot explore +130 trillions de pages.
- La vitesse de votre site sur les appareils mobiles est un facteur de classement et a un impact direct sur les conversions, le temps passé sur la page et d'autres facteurs critiques pour toute entreprise.
4) Mises à jour
Comme c'est un sujet en constante évolution, nous avons créé cette section pour publier toutes les nouvelles liées au moteur de Google.
2 octobre 2019 : Google annonce qu'à partir de décembre 2019, l'user-agent de GoogleBot sera ajusté pour refléter la dernière version du navigateur et sera mis à jour selon les dernières versions de Chrome.
Voici les user-agents actuels :
- Mobile :
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) À partir de décembre, cependant, les nouveaux user-agents seront les suivants :
- Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ** Les symboles "W.X.Y.Z" seront remplacés par les versions de Google Chrome au fur et à mesure de leur sortie. *
Avez-vous des questions, des doutes ou des suggestions sur ce que vous venez de lire ? Nous adorerions entendre votre opinion ! Merci beaucoup de contribuer aux connaissances partagées dans le monde du SEO.
** Toutes les images sont fournies par Google (vidéo YouTube). *
Auteur : David Kaufmann
Cela fait plus de 10 ans que je suis totalement obsédé par le SEO — et honnêtement, je ne voudrais pas qu'il en soit autrement.
Ma carrière a franchi un cap lorsque j'ai travaillé comme Senior SEO Specialist pour Chess.com — l'un des 100 sites les plus visités de tout Internet. Opérer à cette échelle, sur des millions de pages, des dizaines de langues et dans l'une des SERPs les plus concurrentielles qui soient, m'a appris des choses qu'aucun cours ni aucune certification ne pourrait jamais transmettre. Cette expérience a transformé ma vision de ce qu'est réellement un SEO d'excellence — et elle est devenue le socle de tout ce que j'ai construit depuis.
Forcé par cette expérience, j'ai fondé SEO Alive — une agence pour les marques qui prennent la croissance organique au sérieux. Nous ne sommes pas là pour vendre des dashboards et des rapports mensuels. Nous sommes là pour bâtir des stratégies qui font vraiment la différence, en combinant le meilleur du SEO classique avec le nouvel univers passionnant de la Generative Engine Optimization (GEO) — afin que votre marque apparaisse non seulement dans les liens bleus de Google, mais aussi dans les réponses générées par l'AI que ChatGPT, Perplexity et Google AI Overviews livrent chaque jour à des millions de personnes.
Et parce que je ne trouvais aucun outil capable de gérer correctement ces deux mondes, j'en ai construit un moi-même — SEOcrawl, une plateforme d'intelligence SEO pour les entreprises qui réunit rankings, audits techniques, monitoring des backlinks, santé du crawl et suivi de la visibilité de marque dans l'AI, le tout au même endroit. C'est la plateforme dont j'ai toujours rêvé.
Découvrez plus de contenu de cet auteur
Les outils d'IA répondent aux questions de vos clients sans jamais vous citer en lien. L'Answer Engine Optimization (AEO) est la façon dont les marques se font citer par ChatGPT, Perplexity et les AI Overviews de Google : voici ce que c'est, comment ça marche et comment en suivre les résultats.