Googlebot Evergreen: Der neue Crawler von Google

1) Was ist GoogleBot Evergreen?

Bis vor kurzem nutzte der Bot (Crawler) von Google Google Chrome 41, um alle Websites im Internet zu analysieren. In Anbetracht der Tatsache, dass Google Chrome jetzt bei Version 78 ist, kannst du dir vorstellen, wie weit GoogleBot im Vergleich zu seinem Browser zurueck war. Beim juengsten Google I/O-Event wurden jedoch viele Verbesserungen in dieser Hinsicht angekuendigt. Die Hauptaenderung war, dass von nun an GoogleBot nicht nur die neue Version von Chrome verwenden wuerde, sondern dass seine Aktualisierung gekoppelt waere, sodass er immer die neuesten Versionen verwendet.

Google kuendigt seine neue Rendering-Engine an: GoogleBot Evergreen

Im Folgenden kannst du das Video des Search-Teams ansehen, in dem sie die grosse Ankuendigung von GoogleBot Evergreen machten und auch Statistiken ueber die SEO-Welt sowie Googles Plaene fuer ihre kommenden Projekte und Verbesserungen im Jahr 2019 besprachen.

Es ist ein 40-minuetiges Video, aber es lohnt sich wirklich, es anzuschauen. Erstens, weil es zwei der wahrscheinlich groessten SEO-Experten bei Google enthaelt, und zweitens, weil sie sich auf die Entwicklung der SEO-Welt konzentrieren und darauf, wie wir uns anpassen koennen, um Nutzern den besten Inhalt zu liefern.

2) Auswirkungen

Die grundlegende und wichtigste Aenderung beim Wechsel von Chrome 41 zu Chromium (neueste Versionen) ist, dass von nun an GoogleBot JavaScript ausfuehren und Seiten rendern kann. Bisher war dieser Prozess viel langsamer oder sogar unmoeglich, es sei denn, bestimmte Tools wurden verwendet, um statische Seiten fuer den Bot zu erstellen (Prerender.io, Puppeteer...), wenn die Seite mit moderner JavaScript-Software (Vue...) erstellt wurde. Mit dieser Verbesserung kann Google jedoch viel mehr Seiten verstehen, die zuvor unzugaenglich waren.

Im folgenden Bild siehst du, wie der alte GoogleBot mit Chrome 41 eine Seite verstanden hat und wie er Inhalte mit der neuen Version verarbeitet.

Beispiel, wie GoogleBot eine Seite vor und nach der Aenderung gesehen hat.

Fuer grosse Unternehmen mit umfangreichen technischen Teams war das kein grosses Problem, da sie die notwendigen Ressourcen zuweisen konnten. Fuer kleine und mittlere Unternehmen konnte das jedoch ein echtes Kopfschmerzen sein. Deshalb kann diese Aenderung vielen Unternehmen helfen sicherzustellen, dass ihre Inhalte ordnungsgemaess gecrawlt und indexiert werden koennen.

Wenn du jetzt an deine Seite denkst und dich fragst, wie sie dich beeinflussen koennte, beachte, dass laut dem Google-Team selbst die Antwort "es sollte nicht" lautet, da die Aenderungen im Prinzip nicht einmal bemerkbar sein sollten. Warum?

• ›Diese Technologie wurde gruendlich getestet.
• ›Es wurden Analysen ueber mehrere Monate auf vielen Websites durchgefuehrt.
• ›Der User-Agent wird nicht ohne vorherige Ankuendigung geaendert, um zu vermeiden, dass deine Tracking-/Logging-Schemata beschaedigt werden...

Eine der grossen Aenderungen, die diese Woche angekuendigt wurden, ist, dass diese neue Rendering-Engine auch auf SEO-Tools fuer Webmaster angewendet wurde, sodass alle SEO-Profis alle Arten von Tests und Analysen durchfuehren koennen:

• ›Search Console URL Inspector
• ›Mobile-Friendly Test
• ›Rich Results Test
• ›AMP Test

3) Mobile First Index

Eine weitere grosse Neuigkeit, die zusammen mit der Ankuendigung von GoogleBot Evergreen kam, war die Ankuendigung von Aenderungen im Zusammenhang mit der mobilen Welt.

Wahrscheinlich werden bis Ende 2019 alle Websites im Internet ueber GoogleBot Mobile gecrawlt.

Das Google Search-Team enthuellte einige wirklich beeindruckende Statistiken:

• ›Mehr als 50% der Websites werden mit GoogleBot Mobile analysiert.
• ›Bis Ende 2019 oder Anfang 2020 koennte Google 100% des Internets mit GoogleBot Mobile analysieren.
• ›GoogleBot crawlt +130 Billionen Seiten.
• ›Die Geschwindigkeit deiner Seite auf mobilen Geraeten ist ein Ranking-Faktor und hat direkten Einfluss auf Conversions, Verweildauer und andere kritische Faktoren fuer jedes Geschaeft.

4) Updates

Da das ein sich staendig veraenderndes Thema ist, haben wir diesen Abschnitt erstellt, um alle Neuigkeiten im Zusammenhang mit Googles Engine zu veroeffentlichen.

2. Oktober 2019: Google kuendigt an, dass ab Dezember 2019 der GoogleBot-User-Agent angepasst wird, um die neueste Version des Browsers widerzuspiegeln, und gemaess den neuesten Versionen von Chrome aktualisiert wird.

Das sind die aktuellen User-Agents:

• ›Mobile:

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

• ›Desktop

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Ab Dezember werden jedoch die neuen User-Agents wie folgt aussehen:

• ›Mobile

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

• ›Desktop

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ** Die Symbole "W.X.Y.Z" werden durch die Google-Chrome-Versionen ersetzt, sobald sie veroeffentlicht werden. *

Hast du Fragen, Zweifel oder Anregungen zu dem, was du gerade gelesen hast? Wir wuerden gerne deine Meinung hoeren! Vielen Dank, dass du zum gemeinsamen Wissen in der SEO-Welt beitraegst.

** Alle Bilder mit freundlicher Genehmigung von Google (YouTube-Video). *