Googlebot Evergreen: De nieuwe crawler van Google
De SEO-wereld heeft reden tot vieren dankzij het laatste artikel dat is gepubliceerd door het Google Webmasters-team, waarin wordt aangekondigd dat de nieuwe versie van hun Googlebot, GoogleBot Evergreen genaamd, ook beschikbaar zal zijn voor webmaster-tools.
Hieronder bekijken we de implicaties die dit heeft op het niveau van technische implementatie vanuit een SEO-perspectief.
1) Wat is GoogleBot Evergreen?
Tot voor kort gebruikte Google's Bot (crawler) Google Chrome 41 om alle websites op het internet te analyseren. Aangezien Google Chrome inmiddels op versie 78 zit, kun je je voorstellen hoe ver GoogleBot achterliep op zijn browser. Echter, op het recente Google I/O-evenement kondigden ze veel verbeteringen op dit vlak aan. De belangrijkste was dat GoogleBot vanaf dat moment niet alleen de nieuwe versie van Chrome zou gebruiken, maar dat de update gekoppeld zou zijn zodat deze altijd de nieuwste versies zou gebruiken.
Google kondigt zijn nieuwe rendering engine aan: GoogleBot Evergreen
Hieronder kun je de video van het Search-team bekijken, waarin ze de grote aankondiging van GoogleBot Evergreen deden en ook statistieken bespraken over de SEO-wereld en Google's plannen voor hun aankomende projecten en verbeteringen in 2019.
Het is een video van 40 minuten, maar hij is echt de moeite waard om te bekijken. Ten eerste omdat hij twee van waarschijnlijk de grootste SEO-experts bij Google bevat, en ten tweede omdat ze zich richten op de evolutie van de SEO-wereld en hoe we ons kunnen aanpassen om de beste content aan gebruikers te bieden.
2) Implicaties
De fundamentele en belangrijkste verandering bij de overstap van Chrome 41 naar Chromium (laatste versies) is dat GoogleBot vanaf nu JavaScript kan uitvoeren en pagina's kan renderen. Tot nu toe was dit proces veel langzamer of zelfs onmogelijk, tenzij bepaalde tools werden gebruikt om statische pagina's voor de bot te creëren (Prerender.io, Puppeteer...) als de site was gebouwd met moderne JavaScript-software (Vue...). Echter, met deze verbetering kan Google veel meer sites begrijpen die voorheen niet toegankelijk waren.
In de volgende afbeelding zie je hoe de oude GoogleBot met Chrome 41 een site begreep en hoe het content verwerkt met de nieuwe versie.
Voorbeeld van hoe GoogleBot een pagina bekeek voor en na de verandering.
Voor grote bedrijven met uitgebreide technische teams was dit geen groot probleem, aangezien zij de nodige middelen konden vrijmaken. Echter, voor kleine en middelgrote bedrijven kon dit een echte hoofdpijn zijn. Daarom kan deze verandering veel bedrijven helpen ervoor te zorgen dat hun content correct kan worden gecrawld en geïndexeerd.
Nu, als je nadenkt over je site en je afvraagt hoe het je kan beïnvloeden, merk dan op dat volgens het Google-team zelf het antwoord "het zou niet moeten" is, aangezien in principe de wijzigingen niet eens merkbaar zouden moeten zijn. Waarom?
- Deze technologie is grondig getest.
- Er zijn enkele maanden lang analyses uitgevoerd op veel websites.
- De user-agent zal niet veranderd worden zonder voorafgaande kennisgeving om te voorkomen dat je tracking-/logging-schema's worden verbroken...
Een van de grote veranderingen die deze week werd aangekondigd, is dat deze nieuwe rendering engine ook is toegepast op SEO-tools voor Webmasters zodat alle SEO-professionals allerlei tests en analyses kunnen uitvoeren:
3) Mobile First Index
Een ander belangrijk nieuws dat samen met de aankondiging van GoogleBot Evergreen kwam, was de aankondiging van veranderingen met betrekking tot de mobiele wereld.
Waarschijnlijk worden tegen het einde van 2019 alle websites op het internet gecrawld via GoogleBot Mobile.
Het Google Search-team onthulde een aantal echt indrukwekkende statistieken:
- Meer dan 50% van de websites wordt geanalyseerd met GoogleBot Mobile.
- Tegen het einde van 2019 of het begin van 2020 zou Google 100% van het internet kunnen analyseren met GoogleBot Mobile.
- GoogleBot crawlt +130 biljoen pagina's.
- De snelheid van je site op mobiele apparaten is een rankingfactor en heeft een directe invloed op conversies, tijd op pagina en andere kritieke factoren voor elk bedrijf.
4) Updates
Aangezien dit een steeds veranderend onderwerp is, hebben we deze sectie gemaakt om al het nieuws over de engine van Google te publiceren.
2 oktober 2019: Google kondigt aan dat vanaf december 2019 de GoogleBot user-agent zal worden aangepast om de nieuwste versie van de browser weer te geven en zal worden bijgewerkt volgens de nieuwste versies van Chrome.
Dit zijn de huidige user-agents:
- Mobile:
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Vanaf december zullen de nieuwe user-agents echter de volgende zijn:
- Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
- Desktop
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) ** De symbolen "W.X.Y.Z" worden vervangen door de Google Chrome-versies zodra deze worden uitgebracht. *
Heb je vragen, twijfels of suggesties over wat je net hebt gelezen? We horen graag je mening! Heel erg bedankt voor je bijdrage aan de gedeelde kennis in de SEO-wereld.
** Alle afbeeldingen zijn met dank aan Google (YouTube-video). *
Auteur: David Kaufmann
Ik heb de afgelopen 10+ jaar volledig in het teken van SEO gestaan — en eerlijk gezegd zou ik het voor geen goud anders willen.
Mijn carrière bereikte een nieuw niveau toen ik als senior SEO-specialist werkte voor Chess.com — een van de 100 meest bezochte websites van het hele internet. Werken op die schaal, verspreid over miljoenen pagina's, tientallen talen en in een van de meest competitieve SERPs die er bestaan, heeft me dingen geleerd die geen cursus of certificering ooit zou kunnen. Die ervaring veranderde mijn kijk op hoe geweldige SEO er echt uitziet — en werd de basis voor alles wat ik sindsdien heb gebouwd.
Vanuit die ervaring heb ik SEO Alive opgericht — een bureau voor merken die serieus werk willen maken van organische groei. Wij zijn er niet om dashboards en maandelijkse rapporten te verkopen. Wij zijn er om strategieën te bouwen die daadwerkelijk het verschil maken, door het beste van klassieke SEO te combineren met de spannende nieuwe wereld van Generative Engine Optimization (GEO) — zodat jouw merk niet alleen opduikt in de blauwe links van Google, maar ook binnen de AI-gegenereerde antwoorden die ChatGPT, Perplexity en Google AI Overviews elke dag opnieuw aan miljoenen mensen leveren.
En omdat ik geen tool kon vinden die beide werelden goed aanpakte, heb ik er zelf een gebouwd — SEOcrawl, een enterprise SEO intelligence platform dat rankings, technische audits, backlinks-monitoring, crawl-gezondheid en AI brand visibility tracking op één plek samenbrengt. Het is het platform waarvan ik altijd had gewild dat het bestond.
Ontdek meer content van deze auteur
