Crawl Budget: wat het is en hoe je het optimaliseert

Wat is het crawl budget?

Het crawl budget is de tijd die Google besteedt wanneer hij een website bezoekt. Dit budget heeft invloed op de ranking en indexering van een site, en daarom is het cruciaal om aandacht te besteden aan het crawl budget van onze website. Om een optimaal crawl budget te bereiken zijn de belangrijkste principes:

• ›

  toegankelijkheid

• ›

  snelheid

• ›

  kwaliteit

• ›

  autoriteit

Wat is een crawler?

Een crawler is de spider of bot die websites en hun URL's automatisch crawlt. Deze bot slaat de content op en classificeert deze, die later in de zoekresultaten aan gebruikers wordt getoond. Hij heet Googlebot, want we zijn in Europa en hebben het over het feit dat de belangrijkste zoekmachine Google is. Dat gezegd hebbende, is het essentieel dat Google jouw website vindt en weet dat je bestaat.

Hoe beïnvloedt het crawl budget mijn website?

Een geoptimaliseerd crawl budget zorgt voor een betere positionering van je website in zoekmachines. Daarnaast helpt het bij de juiste indexering van alle belangrijke pagina's. We kunnen het crawl budget niet vergeten in onze SEO-strategie, want de tijd die Google investeert om onze website te leren kennen is heel belangrijk.

Hoe werkt het?

De spiders van Google crawlen je website, en als het crawl budget klein is, is het mogelijk dat ze je site verlaten zonder alle nieuwe content te crawlen. Ze kennen het budget toe op basis van twee factoren:

• ›

  Crawl-limiet: Geeft de maximale crawl aan die een website ondersteunt en wat de voorkeuren zijn.

• ›

  Crawl-vraag: Geeft de frequentie aan waarmee de website moet worden gecrawld op basis van de populariteit van de site en de frequentie waarmee deze wordt bijgewerkt.

Weet je hoe vaak jouw website wordt gecrawld?

Dankzij Google Search Console kunnen we de crawlstatistieken van de afgelopen drie maanden bekijken. Daarin zien we de pagina's die per dag gecrawld worden, de gedownloade kilobytes per dag en de downloadtijd van een pagina in milliseconden. De data heeft een gemiddelde dat geclassificeerd wordt als hoog, normaal en laag. Deze gegevens zijn heel illustratief als we rekening houden met het totale aantal pagina's op onze website en de gemiddelde crawl-data per dag. Daarmee kunnen we weten of we binnen de norm zitten of dat we juist het crawl budget moeten verbeteren.

Is een kleiner crawl budget schadelijk?

Een kleiner crawl budget hebben heeft nadelen:

• ›

  Moeite voor content om snel te ranken, aangezien Google niet weet dat het bestaat en het daarom niet crawlt of indexeert.

• ›

  Gebieden ver weg van de website zijn delicate gebieden als het crawl budget klein is. De bot zal geen tijd hebben om door de pagina's of secties te gaan die verder weg liggen op de website.

• ›

  On-page SEO-optimalisaties die zijn uitgevoerd, zullen niet worden gecrawld, en daardoor zullen de verbeteringen niet zichtbaar zijn.

• ›

  Als een andere website dezelfde content eerder indexeert en rankt dan onze website, kan Google identificeren dat we de content hebben gekopieerd en ons daarvoor straffen.

• ›

  Veel crawl budget garandeert niets als we het niet correct optimaliseren.

Wat is het gedrag van de spiders?

Om te weten welke pagina's Google bezoekt en in welke hij zijn tijd investeert om te crawlen, en of ze al dan niet samenvallen met onze prioriteiten op het gebied van SEO-positionering, moeten we de informatie raadplegen die door de logs wordt verstrekt.

Logs zijn aanvragen aan de server die worden opgeslagen en waar we toegang toe hebben om te weten wat Googlebot bezoekt en wat niet. Het exporteren en organiseren van dit document kan eenvoudiger met ScreamingFrog Log File Analyser.

Hoe optimaliseren we ons crawl budget?

We moeten duidelijk zijn over onze sleutel-URL's, voor webpositionering en voor business, om ervoor te zorgen dat ze het meest worden gecrawld. Het heeft geen zin om het crawl budget te investeren in pagina's die niet echt belangrijk zijn, zoals pagina's met parameters, paginaties, etc.

Het is cruciaal om geen problemen met duplicate content te hebben, of URL's die hetzelfde zoekwoord kannibaliseren. Content van lage kwaliteit is ook schadelijk omdat bots tijd zullen besteden om die door te nemen.

Om het te optimaliseren moeten we de volgende gebieden benadrukken:

WPO (Web Performance Optimization)

Optimaliseer laadsnelheid of WPO zodat Google niet te lang doet om je website te crawlen. Google houdt van schone code en zo min mogelijk bestanden om het laden te vergemakkelijken en een optimale gebruikerservaring bij het surfen te bereiken.

Vergeet niet om:

• ›

  CSS- en JS-bestanden te verkleinen en te comprimeren

• ›

  Let op het gewicht en de grootte van afbeeldingen, en specificeer hun grootte

• ›

  Kies Nginx als server om de positionering te verbeteren via caching.

Links en redirects

De bot zal alle content op je website crawlen, en hij zal ook elk van de links op elke pagina volgen. Om een correcte crawl te bevorderen moet je rekening houden met:

• ›

  Je moet onnodige redirects vermijden, want Google verdwaalt erin.

• ›

  Redirect chains zijn redirects van veel URL's die ervoor zorgen dat Google erin verdwaalt zonder de bestemmings-URL's te bereiken.

• ›Gebroken links (pagina's gelinkt met een 404 not found-status) in interne links.

Screaming Frog en Search Console zijn onze speciale bondgenoten bij het detecteren van foutieve redirects en allerlei URL's met fouten.

Interne links

Interne links zullen cruciaal zijn om voor te zorgen dat we niet overdrijven met linken en de bots verdwalen bij het crawlen van URL's.

• ›We moeten de belangrijkste gebieden versterken en de minder belangrijke minder gelinkt laten. Daarom zijn er pagina's zoals de privacybeleidpagina of de cookiepagina die niet handig zijn om op elke pagina vanaf het hoofdmenu of de footer te linken.

Code

• ›Het is aan te raden om zoveel mogelijk HTML op te nemen, om het crawlen en indexeren voor bots te vergemakkelijken. Het is bekend dat Google pagina's met JavaScript moeilijk rendert en indexeert.

XML Sitemap

De sitemap is een van de fundamentele bestanden voor Google omdat het de juiste crawling en indexering van een website garandeert.

• ›

  Hoe meer geordend, hoe beter. Organiseer de sitemap per verticalen of folders.

• ›

  Specificeer een naam die beschrijft wat hij bevat. Vermijd te generieke namen zoals "sitemap 1"

• ›

  Een sitemap voor afbeeldingen, video's en per taal.

• ›

  De URL's die je opneemt moeten altijd de belangrijkste zijn, dus neem geen pagina's op met redirects, zonder canonical tag, pagina's met filters, paginaties, etc. Neem ook geen pagina's op die niet erg relevant zijn, zoals privacybeleid of cookies.

Robots txt

Samen met de sitemap is het robots.txt bestand een van de sleutelbestanden in de indexering en crawling van een website. Vergeet dus niet om het zoveel mogelijk te optimaliseren:

• ›

  Verwijs naar de XML sitemap om het crawlen zoveel mogelijk te vergemakkelijken.

• ›

  Blokkeer geen belangrijke folders. Hiervoor kun je de Search Console robots.txt tester proberen en controleren of je geen belangrijke folder of pagina blokkeert.

• ›

  Blokkeer geen pagina's met redirects of canonical

• ›

  Geef toegang tot JS en CSS

Hreflang tags

• ›Deze hreflang-attributen zullen Google helpen om te identificeren in welke talen en in hoeveel de website beschikbaar is.

Metarobots noindex en X-Robots-Tag

Deze directives vertellen de bot welke pagina's of folders niet geïndexeerd moeten worden, maar verhinderen geen crawl-toegang.

• ›

  Tags met de metarobots "noindex" directive verbruiken crawl budget, dus is het vitaal om er niet te veel van te gebruiken.

• ›

  De X-Robots header wordt op codeniveau in de header opgenomen en kan verschillende directives aan Google aangeven, waaronder de pagina niet indexeren.

Geraadpleegde bronnen:

• ›

  José Facchin: Wat is het crawl Budget, hoe belangrijk is het voor Google en hoe kun je het verbeteren?

• ›

  SEOCOM Agency: Wat is het Crawl Budget?

• ›

  Big SEO Agency: Wat is het Crawl Budget? Sleutels om het te optimaliseren

• ›

  ContentKing: Crawl budget in SEO: referentiegids

• ›

  Mi posicionamiento web: Wat is het Crawl Budget?

• ›

  Luis Villanueva: Wat is het Crawl Budget?

• ›

  Neil Patel: Hoe je het Crawl Budget van Google gebruikt om de SEO van je website te verbeteren

• ›

  Search Engine Journal: 7 tips om het Crawl Budget voor SEO te optimaliseren

• ›

  Webmasters Google Blog: Wat betekent crawl Budget voor Googlebot?

• ›

  DeepCrawl: Wat is crawl budget?