Nieuw Crawl Stats-rapport in Google Search Console

Wat is Google Crawl Stats?

Dit is een grondige vernieuwing van de "crawlstatistieken"-sectie die vroeger in de oude Webmaster Tools zat. Hiermee krijgen we toegang tot verschillende gegevens en statistieken over de crawlgeschiedenis van Googlebot op onze website. In de nieuwe versie wordt het een tool waarmee je tot op zekere hoogte met logs kunt werken en is het niet langer slechts een visualisatiegrafiek.

Je kunt dit rapport openen vanuit je Search Console-account, onder Instellingen > Crawlstatistieken.

Wat is er nieuw in het vernieuwde rapport

Het brengt verschillende nieuwe functies:

• ›Totaal aantal botverzoeken gegroepeerd op responsecode, type gecrawld bestand, crawldoel en type Googlebot. Een aantal hiervan zal je goed van pas komen.
• ›Gedetailleerde informatie over de hoststatus.
• ›URL-voorbeelden die laten zien waar op de site de verschillende verzoeken plaatsvonden.
• ›Volledig overzicht van eigendommen met meerdere hosts en ondersteuning voor domein-eigendommen.

Onderdelen van Google's loganalysetool

We nemen je mee op reis door de verschillende secties van Crawl Stats. Ga je mee?

Crawlstatistiekengrafiek

Deze nieuwe grafiek, al aangepast aan het huidige Search Console-ontwerp, toont crawlstatistieken in de loop van de tijd. Hierin kun je drie metrics bekijken:

• ›De totale crawlverzoeken over een bepaalde periode, of per dag als je met de cursor over de grafiek beweegt.
• ›De totale grootte van gedownloade gegevens in bytes.
• ›De gemiddelde responstijd in milliseconden.

Tot zover niets nieuws; het is meer een interfacewijziging. Maar laten we naar de volgende secties kijken...

Crawlen van de verschillende hosts in je domein-eigendom

Je domein-eigendom in Search Console kan bestaan uit meerdere hosts, zoals de versies met en zonder www, of een subdomein dat je hebt. Met deze grafiek kun je zien hoe Googlebot ze crawlt en kun je op elk klikken om individuele, gefilterde informatie te krijgen.

In deze sectie kunnen we 3 indicatoren hebben die ons in één oogopslag al veel vertellen:

Er zijn de afgelopen 90 dagen geen crawlproblemen gevonden.

Er was een crawlprobleem op je site in de afgelopen 90 dagen, maar het deed zich meer dan een week geleden voor.

Er is minstens één fout gevonden in de afgelopen 7 dagen — tijd om het op te lossen!

Nieuwe groeperingen van crawlkenmerken

We kunnen nu Googlebot-bezoeken categoriseren langs verschillende crawldimensies:

• ›Op respons: Op deze manier weten we welke redirects en foutpagina's Googlebot is tegengekomen tijdens de opgegeven periode.
• ›Op bestandstype: Googlebot kan veel crawltijd besteden aan bestandstypen die ons niets schelen. Dankzij deze groepering komen we daar achter.
• ›Op doel: Hier kunnen we onderscheid maken tussen het percentage crawling dat besteed wordt aan pagina's die het al kende en aan het ontdekken van nieuwe URL's.
• ›Op type Google-bot: We weten dat Google verschillende soorten bots heeft en elk heeft zijn eigen functie. In dit rapport zien we hoe vaak elk ons bezoekt.

Je kunt op elk inzoomen en enkele URL-voorbeelden zien. Dat gezegd hebbende, het zijn slechts dat — voorbeelden. Niet alle URL's die je in het rapport ziet, zijn voor je beschikbaar. Je kunt patronen herkennen, maar niet de complete informatie downloaden en daarmee aan de slag gaan.

Conclusies over de tool

Dit is een verbetering die enorm helpt om significante crawlproblemen op een website op een eenvoudige, gratis manier te detecteren. We denken niet dat het loganalysetools zoals Kibana of Screaming Frog Log File Analyzer zal vervangen, want wat Google ons biedt is een steekproef, geen exacte gegevens. Daarom kan het voor projecten met speciale eisen geen vervanging zijn. Kortom, we kunnen veel problemen oplossen, maar niet volledig analyseren hoe Google onze website crawlt. Houd er rekening mee dat dit een net gelanceerde functie is en, voorlopig, weten we niet hoe deze zich zal ontwikkelen.