Neuer Crawl-Statistiken-Bericht in der Google Search Console
Ende November 2020 hat Google seinen überarbeiteten Crawl-Statistiken-Bericht erneut veröffentlicht, und es scheint, als hätte er die Welt des technischen SEO ordentlich aufgewirbelt. Er heißt jetzt Crawl Stats und du kannst damit erfahren, wie die verschiedenen Bots von Google deine Seite besuchen, und wertvolle Erkenntnisse aus diesen nützlichen Daten gewinnen.
Was sind Google Crawl Stats?
Hier handelt es sich um eine gründliche Überarbeitung des Bereichs „Crawl-Statistiken", der früher in den alten Webmaster Tools zu finden war. Damit können wir auf verschiedene Daten und Statistiken zur Crawl-Historie des Googlebot auf unserer Website zugreifen. In der neuen Version wird daraus bis zu einem gewissen Grad ein Werkzeug, um mit Logs zu arbeiten – und nicht mehr nur ein Visualisierungs-Diagramm.
Du kannst auf diesen Bericht über dein Search-Console-Konto unter Einstellungen > Crawling-Statistiken zugreifen.
Was ist im überarbeiteten Bericht neu
Er bringt einige neue Funktionen mit:
- Gesamtzahl der Bot-Anfragen, gruppiert nach Antwortcode, Art der gecrawlten Datei, Crawl-Zweck und Googlebot-Typ. Einige davon werden für dich sehr nützlich sein.
- Detaillierte Informationen zum Host-Status.
- URL-Beispiele, um zu zeigen, an welchen Stellen der Seite die jeweiligen Anfragen stattgefunden haben.
- Vollständige Übersicht über Properties mit mehreren Hosts und Unterstützung für Domain-Properties.
Bereiche des Log-Analyse-Tools von Google
Wir laden dich zu einer Reise durch die verschiedenen Bereiche der Crawl Stats ein. Bist du dabei?
Crawl-Statistik-Diagramm
Dieses neue Diagramm, bereits an das aktuelle Search-Console-Design angepasst, zeigt die Crawl-Statistiken im Zeitverlauf. Darin kannst du drei Metriken einsehen:
- Die Gesamtzahl der Crawl-Anfragen über einen Zeitraum oder pro Tag, wenn du mit dem Cursor über das Diagramm fährst.
- Die Gesamtgröße der heruntergeladenen Daten in Bytes.
- Die durchschnittliche Antwortzeit in Millisekunden.
Bis hierhin nicht viel Neues; es ist eher eine Veränderung der Oberfläche. Aber sehen wir uns die folgenden Bereiche an...
Crawling der verschiedenen Hosts in deiner Domain-Property
Deine Domain-Property in der Search Console kann aus mehreren Hosts bestehen, etwa den Versionen mit und ohne www oder einer beliebigen Subdomain, die du hast. Dieses Diagramm zeigt dir, wie der Googlebot sie crawlt, und du kannst auf jeden einzelnen klicken, um individuelle, gefilterte Informationen zu erhalten.
In diesem Bereich können wir 3 Indikatoren haben, die uns auf einen Blick schon viel sagen:
Neue Gruppierungen der Crawl-Eigenschaften
Wir können die Googlebot-Besuche jetzt nach mehreren Crawl-Dimensionen kategorisieren:
- Nach Antwort: So erfahren wir die Weiterleitungen und Fehlerseiten, die der Googlebot im angegebenen Zeitraum durchlaufen hat.
- Nach Dateityp: Der Googlebot kann viel Crawl-Zeit auf Dateitypen verbringen, die uns nicht interessieren. Dank dieser Gruppierung wissen wir es.
- Nach Zweck: Hier können wir zwischen dem Anteil des Crawlings für bereits bekannte Seiten und dem für das Entdecken neuer URLs unterscheiden.
- Nach Googlebot-Typ: Wir wissen, dass Google verschiedene Arten von Bots hat, und jeder hat seine eigene Funktion. In diesem Bericht sehen wir, wie oft uns jeder besucht.
Du kannst dich in jede einzelne vertiefen und einige URL-Beispiele sehen. Das gesagt: Es sind eben nur Beispiele. Nicht alle URLs, die du im Bericht siehst, werden für dich verfügbar sein. Du kannst Muster erkennen, aber nicht die kompletten Informationen herunterladen und damit weiterarbeiten.
Fazit zum Tool
Das ist eine Verbesserung, die enorm dabei hilft, wesentliche Crawl-Probleme auf einer Website auf einfache und kostenlose Weise zu erkennen. Wir glauben nicht, dass es Log-Analyse-Tools wie Kibana oder den Screaming Frog Log File Analyzer ersetzen wird, denn was Google uns bietet, ist eine Stichprobe, keine exakten Daten. Deshalb kann es für Projekte mit besonderen Anforderungen kein Ersatz sein. Kurz gesagt: Wir können viele Probleme lösen, aber das Crawling, das Google auf unserer Website durchführt, nicht vollständig analysieren. Bedenke, dass dies eine gerade erst veröffentlichte Funktion ist und wir vorerst nicht wissen, wie sie sich entwickeln wird.
Autor: David Kaufmann
In den letzten über 10 Jahren habe ich mich komplett dem SEO verschrieben — und ehrlich gesagt möchte ich es nicht anders haben.
Meine Karriere erreichte eine neue Stufe, als ich als Senior SEO Specialist für Chess.com gearbeitet habe — eine der 100 meistbesuchten Websites im gesamten Internet. In dieser Größenordnung zu arbeiten, über Millionen von Seiten, Dutzende Sprachen und in einer der umkämpftesten SERPs überhaupt, hat mich Dinge gelehrt, die kein Kurs und kein Zertifikat je vermitteln könnte. Diese Erfahrung hat meine Sichtweise darauf verändert, wie großartiges SEO wirklich aussieht — und sie wurde zum Fundament für alles, was ich seitdem aufgebaut habe.
Aus dieser Erfahrung heraus habe ich SEO Alive gegründet — eine Agentur für Marken, die es mit organischem Wachstum ernst meinen. Wir sind nicht hier, um dashboards und monatliche Reports zu verkaufen. Wir sind hier, um Strategien zu entwickeln, die wirklich etwas bewegen, indem wir das Beste aus dem klassischen SEO mit der spannenden neuen Welt der Generative Engine Optimization (GEO) verbinden — damit deine Marke nicht nur in den blauen Links von Google auftaucht, sondern auch in den AI-generierten Antworten, die ChatGPT, Perplexity und Google AI Overviews tagtäglich Millionen von Menschen liefern.
Und weil ich kein Tool finden konnte, das beide Welten richtig abdeckt, habe ich selbst eines gebaut — SEOcrawl, eine Enterprise-SEO-Intelligence-Plattform, die rankings, technische Audits, backlinks-Monitoring, crawl-Health und AI-Brand-Visibility-Tracking an einem Ort vereint. Es ist die Plattform, die ich mir immer gewünscht habe.
Entdecke weitere Inhalte von diesem Autor
