Crawl Budget: Was es ist und wie du es optimierst

David Kaufmann

19. Februar 2020

SEO Tutorials

7 min read

Wenn wir über SEO sprechen, denken wir meist an „Keywords", „Metadaten", Überschriften und Inhalte. Aber technisches SEO ist eine weitere Seite, die ebenso wichtig ist und in jeder SEO-Strategie berücksichtigt werden sollte.

Genau in dieser Welt findet sich das Konzept des Crawl Budgets. Lass uns einen tiefen Blick darauf werfen!

Was ist das Crawl Budget?

Das Crawl Budget ist die Zeit, die Google beim Besuch einer Website investiert. Dieses Budget wirkt sich auf Ranking und Indexierung aus – deshalb solltest du das Crawl Budget deiner Website unbedingt im Blick haben. Für ein optimales Crawl Budget zählen vor allem:

Erreichbarkeit
Geschwindigkeit
Qualität
Autorität

Was ist ein Crawler?

Ein Crawler ist der Spider oder Bot, der Websites und ihre URLs automatisch crawlt. Dieser Bot speichert und kategorisiert die Inhalte, die später in den Suchergebnissen erscheinen. Bei Google heißt er Googlebot, denn er ist der wichtigste Crawler der wichtigsten Suchmaschine. Damit ist klar: Es ist essenziell, dass Google deine Website findet und weiß, dass es dich gibt.

Wie wirkt sich das Crawl Budget auf meine Website aus?

Ein optimiertes Crawl Budget bringt deiner Website ein besseres Ranking in den Suchmaschinen. Außerdem hilft es bei der korrekten Indexierung aller wichtigen Seiten. Wir dürfen das Crawl Budget in unserer SEO-Strategie nicht vergessen, denn die Zeit, die Google in das Kennenlernen unserer Website investiert, ist enorm wichtig.

Wie funktioniert es?

Googles Spider crawlen deine Website. Wenn das Crawl Budget gering ist, kann es passieren, dass sie deine Seite verlassen, ohne alle neuen Inhalte erfasst zu haben. Das Budget wird auf Basis von zwei Faktoren vergeben:

Crawl-Limit: Gibt an, wie viel Crawling eine Website verkraftet und welche Vorlieben sie hat.
Crawl-Bedarf: Gibt an, wie häufig die Website gecrawlt werden sollte – basierend auf ihrer Popularität und der Update-Frequenz.

Weißt du, wie oft deine Website gecrawlt wird?

Dank der Google Search Console kannst du die Crawl-Statistiken der letzten drei Monate einsehen. Du siehst, wie viele Seiten pro Tag gecrawlt werden, wie viele Kilobyte pro Tag heruntergeladen werden und wie lange das Laden einer Seite in Millisekunden dauert. Die Daten haben einen Durchschnitt, der als hoch, normal oder niedrig klassifiziert wird. Diese Daten sind sehr aussagekräftig, wenn man sie mit der Gesamtzahl der Seiten der Website und den durchschnittlichen täglichen Crawl-Daten vergleicht. So lässt sich erkennen, ob wir im Rahmen liegen oder ob das Crawl Budget verbessert werden muss.

Ist ein kleineres Crawl Budget schädlich?

Ein geringeres Crawl Budget bringt einige Nachteile mit sich:

Inhalte ranken schwerer und langsamer, weil Google nicht weiß, dass sie existieren – und sie deshalb weder crawlt noch indexiert.
Bereiche der Website, die weiter weg von der Startseite liegen, sind besonders heikel. Der Bot hat keine Zeit, weiter entfernte Seiten oder Sektionen zu durchforsten.
On-Page-Optimierungen, an denen du gearbeitet hast, werden nicht gecrawlt – die Verbesserungen werden also nicht sichtbar.
Wenn eine andere Website denselben Inhalt vor uns indexiert und rankt, kann Google annehmen, dass wir kopiert haben – und uns dafür abstrafen.
Viel Crawl Budget garantiert nichts, wenn wir es nicht richtig optimieren.

Wie verhalten sich die Spider?

Um zu wissen, welche Seiten Google besucht und in welchen es Zeit investiert – und ob das mit unseren SEO-Prioritäten übereinstimmt – müssen wir uns die Informationen aus den Logs anschauen.

Logs sind Anfragen an den Server, die gespeichert werden und auf die wir zugreifen können, um zu sehen, was der Googlebot besucht und was nicht. Das Exportieren und Organisieren dieser Datei wird mit dem ScreamingFrog Log File Analyser deutlich einfacher.

Log-Analyse mit dem ScreamingFrog Log File Analyser

Wie optimieren wir unser Crawl Budget?

Wir müssen unsere Schlüssel-URLs für SEO und Business klar definieren, damit sie am häufigsten gecrawlt werden. Es bringt nichts, das Crawl Budget für Seiten zu verschwenden, die nicht wirklich wichtig sind – etwa Parameter-URLs, Pagination-Seiten usw.

Entscheidend ist, dass es keine Duplicate-Content-Probleme oder URLs gibt, die dasselbe Keyword kannibalisieren. Auch minderwertige Inhalte sind schädlich, weil die Bots dort Zeit verschwenden.

Zur Optimierung sollten wir uns auf folgende Bereiche konzentrieren:

WPO (Web Performance Optimization)

Optimiere die Ladegeschwindigkeit (WPO), damit Google nicht zu lange braucht, um deine Website zu crawlen. Google mag sauberen Code und möglichst wenige Dateien, um das Laden zu erleichtern und eine optimale Nutzererfahrung zu gewährleisten.

Vergiss nicht:

CSS- und JS-Dateien reduzieren und komprimieren
Auf Gewicht und Größe der Bilder achten und ihre Maße angeben
Nginx als Server wählen, um durch Caching ein besseres Ranking zu erzielen.

Links und Weiterleitungen

Der Bot crawlt alle Inhalte deiner Website und folgt jedem einzelnen Link auf jeder Seite. Damit das Crawling sauber abläuft, achte auf:

Vermeide unnötige Weiterleitungen – Google verliert sich darin.
Weiterleitungsketten – also Weiterleitungen über viele URLs hinweg – führen dazu, dass Google den Weg zur Ziel-URL nicht mehr findet.

Weiterleitungsketten oder Redirect-Loops

Defekte Links (Links zu Seiten mit 404-Status) in der internen Verlinkung.

Screaming Frog und die Search Console sind unsere besten Verbündeten, um fehlerhafte Weiterleitungen und alle Arten von URLs mit Fehlern zu erkennen.

Fehlerhafte Weiterleitungen in der Search Console

Interne Verlinkung

Die interne Verlinkung ist entscheidend – damit du es nicht übertreibst und die Bots sich beim Crawlen der URLs verlieren.

Wir sollten die wichtigsten Bereiche stärken und die weniger wichtigen weniger verlinken. Deshalb gibt es Seiten wie die Datenschutzerklärung oder die Cookie-Seite, die nicht auf jeder Seite im Hauptmenü oder im Footer verlinkt werden sollten.

Code

Setze möglichst viel HTML ein, um den Bots das Crawlen und Indexieren zu erleichtern. Bekanntermaßen rendert und indexiert Google Seiten mit JavaScript nur mit Mühe.

XML-Sitemap

Die Sitemap ist eine der grundlegenden Dateien für Google, weil sie das korrekte Crawlen und Indexieren einer Website sicherstellt.

Je strukturierter, desto besser. Organisiere die Sitemap nach Verticals oder Ordnern.
Vergib aussagekräftige Namen, die beschreiben, was sie enthalten. Vermeide zu generische Namen wie „sitemap 1".

Eine Sitemap für Bilder, Videos und je Sprache.
Die enthaltenen URLs sollten immer die wichtigsten sein – also keine Seiten mit Weiterleitungen, ohne Canonical-Tag, mit Filtern, Pagination usw. Nimm auch keine wenig relevanten Seiten wie Datenschutz oder Cookies auf.

robots.txt

Neben der Sitemap ist die robots.txt eine der wichtigsten Dateien für Indexierung und Crawling. Optimiere sie, so gut es geht:

Verweise auf die XML-Sitemap, um das Crawling so weit wie möglich zu erleichtern.
Blockiere keine wichtigen Ordner. Dafür kannst du den robots.txt-Tester der Search Console nutzen und prüfen, ob du wichtige Ordner oder Seiten blockierst.

Blockiere keine Seiten mit Weiterleitungen oder Canonical.
Erlaube den Zugriff auf JS und CSS.

Hreflang-Tags

Diese Attribute helfen Google zu erkennen, in welchen Sprachen und in wie vielen die Website verfügbar ist.

Meta-Robots „noindex" und X-Robots-Tag

Diese Direktiven sagen dem Bot, welche Seiten oder Ordner nicht indexiert werden sollen – verhindern aber nicht den Crawl-Zugriff.

Tags mit der Direktive Meta-Robots „noindex" verbrauchen Crawl Budget. Setze sie also nicht inflationär ein.
Der X-Robots-Header steht im Header auf Code-Ebene und kann Google mehrere Direktiven mitgeben – darunter, eine Seite nicht zu indexieren.

Konsultierte Quellen:

José Facchin: Was ist das Crawl Budget, wie wichtig ist es für Google und wie lässt es sich verbessern?
SEOCOM Agency: Was ist das Crawl Budget?
Big SEO Agency: Was ist das Crawl Budget? Schlüssel zur Optimierung
ContentKing: Crawl Budget im SEO: Referenz-Guide
Mi posicionamiento web: Was ist das Crawl Budget?
Luis Villanueva: Was ist das Crawl Budget?
Neil Patel: How to Use Google's Crawl Budget to Improve Your Website's SEO
Search Engine Journal: 7 tips to optimize Crawl Budget for SEO
Webmasters Google Blog: What crawl Budget means for Googlebot?
DeepCrawl: What is crawl budget?

Autor: David Kaufmann

In den letzten über 10 Jahren habe ich mich komplett dem SEO verschrieben — und ehrlich gesagt möchte ich es nicht anders haben.

Meine Karriere erreichte eine neue Stufe, als ich als Senior SEO Specialist für Chess.com gearbeitet habe — eine der 100 meistbesuchten Websites im gesamten Internet. In dieser Größenordnung zu arbeiten, über Millionen von Seiten, Dutzende Sprachen und in einer der umkämpftesten SERPs überhaupt, hat mich Dinge gelehrt, die kein Kurs und kein Zertifikat je vermitteln könnte. Diese Erfahrung hat meine Sichtweise darauf verändert, wie großartiges SEO wirklich aussieht — und sie wurde zum Fundament für alles, was ich seitdem aufgebaut habe.

Aus dieser Erfahrung heraus habe ich SEO Alive gegründet — eine Agentur für Marken, die es mit organischem Wachstum ernst meinen. Wir sind nicht hier, um dashboards und monatliche Reports zu verkaufen. Wir sind hier, um Strategien zu entwickeln, die wirklich etwas bewegen, indem wir das Beste aus dem klassischen SEO mit der spannenden neuen Welt der Generative Engine Optimization (GEO) verbinden — damit deine Marke nicht nur in den blauen Links von Google auftaucht, sondern auch in den AI-generierten Antworten, die ChatGPT, Perplexity und Google AI Overviews tagtäglich Millionen von Menschen liefern.

Und weil ich kein Tool finden konnte, das beide Welten richtig abdeckt, habe ich selbst eines gebaut — SEOcrawl, eine Enterprise-SEO-Intelligence-Plattform, die rankings, technische Audits, backlinks-Monitoring, crawl-Health und AI-Brand-Visibility-Tracking an einem Ort vereint. Es ist die Plattform, die ich mir immer gewünscht habe.

→ Alle Artikel von David lesen