Robots.txt AI Bot Checker: sieh, welche KI-Crawler du zulässt
Füge deine Domain ein und wir lesen deine robots.txt, dann zeigen wir dir — Bot für Bot — ob du GPTBot, ClaudeBot, Google-Extended, PerplexityBot und jeden anderen wichtigen KI-Crawler zulässt oder blockierst. Finde heraus, ob du für die KI-Suche sichtbar bist, bevor deine Mitbewerber es tun. Ohne Anmeldung.
Gratis, ohne Anmeldung. Wir lesen deine robots.txt und zeigen, welche KI-Crawler — GPTBot, ClaudeBot, Google-Extended, PerplexityBot und mehr — du aktuell zulässt oder blockierst.
Warum KI-Bots in deiner robots.txt für die Sichtbarkeit zählen
Deine robots.txt ist das Erste, was ein Crawler liest, und KI-Unternehmen betreiben heute eigene Crawler mit eigenen User-agent-Namen. Allein OpenAI nutzt GPTBot für das Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für Abrufe auf Anfrage. Anthropic, Google, Perplexity, Common Crawl und andere haben jeweils ihre eigenen. Eine einzige Disallow-Regel entscheidet, ob deine Inhalte diese Systeme speisen und von ihnen zitiert werden können.
Ein Fehler in die eine oder andere Richtung kostet dich: Blockierst du die Such-Crawler, verschwindet deine Marke aus den KI-Antworten; lässt du die Trainings-Crawler offen, obwohl du dich abmelden wolltest, trainieren deine Inhalte die Modelle kostenlos. Eine schnelle Prüfung zeigt dir genau, wo du bei jedem wichtigen KI-Bot stehst.
So liest du dein Ergebnis
Erlaubt
Der Crawler kann auf das Stammverzeichnis deiner Website zugreifen. Für KI-Such-Bots wie OAI-SearchBot, ClaudeBot und PerplexityBot ist das genau das, was dich berechtigt hält, in KI-Antworten zitiert zu werden.
Teilweise
Der Crawler erreicht deine Website, aber deine robots.txt verbietet ihm einige Pfade. Meist unproblematisch — stelle nur sicher, dass du keine Seiten verbirgst, die du in der KI-Suche zeigen willst.
Blockiert
Eine Disallow: /-Regel stoppt diesen Crawler schon an der Tür. Beabsichtigt, um sich vom Training abzumelden, aber ein Problem, wenn es ein Such-Crawler ist, für den du sichtbar bleiben wolltest.
Häufige robots.txt-Fehler — und wie du sie behebst
Die KI-Suche versehentlich blockieren.
Ein pauschales Disallow, das OAI-SearchBot oder PerplexityBot erfasst, entfernt dich still aus den KI-Antworten. Erlaube die Such-Crawler; blockiere nur die Trainings-Bots, falls es sein muss.
Sich für KI auf User-agent: * verlassen.
Viele KI-Crawler ignorieren die Wildcard-Gruppe und befolgen nur eine Regel, die ihren exakten Token nennt. Adressiere jeden KI-Bot über seinen spezifischen User-agent.
Google-Extended mit Googlebot verwechseln.
Den falschen Token zu blockieren, lässt entweder das KI-Training aktiv oder deindexiert dich versehentlich aus der Suche. Nutze Google-Extended für KI und Googlebot für die Suche.
Der robots.txt als Firewall vertrauen.
Die robots.txt ist nur ein Hinweis — sie stoppt keine Crawler, die sich entscheiden, sie zu ignorieren, oder die über Dritte scrapen. Nutze serverseitiges Blockieren für Bots, die du hart stoppen musst.
Verfolge deine Marke über KI-Antworten hinweg
KI-Crawler zuzulassen ist Schritt eins. Der AI Tracker von SEOcrawl zeigt, was als Nächstes passiert: Er überwacht, wie oft ChatGPT, Claude, Gemini und Perplexity deine Marke tatsächlich erwähnen und zitieren, welche Prompts dich auslösen und wie du im Vergleich zu Mitbewerbern abschneidest — alles zusammen mit deinen Google-Search-Console-Daten an einem Ort.
Häufige Fragen
Was ist ein AI Bot Checker?
Ein AI Bot Checker liest die robots.txt-Datei einer Website und sagt dir, welche KI-Crawler sie aktuell zulässt oder blockiert. Er prüft die User-agent-Tokens der großen KI-Unternehmen — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) und andere — gegen die Allow- und Disallow-Regeln in deiner robots.txt.
Wie blockiere ich KI-Crawler in der robots.txt?
Füge eine Gruppe pro Crawler mit einer Disallow-Regel hinzu, z. B. "User-agent: GPTBot" gefolgt von "Disallow: /". Um mehrere zu blockieren, liste jeden User-agent in seiner eigenen Gruppe. Denk daran, dass die robots.txt nur ein Hinweis ist: Gut funktionierende Crawler wie GPTBot und ClaudeBot beachten sie, aber sie ist kein Durchsetzungsmechanismus und stoppt daher keine Bots, die sich entscheiden, sie zu ignorieren.
Sollte ich KI-Bots blockieren oder zulassen?
Das hängt von deinem Ziel ab. Die Trainings-Crawler (GPTBot, CCBot, Google-Extended) zu blockieren, schließt deine Inhalte vom Modelltraining aus. Aber die KI-Such-Crawler (OAI-SearchBot, ClaudeBot, PerplexityBot) zu blockieren, kann deine Marke aus den Antworten von ChatGPT, Claude und Perplexity heraushalten und dich Sichtbarkeit sowie Referral-Traffic kosten. Viele Websites lassen die Such-Crawler zu und blockieren nur die reinen Trainings-Crawler.
Schadet das Blockieren von Google-Extended meinem Google-Ranking?
Nein. Google-Extended steuert nur, ob deine Inhalte zum Trainieren und Fundieren von Gemini und Vertex AI verwendet werden. Es ist von Googlebot getrennt, daher hat das Blockieren von Google-Extended keine Auswirkung darauf, wie du in der Google Search rankst. Es ist der saubere Weg, sich vom KI-Training abzumelden, ohne die organische Suche anzutasten.
Was ist der Unterschied zwischen Trainings-, Such- und Abruf-KI-Bots?
Trainings-Bots (GPTBot, CCBot, Google-Extended, Bytespider) sammeln Inhalte, um Modelle zu trainieren. Such-Bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexieren deine Website, damit sie in KI-Suchantworten zitiert werden kann. Abruf-Bots auf Anfrage (ChatGPT-User, Claude-User, Perplexity-User) holen eine einzelne Seite in Echtzeit, wenn ein Nutzer den Assistenten dazu befragt. Jeden zu blockieren hat sehr unterschiedliche Folgen für die KI-Sichtbarkeit.
