Kostenloser Robots.txt AI Bot Checker: sieh, welche KI-Crawler deine Website erreichen
Füge deine Domain oder die robots.txt-URL ein. Wir lesen die Datei, gleichen jeden wichtigen KI-Crawler mit deinen Allow- und Disallow-Regeln ab und sagen dir Bot für Bot, welche deine Website erreichen. Ohne Anmeldung.
Gratis, ohne Anmeldung. Wir lesen deine robots.txt und zeigen, welche KI-Crawler — GPTBot, ClaudeBot, Google-Extended, PerplexityBot und mehr — du aktuell zulässt oder blockierst.
Was der AI Bot Checker prüft
- Ergebnis pro Bot (Erlaubt, Teilweise, Blockiert) für jeden wichtigen KI-User-agent
- Trainings-Crawler: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Such-Crawler: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- Abruf-Bots auf Anfrage: ChatGPT-User, Claude-User, Perplexity-User
- Speicherort der robots.txt-URL und HTTP-Statuscode
- Konflikte zwischen User-agent: * und bot-spezifischen Regeln
- Verbotene Pfade pro Bot — damit du siehst, was verborgen ist, nicht nur was blockiert ist
Warum deine robots.txt wichtiger ist als früher
Deine robots.txt ist das Erste, was ein Crawler liest, und KI-Unternehmen betreiben heute mehrere Crawler mit eigenen User-agents. Allein OpenAI hat drei: GPTBot für das Training, OAI-SearchBot für ChatGPT Search und ChatGPT-User für Abrufe auf Anfrage. Anthropic, Google, Perplexity, Common Crawl und Meta haben jeweils ihre eigenen.
Die Entscheidungen, die du in dieser Datei triffst, prägen zwei verschiedene Ergebnisse. Blockiere die Such-Crawler und deine Marke verschwindet aus den Antworten von ChatGPT, Claude und Perplexity. Lässt du die Trainings-Crawler offen, obwohl du dich abmelden wolltest, lernen die Modelle von morgen kostenlos aus deinen Inhalten.
Die meisten Websites wollen am Ende das eine und nicht das andere.
Was die Daten über das Blockieren von KI-Bots sagen
Drei Zahlen, die du kennen solltest, bevor du die Regeln schreibst.
So liest du dein Ergebnis
Erlaubt
Der Crawler kann auf das Stammverzeichnis deiner Website zugreifen. Für Such-Bots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot ist das genau das, was dich berechtigt hält, in KI-Antworten zitiert zu werden.
Teilweise
Der Crawler erreicht deine Website, aber bestimmte Pfade sind verboten. Meist unproblematisch — es lohnt sich zu prüfen, dass du keine Seiten verbirgst, die du in der KI-Suche zeigen willst.
Blockiert
Eine Disallow: /-Regel stoppt den Crawler vollständig. Beabsichtigt, um sich vom Training abzumelden, aber ein Problem, wenn es ein Such-Crawler ist, für den du sichtbar bleiben wolltest.
Die häufigsten robots.txt-Fehler (und wie du sie behebst)
Die KI-Suche versehentlich blockieren.
Ein pauschales Disallow, das OAI-SearchBot, Claude-SearchBot oder PerplexityBot erfasst, entfernt dich still aus den KI-Antworten.
Lösung: Liste die Such-Crawler in eigenen User-agent-Gruppen und erlaube sie ausdrücklich.
User-agent: * verwenden, um KI zu blockieren.
Diese Gruppe erfasst auch Googlebot, Bingbot und jeden normalen Such-Crawler, sodass die Regel weit mehr blockiert als beabsichtigt.
Lösung: Nenne jeden KI-User-agent in seiner eigenen Gruppe und lass die Wildcard in Ruhe.
Google-Extended mit Googlebot verwechseln.
Blockierst du den falschen, lässt du entweder das KI-Training aktiv oder deindexierst dich versehentlich aus Google Search.
Lösung: Nutze Google-Extended, um dich vom Training von Gemini und Vertex AI abzumelden; lass Googlebot für die organische Suche unberührt.
Die robots.txt als Firewall behandeln.
Sie ist nur ein Hinweis. Gut funktionierende Crawler beachten sie; böswillige Akteure und Drittanbieter-Scraper ignorieren sie.
Lösung: Füge serverseitiges Blockieren hinzu (Cloudflare-KI-Regeln, WAF, .htaccess) für Bots, die du hart stoppen musst.
Cloudflare überschreibt deine Allow-Regel.
Seit Juli 2025 blockiert Cloudflare KI-Bots bei neuen Domains standardmäßig, unabhängig davon, was deine robots.txt sagt.
Lösung: Öffne das Cloudflare-Dashboard, geh zu Security → Bots → AI Scrapers and Crawlers und schalte es aus, wenn du willst, dass KI-Such-Bots deine Website erreichen.
Willst du wissen, ob KI dich wirklich zitiert?
Ein robots.txt-Audit sagt dir, welche KI-Crawler deine Website erreichen können. Der AI Tracker von SEOcrawl AI sagt dir, was sie tun, sobald sie dort sind. Erfahre, wie oft ChatGPT, Claude, Gemini und Perplexity deine Marke erwähnen und zitieren, welche Prompts dich auslösen und wie du im Vergleich zu den Mitbewerbern abschneidest, die du überwachen möchtest — gepaart mit deinen Google-Search-Console-Daten im selben Dashboard.
Häufige Fragen
Was ist ein AI Bot Checker?
Ein Tool, das deine robots.txt liest und dir sagt, welche KI-Crawler du zulässt oder blockierst, Bot für Bot. Es gleicht deine Allow- und Disallow-Regeln mit den User-agent-Tokens der großen KI-Unternehmen ab: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl und andere.
Was ist GPTBot?
GPTBot ist der Webcrawler von OpenAI, gestartet im August 2023, der öffentlich verfügbare Inhalte zum Training künftiger GPT-Modelle sammelt. Er ist nicht derselbe Bot wie OAI-SearchBot, der ChatGPT Search antreibt, oder ChatGPT-User, der eine Seite abruft, wenn jemand einen Assistenten bittet, sie zu lesen. Alle drei befolgen die robots.txt unabhängig voneinander, sodass du einen zulassen und einen anderen blockieren kannst.
Was ist der Unterschied zwischen Trainings-, Such- und Abruf-KI-Bots?
Trainings-Bots (GPTBot, CCBot, Google-Extended, Bytespider) sammeln Inhalte, um die zugrunde liegenden Modelle zu trainieren. Such-Bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexieren deine Website, damit sie in KI-Suchantworten zitiert werden kann. Abruf-Bots auf Anfrage (ChatGPT-User, Claude-User, Perplexity-User) holen eine einzelne Seite in Echtzeit, wenn ein Nutzer den Assistenten dazu befragt. Jeder lässt sich in der robots.txt separat steuern.
Wie blockiere ich KI-Crawler in der robots.txt?
Füge eine Gruppe pro Crawler mit einer Disallow-Regel hinzu. Zum Beispiel: "User-agent: GPTBot" gefolgt von "Disallow: /" in der nächsten Zeile. Um mehrere zu blockieren, liste jeden User-agent in seiner eigenen Gruppe. Denk daran, dass die robots.txt nur ein Hinweis ist: Gut funktionierende Crawler wie GPTBot und ClaudeBot beachten sie, aber sie stoppt keinen Bot, der sich entscheidet, sie zu ignorieren.
Sollte ich KI-Bots blockieren oder zulassen?
Das hängt von deinem Ziel ab. Erlaube die Such-Bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot), damit deine Marke in KI-Antworten zitiert werden kann. Blockiere die Trainings-Bots (GPTBot, CCBot, Google-Extended, Bytespider) nur, wenn du einen bestimmten Grund zur Abmeldung hast. Die Rutgers/Wharton-Studie stellte fest, dass Publisher, die KI-Crawler pauschal blockierten, 23% ihres Gesamt-Traffics verloren, daher zahlen sich pauschale Sperren selten aus.
Beachtet ClaudeBot die robots.txt?
Ja. Anthropics offizielle Dokumentation bestätigt, dass ClaudeBot, Claude-User und Claude-SearchBot alle die standardmäßigen robots.txt-Direktiven beachten, einschließlich der nicht standardmäßigen Crawl-delay-Erweiterung. Jeder User-agent kann unabhängig erlaubt oder blockiert werden, sodass du dich vom Training abmelden und zugleich in Claudes Suchantworten zitierbar bleiben kannst.
Schadet das Blockieren von Google-Extended meinem Google-Ranking?
Nein. Google-Extended steuert nur, ob deine Inhalte zum Trainieren und Fundieren von Gemini und Vertex AI verwendet werden. Es ist ein von Googlebot getrennter Token, daher hat das Blockieren von Google-Extended keine Auswirkung darauf, wie du in der Google Search rankst. Es ist der saubere Weg, sich vom KI-Training abzumelden, ohne die organische Suche anzutasten.
Überschreibt Cloudflares standardmäßige KI-Bot-Sperre meine Allow-Regel in der robots.txt?
Ja, das Blockieren auf Netzwerkebene gewinnt. Seit dem 1. Juli 2025 blockiert Cloudflare KI-Bots bei jeder neuen Domain standardmäßig über seine verwaltete Regel "AI Scrapers and Crawlers", selbst wenn deine robots.txt Allow sagt. Wenn ein Bot in diesem Checker als Erlaubt erscheint, deine Seiten aber tatsächlich nicht abrufen kann, prüfe deine Cloudflare-Einstellungen unter Security → Bots.
