Gratis Robots.txt AI-bot Checker: zie welke AI-crawlers je site bereiken
Plak je domein of robots.txt-URL. Wij lezen het bestand, toetsen elke grote AI-crawler aan je Allow- en Disallow-regels en vertellen je bot voor bot welke je site bereiken. Geen registratie nodig.
Gratis, zonder registratie. We lezen je robots.txt en tonen welke AI-crawlers — GPTBot, ClaudeBot, Google-Extended, PerplexityBot en meer — je momenteel toestaat of blokkeert.
Wat de AI-bot checker valideert
- Verdict per bot (Toegestaan, Gedeeltelijk, Geblokkeerd) voor elke grote AI-user-agent
- Training-crawlers: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Zoek-crawlers: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- On-demand fetch-bots: ChatGPT-User, Claude-User, Perplexity-User
- Locatie van de robots.txt-URL en HTTP-statuscode
- Conflicten tussen User-agent: * en bot-specifieke regels
- Verboden paden per bot — zodat je ziet wat verborgen is, niet alleen wat geblokkeerd is
Waarom je robots.txt belangrijker is dan vroeger
Je robots.txt is het eerste wat een crawler leest, en AI-bedrijven draaien nu meerdere crawlers met aparte user-agents. OpenAI alleen al heeft er drie: GPTBot voor training, OAI-SearchBot voor ChatGPT Search en ChatGPT-User voor on-demand opvragingen. Anthropic, Google, Perplexity, Common Crawl en Meta hebben elk hun eigen crawlers.
De keuzes die je in dit bestand maakt, bepalen twee verschillende uitkomsten. Blokkeer de zoek-crawlers en je merk verdwijnt uit de antwoorden van ChatGPT, Claude en Perplexity. Laat de training-crawlers open terwijl je je eigenlijk wilde afmelden, en de modellen van morgen leren gratis van je content.
De meeste sites willen uiteindelijk het één en niet het ander.
Wat de data zegt over het blokkeren van AI-bots
Drie cijfers die de moeite waard zijn voordat je de regels schrijft.
Hoe je resultaat te lezen
Toegestaan
De crawler heeft toegang tot je site-root. Voor zoek-bots zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot is dit wat je in aanmerking houdt om geciteerd te worden in AI-antwoorden.
Gedeeltelijk
De crawler kan je site bereiken, maar specifieke paden zijn verboden. Meestal prima — controleer even of je geen pagina's verbergt die je in AI-zoekopdrachten wilt laten verschijnen.
Geblokkeerd
Een Disallow: / regel stopt de crawler volledig. Bedoeld voor afmelding bij training, maar een probleem als het een zoek-crawler is voor wie je zichtbaar wilde blijven.
De meest voorkomende robots.txt-fouten (en hoe je ze oplost)
Per ongeluk AI-zoekopdrachten blokkeren.
Een algemene Disallow die OAI-SearchBot, Claude-SearchBot of PerplexityBot raakt, verwijdert je stilletjes uit AI-antwoorden.
Oplossing: Zet de zoek-crawlers in hun eigen User-agent-groepen en sta ze expliciet toe.
User-agent: * gebruiken om AI te blokkeren.
Die groep raakt ook Googlebot, Bingbot en elke gewone zoek-crawler, dus de regel blokkeert veel meer dan je bedoelde.
Oplossing: Noem elke AI-user-agent in zijn eigen groep en laat de wildcard met rust.
Google-Extended verwarren met Googlebot.
Blokkeer de verkeerde en je laat ofwel AI-training aanstaan, of je de-indexeert jezelf per ongeluk uit Google Search.
Oplossing: Gebruik Google-Extended om je af te melden voor training van Gemini en Vertex AI; laat Googlebot ongemoeid voor organische Search.
Robots.txt behandelen als een firewall.
Het is adviserend. Nette crawlers respecteren het; kwaadwillenden en externe scrapers negeren het.
Oplossing: Voeg server-side blokkering toe (Cloudflare AI-regels, WAF, .htaccess) voor bots die je echt moet stoppen.
Cloudflare die je Allow-regel overschrijft.
Sinds juli 2025 blokkeert Cloudflare AI-bots standaard op nieuwe domeinen, ongeacht wat je robots.txt zegt.
Oplossing: Open het Cloudflare-dashboard, ga naar Security → Bots → AI Scrapers and Crawlers en schakel het uit als je wilt dat AI-zoek-bots je site bereiken.
Wil je zien of AI je echt citeert?
Een robots.txt-audit vertelt je welke AI-crawlers je site kunnen bereiken. De SEOcrawl AI Tracker vertelt je wat ze doen zodra ze er zijn. Ontdek hoe vaak ChatGPT, Claude, Gemini en Perplexity je merk vermelden en citeren, welke prompts je triggeren en hoe je het doet ten opzichte van de concurrenten die je kiest te monitoren — gekoppeld aan je Google Search Console-data op hetzelfde dashboard.
Veelgestelde vragen
Wat is een AI-bot checker?
Een tool die je robots.txt leest en je vertelt welke AI-crawlers je toestaat of blokkeert, bot voor bot. Hij vergelijkt je Allow- en Disallow-regels met de user-agenttokens van de grote AI-bedrijven: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl en anderen.
Wat is GPTBot?
GPTBot is de webcrawler van OpenAI, gelanceerd in augustus 2023, gebruikt om openbaar beschikbare content te verzamelen voor het trainen van toekomstige GPT-modellen. Het is niet dezelfde bot als OAI-SearchBot, die ChatGPT Search aandrijft, of ChatGPT-User, die een pagina ophaalt wanneer iemand een assistent vraagt deze te lezen. Alle drie gehoorzamen ze robots.txt onafhankelijk van elkaar, dus je kunt de ene toestaan en de andere blokkeren.
Wat is het verschil tussen training-, zoek- en on-demand AI-bots?
Training-bots (GPTBot, CCBot, Google-Extended, Bytespider) scrapen content om de onderliggende modellen te trainen. Zoek-bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexeren je site zodat deze geciteerd kan worden in AI-zoekantwoorden. On-demand fetch-bots (ChatGPT-User, Claude-User, Perplexity-User) halen in real time één pagina op wanneer een gebruiker de assistent ernaar vraagt. Elk kan afzonderlijk worden beheerd in robots.txt.
Hoe blokkeer ik AI-crawlers in robots.txt?
Voeg een groep per crawler toe met een Disallow-regel. Bijvoorbeeld: "User-agent: GPTBot" gevolgd door "Disallow: /" op de volgende regel. Om er meerdere te blokkeren, plaats je elke user-agent in zijn eigen groep. Onthoud dat robots.txt adviserend is: goedaardige crawlers zoals GPTBot en ClaudeBot respecteren het, maar het houdt een bot die het kiest te negeren niet tegen.
Moet ik AI-bots blokkeren of toestaan?
Dat hangt af van je doel. Sta de zoek-bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) toe zodat je merk geciteerd kan worden in AI-antwoorden. Blokkeer de training-bots (GPTBot, CCBot, Google-Extended, Bytespider) alleen als je een specifieke reden hebt om je af te melden. Uit het Rutgers/Wharton-onderzoek bleek dat uitgevers die AI-crawlers massaal blokkeerden 23% van hun totale verkeer verloren, dus algehele verboden lonen zelden.
Respecteert ClaudeBot robots.txt?
Ja. De officiële documentatie van Anthropic bevestigt dat ClaudeBot, Claude-User en Claude-SearchBot allemaal de standaard robots.txt-richtlijnen respecteren, inclusief de niet-standaard Crawl-delay-uitbreiding. Elke user-agent kan onafhankelijk worden toegestaan of geblokkeerd, dus je kunt je afmelden voor training terwijl je citeerbaar blijft in de zoekantwoorden van Claude.
Schaadt het blokkeren van Google-Extended mijn Google-ranking?
Nee. Google-Extended bepaalt alleen of je content wordt gebruikt om Gemini en Vertex AI te trainen en te onderbouwen. Het is een apart token van Googlebot, dus het blokkeren van Google-Extended heeft geen effect op hoe je rankt in Google Search. Het is de schone manier om je af te melden voor AI-training zonder de organische zoekopdrachten aan te raken.
Overschrijft de standaard AI-botblokkering van Cloudflare mijn Allow-regel in robots.txt?
Ja, blokkering op netwerkniveau wint. Sinds 1 juli 2025 blokkeert Cloudflare AI-bots standaard op elk nieuw domein via zijn beheerde regel "AI Scrapers and Crawlers", zelfs als je robots.txt Allow zegt. Als een bot in deze checker als Toegestaan verschijnt maar je pagina's niet daadwerkelijk kan ophalen, controleer dan je Cloudflare-instellingen bij Security → Bots.
