Robots.txt AI-bot Checker: zie welke AI-crawlers je toestaat
Plak je domein en wij lezen je robots.txt, en tonen vervolgens — bot voor bot — of je GPTBot, ClaudeBot, Google-Extended, PerplexityBot en elke andere grote AI-crawler toestaat of blokkeert. Ontdek of je zichtbaar bent voor AI-zoekopdrachten voordat je concurrenten dat doen. Zonder registratie.
Gratis, zonder registratie. We lezen je robots.txt en tonen welke AI-crawlers — GPTBot, ClaudeBot, Google-Extended, PerplexityBot en meer — je momenteel toestaat of blokkeert.
Waarom AI-bots in je robots.txt belangrijk zijn voor zichtbaarheid
Je robots.txt is het eerste wat een crawler leest, en AI-bedrijven gebruiken nu hun eigen crawlers met hun eigen user-agentnamen. OpenAI alleen al gebruikt GPTBot voor training, OAI-SearchBot voor ChatGPT Search en ChatGPT-User voor on-demand opvragingen. Anthropic, Google, Perplexity, Common Crawl en anderen hebben elk hun eigen crawler. Eén enkele Disallow-regel bepaalt of je content deze systemen kan voeden en erin geciteerd kan worden.
Doe je het in welke richting dan ook verkeerd, dan kost het je geld: blokkeer je de zoek-crawlers, dan verdwijnt je merk uit AI-antwoorden; laat je training-crawlers open terwijl je je eigenlijk wilde afmelden, dan trainen je content modellen gratis. Een snelle controle laat precies zien waar je staat bij elke grote AI-bot.
Hoe je resultaat te lezen
Toegestaan
De crawler heeft toegang tot je site-root. Voor AI-zoekbots zoals OAI-SearchBot, ClaudeBot en PerplexityBot is dit wat je in aanmerking houdt om geciteerd te worden in AI-antwoorden.
Gedeeltelijk
De crawler kan je site bereiken, maar je robots.txt verbiedt enkele paden voor hem. Meestal prima — controleer alleen of je geen pagina's verbergt die je in AI-zoekopdrachten wilt laten verschijnen.
Geblokkeerd
Een Disallow: / regel houdt deze crawler bij de deur tegen. Bedoeld voor afmelding bij training, maar een probleem als het een zoek-crawler is voor wie je zichtbaar wilde blijven.
Veelgemaakte robots.txt-fouten — en hoe je ze oplost
Per ongeluk AI-zoekopdrachten blokkeren.
Een algemene Disallow die OAI-SearchBot of PerplexityBot raakt, verwijdert je stilletjes uit AI-antwoorden. Sta de zoek-crawlers toe; blokkeer alleen training-bots als het echt moet.
Vertrouwen op User-agent: * voor AI.
Veel AI-crawlers negeren de wildcard-groep en gehoorzamen alleen een regel die hun exacte token noemt. Richt je op elke AI-bot via zijn specifieke user-agent.
Google-Extended verwarren met Googlebot.
Het verkeerde token blokkeren laat ofwel AI-training aanstaan, of de-indexeert je per ongeluk uit de zoekopdrachten. Gebruik Google-Extended voor AI, Googlebot voor Search.
Robots.txt vertrouwen als een firewall.
Robots.txt is adviserend — het houdt crawlers die het kiezen te negeren of via derden scrapen niet tegen. Gebruik server-side blokkering voor bots die je echt moet stoppen.
Volg je merk in AI-antwoorden
AI-crawlers toestaan is stap één. De AI Tracker van SEOcrawl laat zien wat daarna gebeurt: hij monitort hoe vaak ChatGPT, Claude, Gemini en Perplexity je merk daadwerkelijk vermelden en citeren, welke prompts je triggeren en hoe je het doet ten opzichte van concurrenten — allemaal naast je Google Search Console-data op één plek.
Veelgestelde vragen
Wat is een AI-bot checker?
Een AI-bot checker leest het robots.txt-bestand van een site en vertelt je welke AI-crawlers het momenteel toestaat of blokkeert. Hij controleert de user-agenttokens van de grote AI-bedrijven — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) en anderen — tegen de Allow- en Disallow-regels in je robots.txt.
Hoe blokkeer ik AI-crawlers in robots.txt?
Voeg een groep per crawler toe met een Disallow-regel, bijv. "User-agent: GPTBot" gevolgd door "Disallow: /". Om er meerdere te blokkeren, plaats je elke user-agent in zijn eigen groep. Onthoud dat robots.txt adviserend is: goedaardige crawlers zoals GPTBot en ClaudeBot respecteren het, maar het is geen handhavingsmechanisme, dus het houdt bots die het kiezen te negeren niet tegen.
Moet ik AI-bots blokkeren of toestaan?
Dat hangt af van je doel. Het blokkeren van training-crawlers (GPTBot, CCBot, Google-Extended) meldt je content af voor modeltraining. Maar het blokkeren van AI-zoek-crawlers (OAI-SearchBot, ClaudeBot, PerplexityBot) kan je merk uit ChatGPT-, Claude- en Perplexity-antwoorden houden, wat je zichtbaarheid en verwijzingsverkeer kost. Veel sites staan zoek-crawlers toe terwijl ze alleen-training-crawlers blokkeren.
Schaadt het blokkeren van Google-Extended mijn Google-ranking?
Nee. Google-Extended bepaalt alleen of je content wordt gebruikt om Gemini en Vertex AI te trainen en te onderbouwen. Het staat los van Googlebot, dus het blokkeren van Google-Extended heeft geen effect op hoe je rankt in Google Search. Het is de schone manier om je af te melden voor AI-training zonder de organische zoekopdrachten aan te raken.
Wat is het verschil tussen training-, zoek- en on-demand AI-bots?
Training-bots (GPTBot, CCBot, Google-Extended, Bytespider) scrapen content om modellen te trainen. Zoek-bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexeren je site zodat deze geciteerd kan worden in AI-zoekantwoorden. On-demand fetch-bots (ChatGPT-User, Claude-User, Perplexity-User) halen in real time één pagina op wanneer een gebruiker de assistent ernaar vraagt. Elk blokkeren heeft heel verschillende gevolgen voor de AI-zichtbaarheid.
