Gratis robots.txt AI bot checker: se hvilke AI-crawlere der når dit site
Indsæt dit domæne eller din robots.txt-URL. Vi læser filen, holder hver større AI-crawler op mod dine Allow- og Disallow-regler og fortæller dig bot for bot, hvem der når frem. Du skal ikke oprette en konto.
Free, no sign-up. We read your robots.txt and show which AI crawlers — GPTBot, ClaudeBot, Google-Extended, PerplexityBot and more — you currently allow or block.
Det tjekker AI bot checkeren
- Dom pr. bot (Tilladt, Delvist, Blokeret) for hver større AI-user-agent
- Træningscrawlere: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Søgecrawlere: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- Bots der henter på forespørgsel: ChatGPT-User, Claude-User, Perplexity-User
- Placering af robots.txt-URL og HTTP-statuskode
- Konflikter mellem User-agent: * og botspecifikke regler
- Blokerede stier pr. bot — så du ser, hvad der er skjult, ikke bare hvad der er blokeret
Derfor betyder din robots.txt mere end før
Din robots.txt er det første, en crawler læser, og AI-selskaberne kører nu flere crawlere med hver sin user-agent. Alene OpenAI har tre: GPTBot til træning, OAI-SearchBot til ChatGPT Search og ChatGPT-User til hentninger på forespørgsel. Anthropic, Google, Perplexity, Common Crawl og Meta har deres egne.
De valg, du træffer i filen, giver to forskellige udfald. Blokerer du søgecrawlerne, forsvinder dit brand fra svarene i ChatGPT, Claude og Perplexity. Lader du træningscrawlerne stå åbne, selv om du ville sige fra, lærer morgendagens modeller gratis af dit indhold.
De fleste sites ender med at ville det ene og ikke det andet.
Det siger data om at blokere AI-bots
Tre tal, der er værd at kende, før du skriver reglerne.
Sådan læser du dit resultat
Tilladt
Crawleren kan nå roden af dit site. For søgebots som OAI-SearchBot, Claude-SearchBot og PerplexityBot er det netop dét, der holder dig i spil til at blive citeret i AI-svar.
Delvist
Crawleren kan nå dit site, men bestemte stier er blokeret. Typisk fint — tjek lige, at du ikke skjuler sider, du gerne vil have frem i AI-søgning.
Blokeret
En Disallow: / regel stopper crawleren helt. Det er meningen, hvis du siger nej til træning, men et problem, hvis det er en søgecrawler, du ville være synlig for.
De mest almindelige robots.txt-fejl (og sådan retter du dem)
Du blokerer AI-søgning ved et uheld.
Et bredt Disallow, der også rammer OAI-SearchBot, Claude-SearchBot eller PerplexityBot, fjerner dig stille og roligt fra AI-svarene.
Fix: Skriv søgecrawlerne i deres egne User-agent-grupper, og tillad dem eksplicit.
Du bruger User-agent: * til at blokere AI.
Den gruppe rammer også Googlebot, Bingbot og alle almindelige søgecrawlere, så reglen blokerer langt mere, end du havde tænkt.
Fix: Nævn hver AI-user-agent i sin egen gruppe, og lad wildcardet være.
Du forveksler Google-Extended med Googlebot.
Blokerer du den forkerte, lader du enten AI-træningen køre videre eller afindekserer dig selv fra Google Søgning ved et uheld.
Fix: Brug Google-Extended til at sige nej til træning af Gemini og Vertex; lad Googlebot være i fred for den organiske søgning.
Du behandler robots.txt som en firewall.
Den er vejledende. Velopdragne crawlere følger den; useriøse aktører og tredjeparts-scrapere ignorerer den.
Fix: Læg blokering på serversiden (Cloudflares AI-regler, WAF, .htaccess) oven i for de bots, du skal stoppe helt.
Cloudflare tilsidesætter din Allow-regel.
Siden juli 2025 blokerer Cloudflare AI-bots som standard på nye domæner, uanset hvad din robots.txt siger.
Fix: Åbn Cloudflare-dashboardet, gå til Security → Bots → AI Scrapers and Crawlers, og slå det fra, hvis AI-søgebots skal kunne nå dit site.
Vil du se, om AI rent faktisk citerer dig?
En robots.txt-gennemgang fortæller dig, hvilke AI-crawlere der kan nå dit site. SEOcrawl AI Tracker fortæller dig, hvad de gør, når de er der. Se hvor ofte ChatGPT, Claude, Gemini og Perplexity nævner og citerer dit brand, hvilke prompts der udløser dig, og hvordan du står over for de konkurrenter, du vælger at følge — sammen med dine Google Search Console-data i samme dashboard.
FAQ
Hvad er en AI bot checker?
Et værktøj, der læser din robots.txt og fortæller dig, hvilke AI-crawlere du tillader eller blokerer, én bot ad gangen. Det holder dine Allow- og Disallow-regler op mod user-agent-navnene hos de store AI-selskaber: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl og flere.
Hvad er GPTBot?
GPTBot er OpenAI's webcrawler, lanceret i august 2023, som samler offentligt tilgængeligt indhold til træning af kommende GPT-modeller. Den er ikke den samme som OAI-SearchBot, der driver ChatGPT Search, eller ChatGPT-User, der henter en side, når nogen beder en assistent om at læse den. Alle tre følger robots.txt hver for sig, så du kan tillade den ene og blokere den anden.
Hvad er forskellen på trænings-, søge- og hentebots?
Træningsbots (GPTBot, CCBot, Google-Extended, Bytespider) henter indhold til at træne selve modellerne. Søgebots (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indekserer dit site, så det kan citeres i AI-søgesvar. Bots der henter på forespørgsel (ChatGPT-User, Claude-User, Perplexity-User) henter en enkelt side i realtid, når en bruger spørger assistenten om den. Hver af dem kan styres separat i robots.txt.
Hvordan blokerer jeg AI-crawlere i robots.txt?
Tilføj én gruppe pr. crawler med en Disallow-regel. For eksempel: "User-agent: GPTBot" og på næste linje "Disallow: /". Skal du blokere flere, skriver du hver user-agent i sin egen gruppe. Husk at robots.txt er vejledende: velopdragne crawlere som GPTBot og ClaudeBot følger den, men den stopper ikke en bot, der vælger at ignorere den.
Skal jeg blokere AI-bots eller tillade dem?
Det afhænger af målet. Tillad søgebotsene (OAI-SearchBot, Claude-SearchBot, PerplexityBot), så dit brand kan citeres i AI-svar. Bloker træningsbotsene (GPTBot, CCBot, Google-Extended, Bytespider), hvis du har en konkret grund til at sige fra. Rutgers/Wharton-studiet fandt, at udgivere, der blokerede AI-crawlere over en bred kam, mistede 23% af deres samlede trafik, så totalforbud betaler sig sjældent.
Følger ClaudeBot robots.txt?
Ja. Anthropics officielle dokumentation bekræfter, at ClaudeBot, Claude-User og Claude-SearchBot alle følger standard robots.txt-direktiver, inklusive den ikke-standardiserede Crawl-delay-udvidelse. Hver user-agent kan tillades eller blokeres for sig, så du kan sige nej til træning og stadig være citerbar i Claudes søgesvar.
Skader det mine Google-placeringer at blokere Google-Extended?
Nej. Google-Extended styrer kun, om dit indhold bruges til at træne og forankre Gemini og Vertex AI. Det er et andet token end Googlebot, så det påvirker ikke, hvordan du rangerer i Google Søgning. Det er den rene måde at sige nej til AI-træning uden at røre den organiske søgning.
Tilsidesætter Cloudflares standardblokering af AI-bots min Allow-regel i robots.txt?
Ja, blokering på netværksniveau vinder. Siden 1. juli 2025 blokerer Cloudflare AI-bots som standard på hvert nyt domæne via den administrerede regel "AI Scrapers and Crawlers", også selv om din robots.txt siger Allow. Står en bot som Tilladt her, men kan alligevel ikke hente dine sider, så tjek dine indstillinger under Cloudflare Security → Bots.