Verificador robots.txt per a bots IA: descobreix quins crawlers d'IA permets
Enganxa el teu domini i llegirem el teu robots.txt per mostrar-te —bot a bot— si permets o bloqueges GPTBot, ClaudeBot, Google-Extended, PerplexityBot i la resta de grans crawlers d'IA. Esbrina si ets visible a la cerca amb IA abans que la teva competència. Sense registre.
Gratis i sense registre. Llegim el teu robots.txt i et mostrem quins crawlers d'IA —GPTBot, ClaudeBot, Google-Extended, PerplexityBot i més— permets o bloqueges en aquest moment.
Per què els bots d'IA al teu robots.txt són clau per a la teva visibilitat
El teu robots.txt és el primer que llegeix un crawler, i les empreses d'IA ja operen els seus propis crawlers amb els seus propis noms de user-agent. Només OpenAI fa servir GPTBot per a l'entrenament, OAI-SearchBot per a ChatGPT Search i ChatGPT-User per a peticions puntuals. Anthropic, Google, Perplexity, Common Crawl i d'altres tenen els seus. Una sola regla Disallow decideix si el teu contingut pot alimentar aquests sistemes i ser-hi citat.
Equivocar-se en qualsevol de les dues direccions et costa car: si bloqueges els crawlers de cerca, la teva marca desapareix de les respostes d'IA; si deixes oberts els crawlers d'entrenament quan volies excloure't, el teu contingut entrena models de franc. Una comprovació ràpida et diu exactament en quina situació et trobes amb cada gran bot d'IA.
Com interpretar el teu resultat
Permès
El crawler pot accedir a l'arrel del teu lloc. Per als bots de cerca amb IA com OAI-SearchBot, ClaudeBot i PerplexityBot, això és el que et manté elegible per ser citat a les respostes d'IA.
Parcial
El crawler pot arribar al teu lloc, però el teu robots.txt li bloqueja algunes rutes. Sol estar bé: només confirma que no estàs amagant pàgines que vols que apareguin a la cerca amb IA.
Bloquejat
Una regla Disallow: / atura aquest crawler a la porta. És intencionat si t'exclous de l'entrenament, però un problema si és un crawler de cerca amb el qual volies continuar essent visible.
Errors habituals al robots.txt — i com solucionar-los
Bloquejar la cerca amb IA sense voler.
Un Disallow genèric que atrapa OAI-SearchBot o PerplexityBot t'elimina en silenci de les respostes d'IA. Permet els crawlers de cerca i bloqueja només els bots d'entrenament si cal.
Confiar en User-agent: * per a la IA.
Molts crawlers d'IA ignoren el grup comodí i només obeeixen una regla que anomena el seu token exacte. Apunta a cada bot d'IA pel seu user-agent específic.
Confondre Google-Extended amb Googlebot.
Bloquejar el token equivocat deixa actiu l'entrenament d'IA, o et desindexa sense voler de la Cerca. Fes servir Google-Extended per a la IA i Googlebot per a la Cerca.
Tractar robots.txt com un tallafocs.
Robots.txt és orientatiu: no aturarà els crawlers que decideixin ignorar-lo ni l'scraping via tercers. Fes servir el bloqueig al servidor per als bots que hagis d'aturar de debò.
Monitora la teva marca a les respostes d'IA
Permetre els crawlers d'IA és el primer pas. L'AI Tracker de SEOcrawl et mostra el que ve després: monitora amb quina freqüència ChatGPT, Claude, Gemini i Perplexity esmenten i citen realment la teva marca, quins prompts t'activen i com et compares amb la competència, tot al costat de les teves dades de Google Search Console en un sol lloc.
Preguntes freqüents
Què és un verificador de bots d'IA?
Un verificador de bots d'IA llegeix el fitxer robots.txt d'un lloc i t'indica quins crawlers d'IA permet o bloqueja en aquell moment. Comprova els tokens de user-agent de les principals empreses d'IA —OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) i d'altres— davant de les regles Allow i Disallow del teu robots.txt.
Com bloquejo els crawlers d'IA al robots.txt?
Afegeix un grup per crawler amb una regla Disallow, per exemple "User-agent: GPTBot" seguit de "Disallow: /". Per bloquejar-ne diversos, llista cada user-agent al seu propi grup. Recorda que robots.txt és orientatiu: crawlers que es comporten bé com GPTBot i ClaudeBot el respecten, però no és un mecanisme d'obligat compliment, així que no aturarà els bots que decideixin ignorar-lo.
He de bloquejar o permetre els bots d'IA?
Depèn del teu objectiu. Bloquejar els crawlers d'entrenament (GPTBot, CCBot, Google-Extended) exclou el teu contingut de l'entrenament de models. Però bloquejar els crawlers de cerca amb IA (OAI-SearchBot, ClaudeBot, PerplexityBot) pot deixar la teva marca fora de les respostes de ChatGPT, Claude i Perplexity, costant-te visibilitat i trànsit de referència. Molts llocs permeten els crawlers de cerca mentre bloquegen només els d'entrenament.
Bloquejar Google-Extended perjudica el meu posicionament a Google?
No. Google-Extended només controla si el teu contingut s'utilitza per entrenar i fonamentar Gemini i Vertex AI. És independent de Googlebot, així que bloquejar Google-Extended no afecta gens com et poses a la Cerca de Google. És la manera neta d'excloure't de l'entrenament d'IA sense tocar la cerca orgànica.
Quina diferència hi ha entre els bots d'IA d'entrenament, de cerca i de petició puntual?
Els bots d'entrenament (GPTBot, CCBot, Google-Extended, Bytespider) rastregen contingut per entrenar models. Els bots de cerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexen el teu lloc perquè es pugui citar a les respostes de cerca amb IA. Els bots de petició puntual (ChatGPT-User, Claude-User, Perplexity-User) recuperen una sola pàgina en temps real quan un usuari pregunta a l'assistent per ella. Bloquejar-ne cadascun té conseqüències molt diferents per a la teva visibilitat en IA.
