Verificador robots.txt para bots IA: descubre qué crawlers de IA permites
Pega tu dominio y leeremos tu robots.txt para mostrarte —bot a bot— si permites o bloqueas a GPTBot, ClaudeBot, Google-Extended, PerplexityBot y al resto de grandes crawlers de IA. Averigua si eres visible en la búsqueda con IA antes que tu competencia. Sin registro.
Gratis y sin registro. Leemos tu robots.txt y te mostramos qué crawlers de IA —GPTBot, ClaudeBot, Google-Extended, PerplexityBot y más— permites o bloqueas en este momento.
Por qué los bots de IA en tu robots.txt importan para tu visibilidad
Tu robots.txt es lo primero que lee un crawler, y las empresas de IA ya operan sus propios crawlers con sus propios nombres de user-agent. Solo OpenAI usa GPTBot para entrenamiento, OAI-SearchBot para ChatGPT Search y ChatGPT-User para peticiones puntuales. Anthropic, Google, Perplexity, Common Crawl y otros tienen los suyos. Una sola regla Disallow decide si tu contenido puede alimentar a estos sistemas y ser citado por ellos.
Equivocarse en cualquiera de las dos direcciones tiene un coste: si bloqueas los crawlers de búsqueda, tu marca desaparece de las respuestas de IA; si dejas abiertos los crawlers de entrenamiento cuando querías excluirte, tu contenido entrena modelos gratis. Una comprobación rápida te dice exactamente en qué situación estás con cada gran bot de IA.
Cómo interpretar tu resultado
Permitido
El crawler puede acceder a la raíz de tu sitio. Para los bots de búsqueda con IA como OAI-SearchBot, ClaudeBot y PerplexityBot, esto es lo que te mantiene elegible para ser citado en las respuestas de IA.
Parcial
El crawler puede llegar a tu sitio, pero tu robots.txt le bloquea algunas rutas. Suele estar bien: solo confirma que no estás ocultando páginas que quieres que aparezcan en la búsqueda con IA.
Bloqueado
Una regla Disallow: / detiene a este crawler en la puerta. Es intencionado si te excluyes del entrenamiento, pero un problema si es un crawler de búsqueda con el que querías seguir siendo visible.
Errores habituales en robots.txt — y cómo solucionarlos
Bloquear la búsqueda con IA sin querer.
Un Disallow genérico que atrapa a OAI-SearchBot o PerplexityBot te elimina en silencio de las respuestas de IA. Permite los crawlers de búsqueda y bloquea solo los bots de entrenamiento si lo necesitas.
Confiar en User-agent: * para la IA.
Muchos crawlers de IA ignoran el grupo comodín y solo obedecen una regla que nombra su token exacto. Apunta a cada bot de IA por su user-agent específico.
Confundir Google-Extended con Googlebot.
Bloquear el token equivocado deja activo el entrenamiento de IA, o te desindexa sin querer de la Búsqueda. Usa Google-Extended para la IA y Googlebot para la Búsqueda.
Tratar robots.txt como un cortafuegos.
Robots.txt es orientativo: no detendrá a los crawlers que decidan ignorarlo ni el scraping vía terceros. Usa bloqueo en el servidor para los bots que debas frenar de verdad.
Monitoriza tu marca en las respuestas de IA
Permitir los crawlers de IA es el primer paso. El AI Tracker de SEOcrawl te muestra lo que viene después: monitoriza con qué frecuencia ChatGPT, Claude, Gemini y Perplexity mencionan y citan realmente tu marca, qué prompts te activan y cómo te comparas con la competencia, todo junto a tus datos de Google Search Console en un solo lugar.
Preguntas frecuentes
¿Qué es un verificador de bots de IA?
Un verificador de bots de IA lee el archivo robots.txt de un sitio y te indica qué crawlers de IA permite o bloquea en ese momento. Comprueba los tokens de user-agent de las principales empresas de IA —OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) y otras— frente a las reglas Allow y Disallow de tu robots.txt.
¿Cómo bloqueo a los crawlers de IA en robots.txt?
Añade un grupo por crawler con una regla Disallow, por ejemplo "User-agent: GPTBot" seguido de "Disallow: /". Para bloquear varios, lista cada user-agent en su propio grupo. Recuerda que robots.txt es orientativo: crawlers que se comportan bien como GPTBot y ClaudeBot lo respetan, pero no es un mecanismo de obligado cumplimiento, así que no detendrá a los bots que decidan ignorarlo.
¿Debo bloquear o permitir a los bots de IA?
Depende de tu objetivo. Bloquear los crawlers de entrenamiento (GPTBot, CCBot, Google-Extended) excluye tu contenido del entrenamiento de modelos. Pero bloquear los crawlers de búsqueda con IA (OAI-SearchBot, ClaudeBot, PerplexityBot) puede dejar tu marca fuera de las respuestas de ChatGPT, Claude y Perplexity, costándote visibilidad y tráfico de referencia. Muchos sitios permiten los crawlers de búsqueda mientras bloquean solo los de entrenamiento.
¿Bloquear Google-Extended perjudica mi posicionamiento en Google?
No. Google-Extended solo controla si tu contenido se usa para entrenar y fundamentar Gemini y Vertex AI. Es independiente de Googlebot, así que bloquear Google-Extended no afecta en absoluto a cómo posicionas en la Búsqueda de Google. Es la forma limpia de excluirte del entrenamiento de IA sin tocar la búsqueda orgánica.
¿Qué diferencia hay entre los bots de IA de entrenamiento, de búsqueda y de petición puntual?
Los bots de entrenamiento (GPTBot, CCBot, Google-Extended, Bytespider) rastrean contenido para entrenar modelos. Los bots de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexan tu sitio para que pueda citarse en las respuestas de búsqueda con IA. Los bots de petición puntual (ChatGPT-User, Claude-User, Perplexity-User) recuperan una sola página en tiempo real cuando un usuario le pregunta al asistente por ella. Bloquear cada uno tiene consecuencias muy distintas para tu visibilidad en IA.
