Бесплатный Robots.txt AI Bot Checker: посмотрите, какие AI-краулеры доходят до вашего сайта
Вставьте домен или URL файла robots.txt. Мы читаем файл, сверяем каждый заметный AI-краулер с вашими правилами Allow и Disallow и по каждому боту отдельно говорим, доходит ли он до сайта. Регистрация не нужна.
Free, no sign-up. We read your robots.txt and show which AI crawlers — GPTBot, ClaudeBot, Google-Extended, PerplexityBot and more — you currently allow or block.
Что проверяет AI bot checker
- Вердикт по каждому боту (Разрешён, Частично, Заблокирован) для всех значимых AI user-agent
- Краулеры для обучения: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Поисковые краулеры: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- Боты разовой загрузки: ChatGPT-User, Claude-User, Perplexity-User
- Расположение файла robots.txt и код HTTP-ответа
- Конфликты между User-agent: * и правилами для конкретных ботов
- Запрещённые пути по каждому боту — чтобы видеть, что скрыто, а не только что заблокировано
Почему ваш robots.txt важен как никогда раньше
Robots.txt — первое, что читает краулер, а AI-компании сегодня запускают сразу несколько краулеров с разными user-agent. Только у OpenAI их три: GPTBot для обучения, OAI-SearchBot для ChatGPT Search и ChatGPT-User для разовых загрузок. У Anthropic, Google, Perplexity, Common Crawl и Meta есть свои.
Решения, которые вы принимаете в этом файле, ведут к двум разным результатам. Заблокируете поисковые краулеры — и ваш бренд исчезнет из ответов ChatGPT, Claude и Perplexity. Оставите открытыми обучающие краулеры, хотя хотели отказаться, — и завтрашние модели бесплатно научатся на вашем контенте.
Большинству сайтов в итоге нужно одно и не нужно другое.
Что говорят данные о блокировке AI-ботов
Три цифры, которые стоит знать до того, как писать правила.
Как читать ваш результат
Разрешён
Краулер может дойти до корня вашего сайта. Для поисковых ботов вроде OAI-SearchBot, Claude-SearchBot и PerplexityBot именно это оставляет вас в числе тех, кого могут процитировать в AI-ответах.
Частично
Краулер доходит до сайта, но отдельные пути закрыты. Обычно это нормально — стоит убедиться, что вы не прячете страницы, которые хотите видеть в AI-поиске.
Заблокирован
Правило Disallow: / полностью останавливает краулера. Осознанный шаг при отказе от обучения, но проблема, если это поисковый краулер, для которого вы хотели остаться видимыми.
Самые частые ошибки в robots.txt (и как их исправить)
Случайная блокировка AI-поиска.
Сплошной Disallow, который задевает OAI-SearchBot, Claude-SearchBot или PerplexityBot, тихо убирает вас из AI-ответов.
Fix: Пропишите поисковые краулеры в отдельных группах User-agent и разрешите их явно.
Блокировка AI через User-agent: *.
Эта группа задевает и Googlebot, и Bingbot, и любой обычный поисковый краулер, так что правило блокирует куда больше, чем вы задумывали.
Fix: Назовите каждый AI user-agent в собственной группе, а маску не трогайте.
Путаница между Google-Extended и Googlebot.
Заблокируете не тот — и либо оставите обучение AI включённым, либо случайно выпадете из индекса Google Поиска.
Fix: Используйте Google-Extended, чтобы отказаться от обучения Gemini и Vertex; Googlebot не трогайте ради органического поиска.
Отношение к robots.txt как к файрволу.
Это рекомендация. Добросовестные краулеры её соблюдают; недобросовестные и сторонние скраперы игнорируют.
Fix: Добавьте блокировку на стороне сервера (AI-правила Cloudflare, WAF, .htaccess) для ботов, которых нужно остановить жёстко.
Cloudflare перебивает ваше правило Allow.
С июля 2025 года Cloudflare по умолчанию блокирует AI-ботов на новых доменах независимо от того, что написано в вашем robots.txt.
Fix: Откройте панель Cloudflare, зайдите в Security → Bots → AI Scrapers and Crawlers и выключите правило, если хотите, чтобы AI-поисковые боты доходили до сайта.
Хотите узнать, цитирует ли вас AI на самом деле?
Аудит robots.txt показывает, какие AI-краулеры могут дойти до вашего сайта. SEOcrawl AI Tracker показывает, что они делают, когда дошли. Узнайте, как часто ChatGPT, Claude, Gemini и Perplexity упоминают и цитируют ваш бренд, какие запросы вас вызывают и как вы выглядите на фоне конкурентов, которых выбрали для мониторинга, — вместе с данными Google Search Console на одном дашборде.
Частые вопросы
Что такое AI bot checker?
Инструмент, который читает ваш robots.txt и по одному боту говорит, каких AI-краулеров вы пропускаете, а каких блокируете. Он сверяет ваши правила Allow и Disallow с токенами user-agent крупнейших AI-компаний: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl и других.
Что такое GPTBot?
GPTBot — веб-краулер OpenAI, запущенный в августе 2023 года; он собирает общедоступный контент для обучения будущих моделей GPT. Это не тот же бот, что OAI-SearchBot, который питает ChatGPT Search, и не ChatGPT-User, который загружает страницу, когда пользователь просит ассистента её прочитать. Все три соблюдают robots.txt независимо, так что одного можно разрешить, а другого заблокировать.
Чем отличаются обучающие, поисковые и разовые AI-боты?
Обучающие боты (GPTBot, CCBot, Google-Extended, Bytespider) собирают контент для обучения самих моделей. Поисковые боты (OAI-SearchBot, Claude-SearchBot, PerplexityBot) индексируют ваш сайт, чтобы его можно было цитировать в ответах AI-поиска. Боты разовой загрузки (ChatGPT-User, Claude-User, Perplexity-User) в реальном времени забирают одну страницу, когда пользователь спрашивает о ней ассистента. Каждым можно управлять в robots.txt отдельно.
Как заблокировать AI-краулеров в robots.txt?
Добавьте по одной группе на краулер с правилом Disallow. Например: "User-agent: GPTBot", а следующей строкой "Disallow: /". Чтобы заблокировать нескольких, пропишите каждый user-agent в своей группе. Помните, что robots.txt носит рекомендательный характер: добросовестные краулеры вроде GPTBot и ClaudeBot его соблюдают, но он не остановит бота, который решил его игнорировать.
Блокировать AI-ботов или разрешать?
Зависит от вашей цели. Разрешите поисковых ботов (OAI-SearchBot, Claude-SearchBot, PerplexityBot), чтобы ваш бренд могли цитировать в AI-ответах. Блокируйте обучающих ботов (GPTBot, CCBot, Google-Extended, Bytespider) только если у вас есть конкретная причина отказаться. Исследование Rutgers/Wharton показало, что издатели, заблокировавшие AI-краулеров целиком, потеряли 23% всего трафика, так что сплошные запреты редко окупаются.
Соблюдает ли ClaudeBot robots.txt?
Да. Официальная документация Anthropic подтверждает, что ClaudeBot, Claude-User и Claude-SearchBot соблюдают стандартные директивы robots.txt, включая нестандартное расширение Crawl-delay. Каждый user-agent можно разрешить или заблокировать отдельно, так что вы можете отказаться от обучения и остаться цитируемыми в поисковых ответах Claude.
Вредит ли блокировка Google-Extended позициям в Google?
Нет. Google-Extended управляет только тем, используется ли ваш контент для обучения и заземления Gemini и Vertex AI. Это отдельный токен от Googlebot, поэтому блокировка Google-Extended никак не влияет на ваше ранжирование в Google Поиске. Это чистый способ отказаться от обучения AI, не трогая органический поиск.
Перебьёт ли блокировка AI-ботов в Cloudflare по умолчанию моё правило Allow в robots.txt?
Да, блокировка на уровне сети сильнее. С 1 июля 2025 года Cloudflare по умолчанию блокирует AI-ботов на каждом новом домене управляемым правилом "AI Scrapers and Crawlers", даже если в вашем robots.txt стоит Allow. Если бот показан здесь как Разрешён, но реально не может получить ваши страницы, проверьте настройки Cloudflare Security → Bots.