Перевірка AI-ботів у robots.txt: дізнайтеся, яким AI-краулерам ви дозволяєте доступ
Вставте свій домен — і ми зчитаємо ваш robots.txt, а потім покажемо, бот за ботом, чи дозволяєте ви або блокуєте GPTBot, ClaudeBot, Google-Extended, PerplexityBot та всіх інших основних AI-краулерів. Дізнайтеся, чи видимі ви для AI-пошуку, раніше за конкурентів. Без реєстрації.
Безкоштовно, без реєстрації. Ми зчитуємо ваш robots.txt і показуємо, яким AI-краулерам — GPTBot, ClaudeBot, Google-Extended, PerplexityBot та іншим — ви наразі дозволяєте чи блокуєте доступ.
Чому AI-боти у вашому robots.txt важливі для видимості
Ваш robots.txt — це перше, що зчитує краулер, і AI-компанії тепер запускають власні краулери з власними іменами user-agent. Лише OpenAI використовує GPTBot для навчання, OAI-SearchBot для ChatGPT Search і ChatGPT-User для запитів на вимогу. Anthropic, Google, Perplexity, Common Crawl та інші мають свої власні. Одне правило Disallow вирішує, чи може ваш контент живити ці системи й цитуватися ними.
Помилка в будь-якому напрямку коштує вам дорого: заблокуєте пошукові краулери — і ваш бренд зникне з AI-відповідей; залишите навчальні краулери відкритими, коли хотіли відмовитися, — і ваш контент безкоштовно навчатиме моделі. Швидка перевірка точно покаже, де ви стоїте серед усіх основних AI-ботів.
Як читати ваш результат
Дозволено
Краулер може отримати доступ до кореня вашого сайту. Для AI-пошукових ботів, як-от OAI-SearchBot, ClaudeBot та PerplexityBot, саме це дозволяє вам бути придатними для цитування в AI-відповідях.
Частково
Краулер може дістатися до вашого сайту, але ваш robots.txt забороняє йому деякі шляхи. Зазвичай це нормально — просто переконайтеся, що ви не приховуєте сторінки, які хочете показувати в AI-пошуку.
Заблоковано
Правило Disallow: / зупиняє цей краулер на порозі. Доречно для відмови від навчання, але проблема, якщо це пошуковий краулер, для якого ви хотіли залишатися видимими.
Поширені помилки в robots.txt — і як їх виправити
Випадкове блокування AI-пошуку.
Загальний Disallow, що зачіпає OAI-SearchBot чи PerplexityBot, тихо вилучає вас із AI-відповідей. Дозволяйте пошукові краулери; блокуйте лише навчальні боти, якщо потрібно.
Покладання на User-agent: * для AI.
Багато AI-краулерів ігнорують групу з підстановкою й підкоряються лише правилу, що називає їхній точний токен. Орієнтуйтеся на кожного AI-бота за його конкретним user-agent.
Плутанина між Google-Extended і Googlebot.
Блокування не того токена або залишає AI-навчання увімкненим, або випадково деіндексує вас із Пошуку. Використовуйте Google-Extended для AI, Googlebot для Пошуку.
Сприйняття robots.txt як фаєрволу.
Robots.txt має рекомендаційний характер — він не зупинить краулери, які вирішать його ігнорувати чи скрейпити через третіх осіб. Використовуйте блокування на стороні сервера для ботів, яких потрібно зупинити жорстко.
Відстежуйте свій бренд в AI-відповідях
Дозволити AI-краулери — це перший крок. AI Tracker від SEOcrawl показує, що відбувається далі: він відстежує, як часто ChatGPT, Claude, Gemini та Perplexity насправді згадують і цитують ваш бренд, які запити вас активують і як ви виглядаєте на тлі конкурентів — і все це поряд із даними Google Search Console в одному місці.
Поширені запитання
Що таке перевірка AI-ботів?
Перевірка AI-ботів зчитує файл robots.txt сайту й повідомляє, які AI-краулери він наразі дозволяє або блокує. Вона звіряє токени user-agent основних AI-компаній — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) та інших — із правилами Allow і Disallow у вашому robots.txt.
Як заблокувати AI-краулери в robots.txt?
Додайте групу для кожного краулера з правилом Disallow, наприклад "User-agent: GPTBot", а далі "Disallow: /". Щоб заблокувати кількох, перелічіть кожен user-agent у власній групі. Пам'ятайте, що robots.txt має рекомендаційний характер: добропорядні краулери, як-от GPTBot та ClaudeBot, його дотримуються, але це не механізм примусу, тож він не зупинить ботів, які вирішать його ігнорувати.
Блокувати AI-ботів чи дозволяти їх?
Це залежить від вашої мети. Блокування навчальних краулерів (GPTBot, CCBot, Google-Extended) виключає ваш контент із навчання моделей. Але блокування AI-пошукових краулерів (OAI-SearchBot, ClaudeBot, PerplexityBot) може тримати ваш бренд поза відповідями ChatGPT, Claude та Perplexity, коштуючи вам видимості й реферального трафіку. Багато сайтів дозволяють пошукові краулери, блокуючи лише суто навчальні.
Чи зашкодить блокування Google-Extended моїм позиціям у Google?
Ні. Google-Extended лише контролює, чи використовується ваш контент для навчання та обґрунтування Gemini й Vertex AI. Він окремий від Googlebot, тож блокування Google-Extended не впливає на те, як ви ранжуєтеся в Google Search. Це чистий спосіб відмовитися від AI-навчання, не зачіпаючи органічний пошук.
Яка різниця між навчальними, пошуковими та on-demand AI-ботами?
Навчальні боти (GPTBot, CCBot, Google-Extended, Bytespider) збирають контент для навчання моделей. Пошукові боти (OAI-SearchBot, Claude-SearchBot, PerplexityBot) індексують ваш сайт, щоб його можна було цитувати у відповідях AI-пошуку. Боти отримання на вимогу (ChatGPT-User, Claude-User, Perplexity-User) забирають одну сторінку в реальному часі, коли користувач запитує про неї асистента. Блокування кожного з них має дуже різні наслідки для AI-видимості.
Більше безкоштовних SEO-інструментів
