Bezplatný Robots.txt AI Bot Checker: zjistěte, které AI crawlery se dostanou na váš web
Vložte svou doménu nebo URL souboru robots.txt. Načteme soubor, porovnáme každý významný AI crawler s vašimi pravidly Allow a Disallow a řekneme vám bot po botu, kteří se dostanou na váš web. Bez registrace.
Zdarma, bez registrace. Načteme váš robots.txt a ukážeme, které AI crawlery — GPTBot, ClaudeBot, Google-Extended, PerplexityBot a další — aktuálně povolujete nebo blokujete.
Co AI bot checker ověřuje
- Verdikt pro každý bot (Povoleno, Částečně, Blokováno) pro každého významného AI user-agenta
- Tréninkové crawlery: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Vyhledávací crawlery: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- Boty pro načítání na vyžádání: ChatGPT-User, Claude-User, Perplexity-User
- Umístění URL souboru robots.txt a stavový kód HTTP
- Konflikty mezi User-agent: * a pravidly specifickými pro bota
- Zakázané cesty pro každý bot — abyste viděli, co je skryto, ne jen co je blokováno
Proč na vašem robots.txt záleží víc než dřív
Váš robots.txt je první věc, kterou crawler přečte, a AI společnosti dnes provozují více crawlerů s oddělenými user-agenty. Samotné OpenAI má tři: GPTBot pro trénování, OAI-SearchBot pro ChatGPT Search a ChatGPT-User pro načítání na vyžádání. Anthropic, Google, Perplexity, Common Crawl a Meta mají každý ty své.
Rozhodnutí, která v tomto souboru učiníte, utvářejí dva různé výsledky. Zablokujte vyhledávací crawlery a vaše značka zmizí z odpovědí ChatGPT, Claude a Perplexity. Ponechte tréninkové crawlery otevřené, když jste se chtěli odhlásit, a zítřejší modely se z vašeho obsahu učí zdarma.
Většina webů nakonec chce jedno, a ne druhé.
Co říkají data o blokování AI botů
Tři čísla, která stojí za to znát, než napíšete pravidla.
Jak číst váš výsledek
Povoleno
Crawler má přístup ke kořenu vašeho webu. U vyhledávacích botů, jako jsou OAI-SearchBot, Claude-SearchBot a PerplexityBot, je to to, co vás udržuje způsobilými k citaci v AI odpovědích.
Částečně
Crawler se dostane na váš web, ale konkrétní cesty jsou zakázané. Obvykle v pořádku — vyplatí se ověřit, že neskrýváte stránky, které chcete zobrazovat v AI vyhledávání.
Blokováno
Pravidlo Disallow: / crawlera zastaví úplně. Záměrné při odhlášení z tréninku, ale problém, pokud jde o vyhledávací crawler, pro který jste chtěli zůstat viditelní.
Nejčastější chyby v robots.txt (a jak je opravit)
Náhodné blokování AI vyhledávání.
Plošné Disallow, které zachytí OAI-SearchBot, Claude-SearchBot nebo PerplexityBot, vás potichu odstraní z AI odpovědí.
Řešení: Zařaďte vyhledávací crawlery do jejich vlastních skupin User-agent a povolte je výslovně.
Použití User-agent: * k blokování AI.
Tato skupina zachytí i Googlebot, Bingbot a každý běžný vyhledávací crawler, takže pravidlo blokuje mnohem víc, než jste zamýšleli.
Řešení: Pojmenujte každého AI user-agenta v jeho vlastní skupině a zástupný znak nechte být.
Záměna Google-Extended s Googlebot.
Zablokujte ten špatný a buď ponecháte AI trénování zapnuté, nebo se omylem odindexujete z Google Search.
Řešení: Použijte Google-Extended k odhlášení z trénování Gemini a Vertex AI; Googlebot nechte nedotčený pro organický Search.
Považování robots.txt za firewall.
Je pouze doporučující. Slušné crawlery ho ctí; nekalé subjekty a crawlery třetích stran ho ignorují.
Řešení: Přidejte blokování na straně serveru (AI pravidla Cloudflare, WAF, .htaccess) pro boty, které musíte tvrdě zastavit.
Cloudflare přepisující vaše pravidlo Allow.
Od července 2025 Cloudflare ve výchozím nastavení blokuje AI boty na nových doménách bez ohledu na to, co říká váš robots.txt.
Řešení: Otevřete panel Cloudflare, přejděte na Security → Bots → AI Scrapers and Crawlers a vypněte to, pokud chcete, aby se AI vyhledávací boti dostali na váš web.
Chcete vidět, zda vás AI skutečně cituje?
Audit robots.txt vám řekne, které AI crawlery se dostanou na váš web. SEOcrawl AI Tracker vám řekne, co dělají, jakmile tam jsou. Zjistěte, jak často ChatGPT, Claude, Gemini a Perplexity vaši značku zmiňují a citují, které prompty vás spouštějí a jak si stojíte oproti konkurentům, které si zvolíte ke sledování — propojeno s vašimi daty z Google Search Console na stejném dashboardu.
Časté dotazy
Co je AI bot checker?
Nástroj, který přečte váš robots.txt a řekne vám, které AI crawlery povolujete nebo blokujete, bot po botu. Porovnává vaše pravidla Allow a Disallow s tokeny user-agent významných AI společností: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl a dalších.
Co je GPTBot?
GPTBot je webový crawler společnosti OpenAI, spuštěný v srpnu 2023, používaný ke sběru veřejně dostupného obsahu pro trénování budoucích modelů GPT. Není to stejný bot jako OAI-SearchBot, který pohání ChatGPT Search, ani ChatGPT-User, který načte stránku, když někdo požádá asistenta, aby si ji přečetl. Všechny tři ctí robots.txt nezávisle, takže jeden můžete povolit a jiný zablokovat.
Jaký je rozdíl mezi tréninkovými, vyhledávacími a na vyžádání pracujícími AI boty?
Tréninkové boty (GPTBot, CCBot, Google-Extended, Bytespider) stahují obsah k trénování základních modelů. Vyhledávací boty (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexují váš web, aby mohl být citován v odpovědích AI vyhledávání. Boty pro načítání na vyžádání (ChatGPT-User, Claude-User, Perplexity-User) získají jednu stránku v reálném čase, když se na ni uživatel zeptá asistenta. Každý z nich lze v robots.txt řídit samostatně.
Jak zablokovat AI crawlery v robots.txt?
Přidejte jednu skupinu pro každý crawler s pravidlem Disallow. Například: "User-agent: GPTBot" následované "Disallow: /" na dalším řádku. Chcete-li jich zablokovat několik, uveďte každý user-agent ve vlastní skupině. Pamatujte, že robots.txt je pouze doporučující: slušné crawlery jako GPTBot a ClaudeBot ho ctí, ale nezastaví boty, které se ho rozhodnou ignorovat.
Mám AI boty blokovat, nebo povolit?
Záleží na vašem cíli. Povolte vyhledávací boty (OAI-SearchBot, Claude-SearchBot, PerplexityBot), aby vaše značka mohla být citována v AI odpovědích. Tréninkové boty (GPTBot, CCBot, Google-Extended, Bytespider) blokujte jen tehdy, máte-li konkrétní důvod se odhlásit. Studie Rutgers/Wharton zjistila, že vydavatelé, kteří plošně blokovali AI crawlery, přišli o 23 % své celkové návštěvnosti, takže plošné zákazy se málokdy vyplatí.
Ctí ClaudeBot robots.txt?
Ano. Oficiální dokumentace společnosti Anthropic potvrzuje, že ClaudeBot, Claude-User i Claude-SearchBot ctí standardní direktivy robots.txt, včetně nestandardního rozšíření Crawl-delay. Každého user-agenta lze povolit nebo zablokovat samostatně, takže se můžete odhlásit z trénování a přitom zůstat citovatelní ve vyhledávacích odpovědích Claude.
Poškodí blokování Google-Extended mé pozice v Google?
Ne. Google-Extended pouze řídí, zda je váš obsah použit k trénování a podložení Gemini a Vertex AI. Je to oddělený token od Googlebot, takže blokování Google-Extended nemá žádný vliv na to, jak se umisťujete v Google Search. Je to čistý způsob, jak se odhlásit z AI trénování, aniž byste se dotkli organického vyhledávání.
Přepíše výchozí blokování AI botů v Cloudflare mé pravidlo Allow v robots.txt?
Ano, blokování na úrovni sítě vítězí. Od 1. července 2025 Cloudflare na každé nové doméně ve výchozím nastavení blokuje AI boty přes svoje spravované pravidlo „AI Scrapers and Crawlers“, i když váš robots.txt říká Allow. Pokud se bot v tomto checkeru zobrazí jako Povolený, ale ve skutečnosti nemůže načíst vaše stránky, zkontrolujte nastavení Cloudflare Security → Bots.
