Robots.txt AI Bot Checker: zjistěte, které AI crawlery povolujete
Vložte svou doménu a my načteme váš robots.txt a poté ukážeme — bot po botu — zda povolujete, či blokujete GPTBot, ClaudeBot, Google-Extended, PerplexityBot a každý další významný AI crawler. Zjistěte, zda jste viditelní pro AI vyhledávání dříve, než to udělá vaše konkurence. Bez registrace.
Zdarma, bez registrace. Načteme váš robots.txt a ukážeme, které AI crawlery — GPTBot, ClaudeBot, Google-Extended, PerplexityBot a další — aktuálně povolujete nebo blokujete.
Proč na AI botech ve vašem robots.txt záleží pro viditelnost
Váš robots.txt je první věc, kterou crawler přečte, a AI společnosti dnes provozují vlastní crawlery s vlastními názvy user-agent. Samotné OpenAI používá GPTBot pro trénování, OAI-SearchBot pro ChatGPT Search a ChatGPT-User pro načítání na vyžádání. Anthropic, Google, Perplexity, Common Crawl a další mají každý ten svůj. Jediné pravidlo Disallow rozhoduje o tom, zda váš obsah může napájet tyto systémy a být v nich citován.
Chyba v kterémkoli směru vás stojí: zablokujte vyhledávací crawlery a vaše značka zmizí z AI odpovědí; ponechte tréninkové crawlery otevřené, když jste se chtěli odhlásit, a váš obsah trénuje modely zdarma. Rychlá kontrola vám přesně ukáže, jak na tom jste u každého významného AI bota.
Jak číst váš výsledek
Povoleno
Crawler má přístup ke kořenu vašeho webu. U AI vyhledávacích botů, jako jsou OAI-SearchBot, ClaudeBot a PerplexityBot, je to to, co vás udržuje způsobilými k citaci v AI odpovědích.
Částečně
Crawler se dostane na váš web, ale váš robots.txt mu zakazuje některé cesty. Obvykle v pořádku — jen si ověřte, že neskrýváte stránky, které chcete zobrazovat v AI vyhledávání.
Blokováno
Pravidlo Disallow: / zastaví tohoto crawlera u dveří. Záměrné při odhlášení z tréninku, ale problém, pokud jde o vyhledávací crawler, pro který jste chtěli zůstat viditelní.
Časté chyby v robots.txt — a jak je opravit
Náhodné blokování AI vyhledávání.
Plošné Disallow, které zachytí OAI-SearchBot nebo PerplexityBot, vás potichu odstraní z AI odpovědí. Povolte vyhledávací crawlery; blokujte pouze tréninkové boty, pokud musíte.
Spoléhání na User-agent: * pro AI.
Mnoho AI crawlerů ignoruje skupinu se zástupným znakem a řídí se pouze pravidlem, které pojmenovává jejich přesný token. Cilte na každého AI bota podle jeho konkrétního user-agenta.
Záměna Google-Extended s Googlebot.
Zablokování špatného tokenu buď ponechá AI trénování zapnuté, nebo vás omylem odindexuje z vyhledávání. Použijte Google-Extended pro AI a Googlebot pro Search.
Důvěra v robots.txt jako ve firewall.
Robots.txt je pouze doporučující — nezastaví crawlery, kteří se ho rozhodnou ignorovat nebo stahovat data přes třetí strany. U botů, které musíte tvrdě zastavit, použijte blokování na straně serveru.
Sledujte svou značku napříč AI odpověďmi
Povolení AI crawlerů je první krok. AI Tracker od SEOcrawl ukazuje, co následuje: monitoruje, jak často ChatGPT, Claude, Gemini a Perplexity vaši značku skutečně zmiňují a citují, které prompty vás spouštějí a jak si stojíte oproti konkurenci — to vše vedle vašich dat z Google Search Console na jednom místě.
Časté dotazy
Co je AI bot checker?
AI bot checker přečte soubor robots.txt webu a řekne vám, které AI crawlery aktuálně povoluje nebo blokuje. Kontroluje tokeny user-agent významných AI společností — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) a dalších — vůči pravidlům Allow a Disallow ve vašem robots.txt.
Jak zablokovat AI crawlery v robots.txt?
Přidejte skupinu pro každý crawler s pravidlem Disallow, např. "User-agent: GPTBot" následované "Disallow: /". Chcete-li jich zablokovat několik, uveďte každý user-agent ve vlastní skupině. Pamatujte, že robots.txt je pouze doporučující: slušné crawlery jako GPTBot a ClaudeBot ho ctí, ale není to vynucovací mechanismus, takže nezastaví boty, které se ho rozhodnou ignorovat.
Mám AI boty blokovat, nebo povolit?
Záleží na vašem cíli. Blokování tréninkových crawlerů (GPTBot, CCBot, Google-Extended) odhlásí váš obsah z trénování modelů. Ale blokování AI vyhledávacích crawlerů (OAI-SearchBot, ClaudeBot, PerplexityBot) může vaši značku držet mimo odpovědi ChatGPT, Claude a Perplexity, což vás stojí viditelnost a odkazovanou návštěvnost. Mnoho webů povoluje vyhledávací crawlery a blokuje pouze ty čistě tréninkové.
Poškodí blokování Google-Extended mé pozice v Google?
Ne. Google-Extended pouze řídí, zda je váš obsah použit k trénování a podložení Gemini a Vertex AI. Je oddělený od Googlebot, takže blokování Google-Extended nemá žádný vliv na to, jak se umisťujete v Google Search. Je to čistý způsob, jak se odhlásit z AI trénování, aniž byste se dotkli organického vyhledávání.
Jaký je rozdíl mezi tréninkovými, vyhledávacími a na vyžádání pracujícími AI boty?
Tréninkové boty (GPTBot, CCBot, Google-Extended, Bytespider) stahují obsah k trénování modelů. Vyhledávací boty (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexují váš web, aby mohl být citován v odpovědích AI vyhledávání. Boty pro načítání na vyžádání (ChatGPT-User, Claude-User, Perplexity-User) získají jednu stránku v reálném čase, když se na ni uživatel zeptá asistenta. Zablokování každého z nich má velmi rozdílné důsledky pro viditelnost v AI.
