Robots.txt AI Bot Checker: zobacz, które roboty AI dopuszczasz
Wklej swoją domenę, a my odczytamy Twój plik robots.txt i pokażemy — robot po robocie — czy zezwalasz, czy blokujesz GPTBot, ClaudeBot, Google-Extended, PerplexityBot i każdy inny duży robot AI. Dowiedz się, czy jesteś widoczny w wyszukiwaniu AI, zanim zrobią to Twoi konkurenci. Bez rejestracji.
Darmowo, bez rejestracji. Odczytujemy Twój robots.txt i pokazujemy, które roboty AI — GPTBot, ClaudeBot, Google-Extended, PerplexityBot i więcej — obecnie dopuszczasz lub blokujesz.
Dlaczego roboty AI w Twoim robots.txt mają znaczenie dla widoczności
Twój plik robots.txt to pierwsza rzecz, którą czyta robot, a firmy AI uruchamiają teraz własne roboty z własnymi nazwami user-agent. Samo OpenAI używa GPTBot do trenowania, OAI-SearchBot do ChatGPT Search oraz ChatGPT-User do pobierania na żądanie. Anthropic, Google, Perplexity, Common Crawl i inne mają każdy własny. Jedna reguła Disallow decyduje o tym, czy Twoja treść może zasilać te systemy i być w nich cytowana.
Pomyłka w którąkolwiek stronę Cię kosztuje: zablokuj roboty wyszukiwania, a Twoja marka zniknie z odpowiedzi AI; pozostaw roboty treningowe otwarte, gdy chciałeś się wypisać, a Twoja treść trenuje modele za darmo. Szybkie sprawdzenie pokazuje dokładnie, na czym stoisz względem każdego dużego robota AI.
Jak czytać swój wynik
Dozwolony
Robot ma dostęp do katalogu głównego Twojej witryny. W przypadku robotów wyszukiwania AI, takich jak OAI-SearchBot, ClaudeBot i PerplexityBot, to właśnie utrzymuje Twoją kwalifikowalność do cytowania w odpowiedziach AI.
Częściowy
Robot może dotrzeć do Twojej witryny, ale Twój robots.txt blokuje mu niektóre ścieżki. Zazwyczaj jest to w porządku — po prostu upewnij się, że nie ukrywasz stron, które chcesz, by pojawiały się w wyszukiwaniu AI.
Zablokowany
Reguła Disallow: / zatrzymuje tego robota u progu. Zamierzone przy rezygnacji z treningu, ale problematyczne, jeśli to robot wyszukiwania, dla którego chciałeś pozostać widoczny.
Częste błędy w robots.txt — i jak je naprawić
Przypadkowe blokowanie wyszukiwania AI.
Ogólna reguła Disallow, która łapie OAI-SearchBot lub PerplexityBot, po cichu usuwa Cię z odpowiedzi AI. Zezwalaj na roboty wyszukiwania; blokuj tylko roboty treningowe, jeśli musisz.
Poleganie na User-agent: * w przypadku AI.
Wiele robotów AI ignoruje grupę z symbolem wieloznacznym i przestrzega tylko reguły, która wymienia ich dokładny token. Adresuj każdego robota AI po jego konkretnym user-agencie.
Mylenie Google-Extended z Googlebot.
Zablokowanie niewłaściwego tokena albo pozostawia trening AI włączony, albo przypadkowo usuwa Cię z indeksu Search. Używaj Google-Extended dla AI, a Googlebot dla Search.
Traktowanie robots.txt jak zapory sieciowej.
Robots.txt ma charakter doradczy — nie zatrzyma robotów, które postanowią go zignorować lub pobierać dane przez podmioty trzecie. W przypadku botów, które musisz twardo zatrzymać, użyj blokowania po stronie serwera.
Śledź swoją markę w odpowiedziach AI
Zezwolenie robotom AI to krok pierwszy. AI Tracker od SEOcrawl pokazuje, co dzieje się dalej: monitoruje, jak często ChatGPT, Claude, Gemini i Perplexity faktycznie wspominają i cytują Twoją markę, które prompty Cię wywołują oraz jak wypadasz na tle konkurencji — wszystko obok danych z Google Search Console w jednym miejscu.
Najczęściej zadawane pytania
Czym jest AI bot checker?
AI bot checker odczytuje plik robots.txt witryny i mówi Ci, które roboty AI są obecnie dozwolone lub zablokowane. Sprawdza tokeny user-agent dużych firm AI — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) i innych — względem reguł Allow i Disallow w Twoim robots.txt.
Jak zablokować roboty AI w robots.txt?
Dodaj grupę dla każdego robota z regułą Disallow, np. "User-agent: GPTBot", a po niej "Disallow: /". Aby zablokować kilka, umieść każdy user-agent we własnej grupie. Pamiętaj, że robots.txt ma charakter doradczy: dobrze zachowujące się roboty, takie jak GPTBot i ClaudeBot, go respektują, ale nie jest to mechanizm egzekwowania, więc nie zatrzyma robotów, które postanowią go zignorować.
Czy powinienem blokować roboty AI, czy na nie zezwalać?
To zależy od Twojego celu. Blokowanie robotów treningowych (GPTBot, CCBot, Google-Extended) wypisuje Twoją treść z trenowania modeli. Ale blokowanie robotów wyszukiwania AI (OAI-SearchBot, ClaudeBot, PerplexityBot) może trzymać Twoją markę z dala od odpowiedzi ChatGPT, Claude i Perplexity, kosztując Cię widoczność i ruch z poleceń. Wiele witryn zezwala na roboty wyszukiwania, blokując jednocześnie te wyłącznie treningowe.
Czy blokowanie Google-Extended szkodzi moim pozycjom w Google?
Nie. Google-Extended kontroluje tylko to, czy Twoja treść jest używana do trenowania i ugruntowywania Gemini oraz Vertex AI. Jest niezależny od Googlebot, więc blokowanie Google-Extended nie ma wpływu na to, jak rankujesz w Google Search. To czysty sposób na rezygnację z treningu AI bez ingerowania w wyszukiwanie organiczne.
Jaka jest różnica między robotami AI treningowymi, wyszukiwania i pobierania na żądanie?
Roboty treningowe (GPTBot, CCBot, Google-Extended, Bytespider) pobierają treść, aby trenować modele. Roboty wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indeksują Twoją witrynę, aby mogła być cytowana w odpowiedziach wyszukiwania AI. Roboty pobierania na żądanie (ChatGPT-User, Claude-User, Perplexity-User) pobierają pojedynczą stronę w czasie rzeczywistym, gdy użytkownik zapyta o nią asystenta. Zablokowanie każdego z nich ma bardzo różne konsekwencje dla widoczności w AI.
