Darmowy Robots.txt AI Bot Checker: zobacz, które roboty AI docierają do Twojej witryny
Wklej swoją domenę lub adres URL pliku robots.txt. Odczytujemy plik, porównujemy każdego dużego robota AI z Twoimi regułami Allow i Disallow i mówimy Ci robot po robocie, które docierają do Twojej witryny. Bez rejestracji.
Darmowo, bez rejestracji. Odczytujemy Twój robots.txt i pokazujemy, które roboty AI — GPTBot, ClaudeBot, Google-Extended, PerplexityBot i więcej — obecnie dopuszczasz lub blokujesz.
Co sprawdza checker robotów AI
- Werdykt per robot (Dozwolony, Częściowy, Zablokowany) dla każdego dużego user-agenta AI
- Roboty treningowe: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Roboty wyszukiwania: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- Roboty pobierające na żądanie: ChatGPT-User, Claude-User, Perplexity-User
- Lokalizacja adresu URL pliku robots.txt i kod statusu HTTP
- Konflikty między User-agent: * a regułami specyficznymi dla robota
- Zabronione ścieżki per robot — abyś widział, co jest ukryte, a nie tylko co jest zablokowane
Dlaczego Twój robots.txt ma większe znaczenie niż kiedyś
Twój plik robots.txt to pierwsza rzecz, którą czyta robot, a firmy AI uruchamiają teraz wiele robotów z osobnymi user-agentami. Samo OpenAI ma trzy: GPTBot do trenowania, OAI-SearchBot do ChatGPT Search oraz ChatGPT-User do pobierania na żądanie. Anthropic, Google, Perplexity, Common Crawl i Meta mają każdy własne.
Decyzje, które podejmujesz w tym pliku, kształtują dwa różne rezultaty. Zablokuj roboty wyszukiwania, a Twoja marka zniknie z odpowiedzi ChatGPT, Claude i Perplexity. Pozostaw roboty treningowe otwarte, gdy chciałeś się wypisać, a jutrzejsze modele uczą się z Twojej treści za darmo.
Większość witryn chce ostatecznie jednego, a nie drugiego.
Co mówią dane o blokowaniu robotów AI
Trzy liczby, które warto znać, zanim napiszesz reguły.
Jak czytać swój wynik
Dozwolony
Robot ma dostęp do katalogu głównego Twojej witryny. W przypadku robotów wyszukiwania, takich jak OAI-SearchBot, Claude-SearchBot i PerplexityBot, to właśnie utrzymuje Twoją kwalifikowalność do cytowania w odpowiedziach AI.
Częściowy
Robot może dotrzeć do Twojej witryny, ale niektóre ścieżki są zabronione. Zazwyczaj jest to w porządku — warto się upewnić, że nie ukrywasz stron, które chcesz, by pojawiały się w wyszukiwaniu AI.
Zablokowany
Reguła Disallow: / całkowicie zatrzymuje robota. Zamierzone przy rezygnacji z treningu, ale problematyczne, jeśli to robot wyszukiwania, dla którego chciałeś pozostać widoczny.
Najczęstsze błędy w robots.txt (i jak je naprawić)
Przypadkowe blokowanie wyszukiwania AI.
Ogólna reguła Disallow, która łapie OAI-SearchBot, Claude-SearchBot lub PerplexityBot, po cichu usuwa Cię z odpowiedzi AI.
Rozwiązanie: Umieść roboty wyszukiwania w ich własnych grupach User-agent i zezwól im wprost.
Używanie User-agent: * do blokowania AI.
Ta grupa łapie też Googlebot, Bingbot i każdego zwykłego robota wyszukiwania, więc reguła blokuje o wiele więcej, niż zamierzałeś.
Rozwiązanie: Nazwij każdego user-agenta AI w jego własnej grupie i zostaw symbol wieloznaczny w spokoju.
Mylenie Google-Extended z Googlebot.
Zablokuj niewłaściwego, a albo pozostawisz trening AI włączony, albo przypadkowo usuniesz się z indeksu Google Search.
Rozwiązanie: Użyj Google-Extended, aby zrezygnować z treningu Gemini i Vertex AI; zostaw Googlebot nietknięty dla organicznego Search.
Traktowanie robots.txt jak zapory sieciowej.
Ma charakter doradczy. Dobrze zachowujące się roboty go respektują; nieuczciwe podmioty i zewnętrzne scrapery go ignorują.
Rozwiązanie: Dodaj blokowanie po stronie serwera (reguły AI Cloudflare, WAF, .htaccess) dla botów, które musisz twardo zatrzymać.
Cloudflare nadpisujący Twoją regułę Allow.
Od lipca 2025 r. Cloudflare domyślnie blokuje roboty AI na nowych domenach, niezależnie od tego, co mówi Twój robots.txt.
Rozwiązanie: Otwórz panel Cloudflare, przejdź do Security → Bots → AI Scrapers and Crawlers i wyłącz to, jeśli chcesz, by roboty wyszukiwania AI docierały do Twojej witryny.
Chcesz zobaczyć, czy AI faktycznie Cię cytuje?
Audyt robots.txt mówi Ci, które roboty AI mogą dotrzeć do Twojej witryny. SEOcrawl AI Tracker mówi Ci, co robią, gdy już tam są. Dowiedz się, jak często ChatGPT, Claude, Gemini i Perplexity wspominają i cytują Twoją markę, które prompty Cię wywołują oraz jak wypadasz na tle konkurentów, których wybierasz do monitorowania — w połączeniu z danymi z Google Search Console na tym samym pulpicie.
Najczęściej zadawane pytania
Czym jest AI bot checker?
Narzędzie, które odczytuje Twój robots.txt i mówi Ci, które roboty AI dopuszczasz, a które blokujesz — robot po robocie. Porównuje Twoje reguły Allow i Disallow z tokenami user-agent największych firm AI: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl i innych.
Czym jest GPTBot?
GPTBot to robot sieciowy OpenAI, uruchomiony w sierpniu 2023 roku, używany do zbierania ogólnodostępnych treści w celu trenowania przyszłych modeli GPT. To nie ten sam robot co OAI-SearchBot, który napędza ChatGPT Search, ani ChatGPT-User, który pobiera stronę, gdy ktoś poprosi asystenta o jej odczytanie. Wszystkie trzy niezależnie przestrzegają robots.txt, więc możesz jednego dopuścić, a innego zablokować.
Jaka jest różnica między robotami AI treningowymi, wyszukiwania i pobierania na żądanie?
Roboty treningowe (GPTBot, CCBot, Google-Extended, Bytespider) pobierają treść, aby trenować modele bazowe. Roboty wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indeksują Twoją witrynę, aby mogła być cytowana w odpowiedziach wyszukiwania AI. Roboty pobierania na żądanie (ChatGPT-User, Claude-User, Perplexity-User) pobierają pojedynczą stronę w czasie rzeczywistym, gdy użytkownik zapyta o nią asystenta. Każdym z nich można sterować osobno w robots.txt.
Jak zablokować roboty AI w robots.txt?
Dodaj grupę dla każdego robota z regułą Disallow. Na przykład: "User-agent: GPTBot", a w kolejnym wierszu "Disallow: /". Aby zablokować kilka, umieść każdy user-agent we własnej grupie. Pamiętaj, że robots.txt ma charakter doradczy: dobrze zachowujące się roboty, takie jak GPTBot i ClaudeBot, go respektują, ale nie zatrzyma robota, który postanowi go zignorować.
Czy powinienem blokować roboty AI, czy na nie zezwalać?
To zależy od Twojego celu. Zezwól na roboty wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot), aby Twoja marka mogła być cytowana w odpowiedziach AI. Blokuj roboty treningowe (GPTBot, CCBot, Google-Extended, Bytespider) tylko wtedy, gdy masz konkretny powód, by się wypisać. Badanie Rutgers/Wharton wykazało, że wydawcy, którzy hurtowo zablokowali roboty AI, stracili 23% całkowitego ruchu, więc całkowite blokady rzadko się opłacają.
Czy ClaudeBot respektuje robots.txt?
Tak. Oficjalna dokumentacja Anthropic potwierdza, że ClaudeBot, Claude-User i Claude-SearchBot przestrzegają standardowych dyrektyw robots.txt, w tym niestandardowego rozszerzenia Crawl-delay. Każdy user-agent można niezależnie dopuścić lub zablokować, więc możesz wypisać się z treningu, pozostając cytowalnym w odpowiedziach wyszukiwania Claude.
Czy blokowanie Google-Extended szkodzi moim pozycjom w Google?
Nie. Google-Extended kontroluje tylko to, czy Twoja treść jest używana do trenowania i ugruntowywania Gemini oraz Vertex AI. To osobny token od Googlebot, więc blokowanie Google-Extended nie ma wpływu na to, jak rankujesz w Google Search. To czysty sposób na rezygnację z treningu AI bez ingerowania w wyszukiwanie organiczne.
Czy domyślna blokada robotów AI w Cloudflare nadpisuje moją regułę Allow w robots.txt?
Tak, blokowanie na poziomie sieci wygrywa. Od 1 lipca 2025 roku Cloudflare domyślnie blokuje roboty AI w każdej nowej domenie za pomocą zarządzanej reguły "AI Scrapers and Crawlers", nawet jeśli Twój robots.txt mówi Allow. Jeśli robot pojawia się jako Dozwolony w tym narzędziu, ale w rzeczywistości nie może pobrać Twoich stron, sprawdź ustawienia Cloudflare w Security → Bots.
