Nemokamas Robots.txt AI botų tikrintuvas: pamatykite, kurie AI robotai pasiekia jūsų svetainę
Įklijuokite savo domeną arba robots.txt URL. Perskaitome failą, palyginame kiekvieną svarbų AI robotą su jūsų Allow ir Disallow taisyklėmis ir po vieną pasakome, kurie pasiekia jūsų svetainę. Registracijos nereikia.
Free, no sign-up. We read your robots.txt and show which AI crawlers — GPTBot, ClaudeBot, Google-Extended, PerplexityBot and more — you currently allow or block.
Ką AI botų tikrintuvas patikrina
- Kiekvieno roboto verdiktas (Leidžiama, Iš dalies, Blokuojama) kiekvienam svarbiam AI naudotojo agentui
- Mokymo robotai: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
- Paieškos robotai: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
- Pareikalavimo robotai: ChatGPT-User, Claude-User, Perplexity-User
- Robots.txt URL vieta ir HTTP būsenos kodas
- Konfliktai tarp User-agent: * ir konkretiems robotams skirtų taisyklių
- Uždrausti keliai kiekvienam robotui — kad matytumėte, kas paslėpta, ne tik kas blokuojama
Kodėl jūsų robots.txt svarbesnis nei anksčiau
Jūsų robots.txt yra pirmas dalykas, kurį perskaito robotas, o AI įmonės dabar naudoja kelis robotus su atskirais naudotojo agentais. Vien OpenAI turi tris: GPTBot mokymui, OAI-SearchBot skirtą ChatGPT Search ir ChatGPT-User pareikalavimo užklausoms. Anthropic, Google, Perplexity, Common Crawl ir Meta turi savus.
Sprendimai, kuriuos priimate šiame faile, lemia du skirtingus rezultatus. Užblokuokite paieškos robotus ir jūsų prekės ženklas dings iš ChatGPT, Claude ir Perplexity atsakymų. Palikite mokymo robotus atvirus, kai norėjote atsisakyti, ir rytojaus modeliai nemokamai mokysis iš jūsų turinio.
Dauguma svetainių galiausiai nori vieno, o ne kito.
Ką sako duomenys apie AI botų blokavimą
Trys skaičiai, kuriuos verta žinoti prieš rašant taisykles.
Kaip suprasti savo rezultatą
Leidžiama
Robotas gali pasiekti jūsų svetainės šaknį. Paieškos robotams, tokiems kaip OAI-SearchBot, Claude-SearchBot ir PerplexityBot, būtent tai leidžia jums būti cituojamiems AI atsakymuose.
Iš dalies
Robotas gali pasiekti jūsų svetainę, bet tam tikri keliai uždrausti. Paprastai tvarkoje — verta įsitikinti, kad neslepiate puslapių, kuriuos norite matyti AI paieškoje.
Blokuojama
Disallow: / taisyklė visiškai sustabdo robotą. Tikslinga atsisakant mokymo, bet problema, jei tai paieškos robotas, kuriam norėjote likti matomi.
Dažniausios robots.txt klaidos (ir kaip jas ištaisyti)
Netyčia užblokuota AI paieška.
Bendras Disallow, pagaunantis OAI-SearchBot, Claude-SearchBot ar PerplexityBot, tyliai pašalina jus iš AI atsakymų.
Fix: Išvardykite paieškos robotus atskirose User-agent grupėse ir aiškiai juos leiskite.
AI blokavimas naudojant User-agent: *.
Ši grupė taip pat pagauna Googlebot, Bingbot ir kiekvieną įprastą paieškos robotą, todėl taisyklė blokuoja daug daugiau, nei ketinote.
Fix: Įvardykite kiekvieną AI naudotojo agentą jo paties grupėje ir nelieskite pakaitos simbolio.
Google-Extended painiojimas su Googlebot.
Užblokavę ne tą, arba paliekate AI mokymą įjungtą, arba netyčia pašalinate save iš Google paieškos indekso.
Fix: Naudokite Google-Extended, kad atsisakytumėte Gemini ir Vertex mokymo; palikite Googlebot nepaliestą organinei paieškai.
Robots.txt traktavimas kaip ugniasienė.
Tai tik rekomendacija. Gerai besielgiantys robotai jos laikosi; piktavaliai ir trečiųjų šalių skreperiai ją ignoruoja.
Fix: Pridėkite blokavimą serverio pusėje (Cloudflare AI taisykles, WAF, .htaccess) robotams, kuriuos privalote griežtai sustabdyti.
Cloudflare nustelbia jūsų Allow taisyklę.
Nuo 2025 m. liepos Cloudflare pagal nutylėjimą blokuoja AI robotus naujuose domenuose, nepaisant to, ką sako jūsų robots.txt.
Fix: Atidarykite Cloudflare skydelį, eikite į Security → Bots → AI Scrapers and Crawlers ir išjunkite, jei norite, kad AI paieškos robotai pasiektų jūsų svetainę.
Norite sužinoti, ar AI jus iš tikrųjų cituoja?
Robots.txt auditas pasako, kurie AI robotai gali pasiekti jūsų svetainę. SEOcrawl AI Tracker pasako, ką jie daro atėję. Sužinokite, kaip dažnai ChatGPT, Claude, Gemini ir Perplexity mini ir cituoja jūsų prekės ženklą, kokie užklausimai jus suaktyvina ir kaip atrodote palyginti su pasirinktais stebimais konkurentais — kartu su jūsų Google Search Console duomenimis tame pačiame skydelyje.
DUK
Kas yra AI botų tikrintuvas?
Įrankis, kuris perskaito jūsų robots.txt ir po vieną pasako, kuriuos AI robotus leidžiate ar blokuojate. Jis palygina jūsų Allow ir Disallow taisykles su didžiųjų AI įmonių naudotojo agentų žymomis: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl ir kitų.
Kas yra GPTBot?
GPTBot yra OpenAI žiniatinklio robotas, pristatytas 2023 m. rugpjūtį, renkantis viešai prieinamą turinį būsimų GPT modelių mokymui. Tai ne tas pats robotas kaip OAI-SearchBot, kuris varo ChatGPT Search, ar ChatGPT-User, kuris gauna puslapį, kai kas nors paprašo asistento jį perskaityti. Visi trys laikosi robots.txt nepriklausomai, todėl vieną galite leisti, o kitą blokuoti.
Kuo skiriasi mokymo, paieškos ir pareikalavimo AI robotai?
Mokymo robotai (GPTBot, CCBot, Google-Extended, Bytespider) renka turinį pagrindiniams modeliams mokyti. Paieškos robotai (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indeksuoja jūsų svetainę, kad ją būtų galima cituoti AI paieškos atsakymuose. Pareikalavimo robotai (ChatGPT-User, Claude-User, Perplexity-User) realiu laiku gauna vieną puslapį, kai naudotojas apie jį paklausia asistento. Kiekvieną galima atskirai valdyti robots.txt faile.
Kaip blokuoti AI robotus robots.txt faile?
Pridėkite po vieną grupę kiekvienam robotui su Disallow taisykle. Pavyzdžiui: „User-agent: GPTBot“, o kitoje eilutėje „Disallow: /“. Norėdami blokuoti kelis, išvardykite kiekvieną naudotojo agentą atskiroje grupėje. Atminkite, kad robots.txt yra tik rekomendacija: gerai besielgiantys robotai, tokie kaip GPTBot ir ClaudeBot, jos laikosi, bet ji nesustabdys roboto, kuris nusprendžia ją ignoruoti.
Blokuoti AI robotus ar leisti?
Priklauso nuo jūsų tikslo. Leiskite paieškos robotus (OAI-SearchBot, Claude-SearchBot, PerplexityBot), kad jūsų prekės ženklą būtų galima cituoti AI atsakymuose. Blokuokite mokymo robotus (GPTBot, CCBot, Google-Extended, Bytespider) tik tuo atveju, jei turite konkrečią priežastį atsisakyti. Rutgers/Wharton tyrimas nustatė, kad leidėjai, kurie masiškai blokavo AI robotus, prarado 23% viso savo srauto, todėl visuotiniai draudimai retai atsiperka.
Ar ClaudeBot laikosi robots.txt?
Taip. Oficiali Anthropic dokumentacija patvirtina, kad ClaudeBot, Claude-User ir Claude-SearchBot laikosi standartinių robots.txt direktyvų, įskaitant nestandartinį Crawl-delay plėtinį. Kiekvieną naudotojo agentą galima leisti ar blokuoti atskirai, todėl galite atsisakyti mokymo ir kartu likti cituojami Claude paieškos atsakymuose.
Ar Google-Extended blokavimas kenkia mano Google reitingams?
Ne. Google-Extended valdo tik tai, ar jūsų turinys naudojamas Gemini ir Vertex AI mokymui bei grindimui. Tai atskira žyma nuo Googlebot, todėl Google-Extended blokavimas neturi jokios įtakos jūsų reitingams Google paieškoje. Tai švarus būdas atsisakyti AI mokymo neliečiant organinės paieškos.
Ar numatytasis Cloudflare AI botų blokavimas nustelbia mano robots.txt Allow taisyklę?
Taip, blokavimas tinklo lygmeniu laimi. Nuo 2025 m. liepos 1 d. Cloudflare pagal nutylėjimą blokuoja AI robotus kiekviename naujame domene per savo valdomą „AI Scrapers and Crawlers“ taisyklę, net jei jūsų robots.txt sako Allow. Jei robotas šiame tikrintuve rodomas kaip Leidžiama, bet iš tikrųjų negali gauti jūsų puslapių, patikrinkite Cloudflare Security → Bots nustatymus.