Bezmaksas Robots.txt AI botu pārbaudītājs: redziet, kuri AI rāpuļi sasniedz jūsu vietni

Ielīmējiet savu domēnu vai robots.txt URL. Mēs izlasām failu, salīdzinām katru nozīmīgo AI rāpuli ar jūsu Allow un Disallow noteikumiem un pastāstām pa rāpulim, kuri sasniedz jūsu vietni. Reģistrācija nav nepieciešama.

Domain or URL to check

Free, no sign-up. We read your robots.txt and show which AI crawlers — GPTBot, ClaudeBot, Google-Extended, PerplexityBot and more — you currently allow or block.

Ko AI botu pārbaudītājs pārbauda

Verdikts katram rāpulim (Atļauts, Daļēji, Bloķēts) katram nozīmīgajam AI lietotājaģentam
Apmācības rāpuļi: GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider, Meta-ExternalAgent
Meklēšanas rāpuļi: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot-Extended
Pieprasījuma rāpuļi: ChatGPT-User, Claude-User, Perplexity-User
Robots.txt URL atrašanās vieta un HTTP statusa kods
Konflikti starp User-agent: * un konkrētiem rāpuļiem paredzētiem noteikumiem
Aizliegtie ceļi katram rāpulim — lai redzētu, kas ir paslēpts, ne tikai kas ir bloķēts

Kāpēc jūsu robots.txt ir svarīgāks nekā agrāk

Jūsu robots.txt ir pirmais, ko izlasa rāpulis, un AI uzņēmumi tagad izmanto vairākus rāpuļus ar atsevišķiem lietotājaģentiem. Vienam OpenAI ir trīs: GPTBot apmācībai, OAI-SearchBot ChatGPT Search vajadzībām un ChatGPT-User pieprasījuma ielādēm. Anthropic, Google, Perplexity, Common Crawl un Meta katram ir savi.

Lēmumi, ko pieņemat šajā failā, veido divus atšķirīgus iznākumus. Bloķējiet meklēšanas rāpuļus, un jūsu zīmols pazūd no ChatGPT, Claude un Perplexity atbildēm. Atstājiet apmācības rāpuļus atvērtus, kad gribējāt atteikties, un rītdienas modeļi bez maksas mācās no jūsu satura.

Vairums vietņu galu galā vēlas vienu, bet ne otru.

Ko dati saka par AI botu bloķēšanu

Trīs skaitļi, ko vērts zināt pirms noteikumu rakstīšanas.

Rutgers Business School un Wharton pētījums (2026. gada janvāris) izsekoja izdevējus, kuri bloķēja AI rāpuļus, izmantojot robots.txt, un konstatēja, ka to kopējā datplūsma vidēji samazinājās par 23%. Bloķēšana ne tikai aptur rāpuļus; tā pārtrauc arī AI novirzītos klikšķus.

BuzzStream veiktais 100 populārāko ziņu vietņu audits atklāja, ka 79% bloķē vismaz vienu AI apmācības botu — saprātīgi — bet 71% bloķē arī vismaz vienu izguves vai meklēšanas botu, parasti kļūdas dēļ. Vispārējais Disallow: / notver visu.

Pašas Cloudflare dati rāda, ka kopš 2024. gada jūlija vairāk nekā 1 miljons klientu ir aktivizējuši viena klikšķa „Block AI Scrapers“ slēdzi. Kopš 2025. gada 1. jūlija katrs jaunais domēns Cloudflare tiek palaists ar pēc noklusējuma bloķētiem AI botiem. Ja jūsu robots.txt saka Allow, bet boti jūs tik un tā nesasniedz, parasti iemesls ir tieši šis.

Kā izlasīt savu rezultātu

Atļauts

Rāpulis var sasniegt jūsu vietnes sakni. Meklēšanas botiem, piemēram, OAI-SearchBot, Claude-SearchBot un PerplexityBot, tieši tas ļauj jums tikt citētiem AI atbildēs.

Daļēji

Rāpulis var sasniegt jūsu vietni, bet konkrēti ceļi ir aizliegti. Parasti tas ir labi — vērts pārliecināties, ka neslēpjat lapas, kuras vēlaties parādīt AI meklēšanā.

Bloķēts

Noteikums Disallow: / pilnībā aptur rāpuli. Apzināti, atsakoties no apmācības, bet problēma, ja tas ir meklēšanas rāpulis, kuram vēlējāties palikt redzams.

Biežākās robots.txt kļūdas (un kā tās novērst)

Nejauša AI meklēšanas bloķēšana.

Vispārējs Disallow, kas notver OAI-SearchBot, Claude-SearchBot vai PerplexityBot, klusi izņem jūs no AI atbildēm.

Fix: Uzskaitiet meklēšanas rāpuļus atsevišķās User-agent grupās un skaidri tos atļaujiet.

AI bloķēšana, izmantojot User-agent: *.

Šī grupa notver arī Googlebot, Bingbot un katru parasto meklēšanas rāpuli, tāpēc noteikums bloķē daudz vairāk, nekā gribējāt.

Fix: Nosauciet katru AI lietotājaģentu tā paša grupā un neaiztieciet aizstājējzīmi.

Google-Extended jaukšana ar Googlebot.

Nobloķējot nepareizo, jūs vai nu atstājat AI apmācību ieslēgtu, vai nejauši izņemat sevi no Google meklēšanas indeksa.

Fix: Izmantojiet Google-Extended, lai atteiktos no Gemini un Vertex apmācības; atstājiet Googlebot neskartu organiskajai meklēšanai.

Robots.txt uzskatīšana par ugunsmūri.

Tas ir tikai ieteikums. Labi audzināti rāpuļi to ievēro; ļaunprāši un trešo pušu skrāpji to ignorē.

Fix: Pievienojiet bloķēšanu servera pusē (Cloudflare AI noteikumus, WAF, .htaccess) botiem, kuri jums stingri jāaptur.

Cloudflare pārraksta jūsu Allow noteikumu.

Kopš 2025. gada jūlija Cloudflare pēc noklusējuma bloķē AI botus jaunos domēnos neatkarīgi no tā, ko saka jūsu robots.txt.

Fix: Atveriet Cloudflare paneli, dodieties uz Security → Bots → AI Scrapers and Crawlers un izslēdziet to, ja vēlaties, lai AI meklēšanas boti sasniegtu jūsu vietni.

Vai vēlaties uzzināt, vai AI jūs patiešām citē?

Robots.txt audits pasaka, kuri AI rāpuļi var sasniegt jūsu vietni. SEOcrawl AI Tracker pasaka, ko tie dara, kad ir nokļuvuši iekšā. Uzziniet, cik bieži ChatGPT, Claude, Gemini un Perplexity piemin un citē jūsu zīmolu, kuri pieprasījumi jūs aktivizē un kā jūs izskatāties salīdzinājumā ar izvēlētajiem uzraugāmajiem konkurentiem — kopā ar jūsu Google Search Console datiem tajā pašā panelī.

Izmēģiniet SEOcrawl AI bez maksas →

AI Tracker →Kas ir llms.txt →Skatīt cenas →

BUJ

Kas ir AI botu pārbaudītājs?

Rīks, kas izlasa jūsu robots.txt un pa botam pasaka, kurus AI rāpuļus jūs atļaujat vai bloķējat. Tas salīdzina jūsu Allow un Disallow noteikumus ar lielo AI uzņēmumu lietotājaģentu marķieriem: OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Google (Google-Extended), Perplexity (PerplexityBot), Meta, Common Crawl un citiem.

Kas ir GPTBot?

GPTBot ir OpenAI tīmekļa rāpulis, kas tika ieviests 2023. gada augustā un vāc publiski pieejamu saturu nākamo GPT modeļu apmācībai. Tas nav tas pats bots, kas OAI-SearchBot, kurš darbina ChatGPT Search, vai ChatGPT-User, kurš ielādē lapu, kad kāds lūdz asistentam to izlasīt. Visi trīs ievēro robots.txt neatkarīgi, tāpēc vienu varat atļaut, bet citu bloķēt.

Kāda ir atšķirība starp apmācības, meklēšanas un pieprasījuma AI botiem?

Apmācības boti (GPTBot, CCBot, Google-Extended, Bytespider) vāc saturu pamatā esošo modeļu apmācībai. Meklēšanas boti (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indeksē jūsu vietni, lai to varētu citēt AI meklēšanas atbildēs. Pieprasījuma boti (ChatGPT-User, Claude-User, Perplexity-User) reāllaikā ielādē vienu lapu, kad lietotājs par to jautā asistentam. Katru var atsevišķi pārvaldīt robots.txt failā.

Kā bloķēt AI rāpuļus robots.txt failā?

Pievienojiet vienu grupu katram rāpulim ar Disallow noteikumu. Piemēram: „User-agent: GPTBot“, kam nākamajā rindā seko „Disallow: /“. Lai bloķētu vairākus, uzskaitiet katru lietotājaģentu tā paša grupā. Atcerieties, ka robots.txt ir tikai ieteikums: labi audzināti rāpuļi, piemēram, GPTBot un ClaudeBot, to ievēro, bet tas neaptur botu, kurš izvēlas to ignorēt.

Vai bloķēt AI botus vai atļaut tos?

Tas ir atkarīgs no jūsu mērķa. Atļaujiet meklēšanas botus (OAI-SearchBot, Claude-SearchBot, PerplexityBot), lai jūsu zīmolu varētu citēt AI atbildēs. Bloķējiet apmācības botus (GPTBot, CCBot, Google-Extended, Bytespider) tikai tad, ja jums ir konkrēts iemesls atteikties. Rutgers/Wharton pētījums konstatēja, ka izdevēji, kuri masveidā bloķēja AI rāpuļus, zaudēja 23% no kopējās datplūsmas, tāpēc vispārēji aizliegumi reti atmaksājas.

Vai ClaudeBot ievēro robots.txt?

Jā. Anthropic oficiālā dokumentācija apstiprina, ka ClaudeBot, Claude-User un Claude-SearchBot ievēro standarta robots.txt direktīvas, tostarp nestandarta Crawl-delay paplašinājumu. Katru lietotājaģentu var atļaut vai bloķēt neatkarīgi, tāpēc varat atteikties no apmācības un vienlaikus palikt citējams Claude meklēšanas atbildēs.

Vai Google-Extended bloķēšana kaitē manam Google rangam?

Nē. Google-Extended kontrolē tikai to, vai jūsu saturs tiek izmantots Gemini un Vertex AI apmācībai un pamatošanai. Tas ir atsevišķs marķieris no Googlebot, tāpēc Google-Extended bloķēšana neietekmē to, kā jūs ierindojaties Google meklēšanā. Tas ir tīrs veids, kā atteikties no AI apmācības, neaiztiekot organisko meklēšanu.

Vai noklusējuma Cloudflare AI botu bloķēšana pārraksta manu robots.txt Allow noteikumu?

Jā, bloķēšana tīkla līmenī uzvar. Kopš 2025. gada 1. jūlija Cloudflare pēc noklusējuma bloķē AI botus katrā jaunā domēnā, izmantojot savu pārvaldīto noteikumu „AI Scrapers and Crawlers“, pat ja jūsu robots.txt saka Allow. Ja bots šajā pārbaudītājā tiek rādīts kā Atļauts, bet patiesībā nevar ielādēt jūsu lapas, pārbaudiet Cloudflare Security → Bots iestatījumus.