Robots.txt AI Bot Checker: scopri quali crawler AI consenti
Incolla il tuo dominio e leggiamo il tuo robots.txt, poi ti mostriamo — bot per bot — se consenti o blocchi GPTBot, ClaudeBot, Google-Extended, PerplexityBot e ogni altro crawler AI importante. Scopri se sei visibile nella ricerca AI prima dei tuoi concorrenti. Senza registrazione.
Gratis, senza registrazione. Leggiamo il tuo robots.txt e ti mostriamo quali crawler AI — GPTBot, ClaudeBot, Google-Extended, PerplexityBot e altri — attualmente consenti o blocchi.
Perché i bot AI nel tuo robots.txt contano per la visibilità
Il tuo robots.txt è la prima cosa che un crawler legge, e oggi le aziende AI gestiscono crawler propri con nomi di user-agent specifici. Solo OpenAI usa GPTBot per l'addestramento, OAI-SearchBot per ChatGPT Search e ChatGPT-User per i recuperi su richiesta. Anthropic, Google, Perplexity, Common Crawl e altri hanno ciascuno i propri. Una singola regola Disallow decide se i tuoi contenuti possono alimentare ed essere citati da questi sistemi.
Sbagliare in una direzione o nell'altra ha un costo: blocca i crawler di ricerca e il tuo brand scompare dalle risposte AI; lascia aperti i crawler di addestramento quando volevi rinunciare e i tuoi contenuti addestrano i modelli gratis. Una verifica rapida ti dice esattamente a che punto sei su ogni bot AI importante.
Come leggere il tuo risultato
Consentito
Il crawler può accedere alla radice del tuo sito. Per i bot di ricerca AI come OAI-SearchBot, ClaudeBot e PerplexityBot, è questo che ti mantiene idoneo a essere citato nelle risposte AI.
Parziale
Il crawler può raggiungere il tuo sito, ma il tuo robots.txt gli vieta alcuni percorsi. Di solito va bene — verifica solo di non nascondere pagine che vuoi far emergere nella ricerca AI.
Bloccato
Una regola Disallow: / ferma questo crawler all'ingresso. Voluta per rinunciare all'addestramento, ma un problema se è un crawler di ricerca a cui volevi restare visibile.
Errori comuni nel robots.txt — e come correggerli
Bloccare la ricerca AI per sbaglio.
Un Disallow generico che colpisce OAI-SearchBot o PerplexityBot ti rimuove silenziosamente dalle risposte AI. Consenti i crawler di ricerca; blocca solo i bot di addestramento se proprio devi.
Affidarsi a User-agent: * per l'AI.
Molti crawler AI ignorano il gruppo con wildcard e obbediscono solo a una regola che nomina il loro token esatto. Indirizza ogni bot AI con il suo specifico user-agent.
Confondere Google-Extended con Googlebot.
Bloccare il token sbagliato lascia attivo l'addestramento AI oppure ti deindicizza per sbaglio dalla Ricerca. Usa Google-Extended per l'AI, Googlebot per la Ricerca.
Considerare il robots.txt come un firewall.
Il robots.txt è indicativo — non fermerà i crawler che scelgono di ignorarlo o che fanno scraping tramite terze parti. Usa il blocco lato server per i bot che devi fermare in modo netto.
Monitora il tuo brand nelle risposte AI
Consentire i crawler AI è il primo passo. L'AI Tracker di SEOcrawl mostra cosa succede dopo: monitora quanto spesso ChatGPT, Claude, Gemini e Perplexity menzionano e citano davvero il tuo brand, quali prompt ti attivano e come ti posizioni rispetto ai concorrenti — tutto insieme ai dati di Google Search Console, in un unico posto.
Domande frequenti
Cos'è un AI bot checker?
Un AI bot checker legge il file robots.txt di un sito e ti dice quali crawler AI attualmente consente o blocca. Confronta i token user-agent delle principali aziende AI — OpenAI (GPTBot, OAI-SearchBot, ChatGPT-User), Anthropic (ClaudeBot, Claude-SearchBot), Google (Google-Extended), Perplexity (PerplexityBot), Common Crawl (CCBot) e altri — con le regole Allow e Disallow del tuo robots.txt.
Come blocco i crawler AI nel robots.txt?
Aggiungi un gruppo per crawler con una regola Disallow, ad esempio "User-agent: GPTBot" seguito da "Disallow: /". Per bloccarne diversi, elenca ogni user-agent nel proprio gruppo. Ricorda che il robots.txt è indicativo: i crawler corretti come GPTBot e ClaudeBot lo rispettano, ma non è un meccanismo di applicazione, quindi non fermerà i bot che scelgono di ignorarlo.
Dovrei bloccare i bot AI o consentirli?
Dipende dal tuo obiettivo. Bloccare i crawler di addestramento (GPTBot, CCBot, Google-Extended) esclude i tuoi contenuti dall'addestramento dei modelli. Ma bloccare i crawler di ricerca AI (OAI-SearchBot, ClaudeBot, PerplexityBot) può tenere il tuo brand fuori dalle risposte di ChatGPT, Claude e Perplexity, costandoti visibilità e traffico di referral. Molti siti consentono i crawler di ricerca bloccando solo quelli di addestramento.
Bloccare Google-Extended danneggia il mio posizionamento su Google?
No. Google-Extended controlla solo se i tuoi contenuti vengono usati per addestrare e fondare Gemini e Vertex AI. È separato da Googlebot, quindi bloccare Google-Extended non ha alcun effetto su come ti posizioni in Google Search. È il modo pulito per rinunciare all'addestramento AI senza toccare la ricerca organica.
Qual è la differenza tra bot AI di addestramento, ricerca e su richiesta?
I bot di addestramento (GPTBot, CCBot, Google-Extended, Bytespider) raccolgono contenuti per addestrare i modelli. I bot di ricerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indicizzano il tuo sito affinché possa essere citato nelle risposte di ricerca AI. I bot di recupero su richiesta (ChatGPT-User, Claude-User, Perplexity-User) recuperano una singola pagina in tempo reale quando un utente chiede all'assistente informazioni su di essa. Bloccare ciascuno ha conseguenze molto diverse per la visibilità AI.
