無料のrobots.txt AIボットチェッカー：どのAIクローラーがサイトに到達するか確認
ドメインまたはrobots.txtのURLを貼り付けてください。ファイルを読み取り、主要なAIクローラーすべてをあなたのAllowおよびDisallowルールと照合し、どのボットがサイトに到達するかをボットごとにお伝えします。登録は不要です。
無料・登録不要。あなたのrobots.txtを読み取り、GPTBot、ClaudeBot、Google-Extended、PerplexityBotなど、どのAIクローラーを現在許可またはブロックしているかを表示します。
AIボットチェッカーが検証する内容
- 主要なAIユーザーエージェントすべてに対するボットごとの判定（許可、一部許可、ブロック）
- 学習クローラー：GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、Meta-ExternalAgent
- 検索クローラー：OAI-SearchBot、Claude-SearchBot、PerplexityBot、Applebot-Extended
- オンデマンド取得ボット：ChatGPT-User、Claude-User、Perplexity-User
- robots.txtのURLの場所とHTTPステータスコード
- User-agent: * とボット固有のルールの間の競合
- ボットごとのDisallow対象パス — ブロックされているものだけでなく、隠されているものも把握できます
あなたのrobots.txtが以前より重要になった理由
robots.txtはクローラーが最初に読むファイルであり、いまやAI各社はそれぞれ別のユーザーエージェントを持つ複数のクローラーを運用しています。OpenAIだけでも3つあります。学習用のGPTBot、ChatGPT Search用のOAI-SearchBot、オンデマンド取得用のChatGPT-Userです。Anthropic、Google、Perplexity、Common Crawl、Metaも、それぞれ独自のボットを持っています。
このファイルで下す判断は、2つの異なる結果を左右します。検索クローラーをブロックすれば、ブランドはChatGPT、Claude、Perplexityの回答から消えます。オプトアウトのつもりで学習クローラーを開いたままにすれば、明日のモデルがあなたのコンテンツから無償で学習してしまいます。
ほとんどのサイトは、結局のところ一方だけを望み、もう一方は望みません。
AIボットのブロックについてデータが示すこと
ルールを書く前に知っておきたい3つの数字。
結果の読み方
許可
クローラーはサイトのルートにアクセスできます。OAI-SearchBot、Claude-SearchBot、PerplexityBotといった検索ボットの場合、これがAIの回答で引用される資格を維持する要素になります。
一部許可
クローラーはサイトに到達できますが、特定のパスがDisallowされています。通常は問題ありませんが、AI検索で表示させたいページを隠していないか確認する価値があります。
ブロック
Disallow: / のルールがこのクローラーを完全に止めています。学習のオプトアウトには意図的で構いませんが、可視性を保ちたかった検索クローラーであれば問題です。
robots.txtで最もよくあるミス（とその直し方）
うっかりAI検索をブロックしている。
OAI-SearchBot、Claude-SearchBot、PerplexityBotまで巻き込む包括的なDisallowは、知らぬ間にあなたをAIの回答から外します。
対処法： 検索クローラーをそれぞれ独自のUser-agentグループに記載し、明示的に許可しましょう。
User-agent: * を使ってAIをブロックしている。
そのグループはGooglebot、Bingbot、そしてあらゆる通常の検索クローラーまで巻き込むため、意図よりもはるかに広くブロックしてしまいます。
対処法： 各AIユーザーエージェントをそれぞれ独自のグループに名指しし、ワイルドカードには手を触れないようにしましょう。
Google-ExtendedとGooglebotを混同している。
間違ったほうをブロックすると、AI学習が有効なままになるか、誤ってGoogle検索のインデックスから自分を外してしまいます。
対処法： Google-ExtendedはGeminiとVertex AIの学習からオプトアウトするために使い、Googlebotはオーガニック検索のためにそのままにしておきましょう。
robots.txtをファイアウォール代わりにしている。
これはあくまで推奨です。行儀の良いクローラーは従いますが、悪質な業者や第三者のスクレイパーは無視します。
対処法： どうしても完全に止めたいボットには、サーバー側でのブロック（CloudflareのAIルール、WAF、.htaccess）を追加しましょう。
CloudflareがあなたのAllowルールを上書きしている。
2025年7月以降、Cloudflareは新しいドメインでデフォルトでAIボットをブロックします。robots.txtに何と書いてあっても関係ありません。
対処法： Cloudflareのダッシュボードを開き、Security → Bots → AI Scrapers and Crawlers に移動して、AI検索ボットにサイトへ到達させたい場合はオフに切り替えましょう。
AIが実際にあなたを引用しているか確かめませんか？
robots.txtの監査は、どのAIクローラーがサイトに到達できるかを教えてくれます。SEOcrawl AIのAI Trackerは、到達した後に何をするかを教えてくれます。ChatGPT、Claude、Gemini、Perplexityがどれだけの頻度であなたのブランドに言及・引用しているか、どのプロンプトであなたが登場するか、そしてあなたが監視対象に選んだ競合と比べてどうかを — すべて同じダッシュボード上でGoogle Search Consoleのデータと並べて確認できます。
よくある質問
AIボットチェッカーとは何ですか？
robots.txtを読み取り、どのAIクローラーを許可またはブロックしているかを、ボットごとに1つずつ教えてくれるツールです。あなたのAllowおよびDisallowルールを、主要なAI各社のユーザーエージェントトークンと照合します。OpenAI（GPTBot、OAI-SearchBot、ChatGPT-User）、Anthropic（ClaudeBot、Claude-SearchBot、Claude-User）、Google（Google-Extended）、Perplexity（PerplexityBot）、Meta、Common Crawlなどが対象です。
GPTBotとは何ですか？
GPTBotはOpenAIのウェブクローラーで、2023年8月に登場し、将来のGPTモデルを学習させるために一般公開されているコンテンツを収集するために使われます。ChatGPT Searchを支えるOAI-SearchBotや、誰かがアシスタントにページを読ませたときにそのページを取得するChatGPT-Userとは別のボットです。3つともそれぞれ独立してrobots.txtに従うため、一方を許可し、もう一方をブロックすることができます。
学習・検索・オンデマンド取得のAIボットの違いは何ですか？
学習ボット（GPTBot、CCBot、Google-Extended、Bytespider）は、基盤となるモデルを学習させるためにコンテンツをスクレイピングします。検索ボット（OAI-SearchBot、Claude-SearchBot、PerplexityBot）は、AI検索の回答で引用されるようサイトをインデックスします。オンデマンド取得ボット（ChatGPT-User、Claude-User、Perplexity-User）は、ユーザーがアシスタントにそのページについて尋ねたとき、リアルタイムで1ページを取得します。それぞれをrobots.txtで個別に制御できます。
robots.txtでAIクローラーをブロックするには？
クローラーごとにグループを1つ追加し、Disallowルールを書きます。例えば「User-agent: GPTBot」の次の行に「Disallow: /」と記述します。複数をブロックするには、各ユーザーエージェントをそれぞれ独立したグループに記載します。robots.txtはあくまで推奨である点に注意してください。GPTBotやClaudeBotのような行儀の良いクローラーは従いますが、無視を選ぶボットは止められません。
AIボットはブロックすべきですか、許可すべきですか？
目的によります。ブランドがAIの回答で引用されるよう、検索ボット（OAI-SearchBot、Claude-SearchBot、PerplexityBot）は許可しましょう。学習ボット（GPTBot、CCBot、Google-Extended、Bytespider）は、オプトアウトする特別な理由がある場合にのみブロックしてください。Rutgers/Whartonの研究では、AIクローラーを一律にブロックしたパブリッシャーは総トラフィックの23%を失ったことがわかっており、包括的な禁止が報われることはめったにありません。
ClaudeBotはrobots.txtを尊重しますか？
はい。Anthropicの公式ドキュメントは、ClaudeBot、Claude-User、Claude-SearchBotのいずれもが、標準外のCrawl-delay拡張を含む標準的なrobots.txtディレクティブに従うことを確認しています。各ユーザーエージェントは独立して許可またはブロックできるため、Claudeの検索回答で引用され続けながら、学習からはオプトアウトすることが可能です。
Google-ExtendedをブロックするとGoogleの順位に悪影響がありますか？
いいえ。Google-Extendedは、あなたのコンテンツがGeminiやVertex AIの学習・グラウンディングに使われるかどうかだけを制御します。Googlebotとは別のトークンなので、Google-ExtendedをブロックしてもGoogle検索での順位には影響しません。オーガニック検索に触れずにAI学習をオプトアウトする、すっきりとした方法です。
CloudflareのデフォルトのAIボットブロックは、私のrobots.txtのAllowルールを上書きしますか？
はい、ネットワークレベルのブロックが優先されます。2025年7月1日以降、Cloudflareは「AI Scrapers and Crawlers」マネージドルールによって、あなたのrobots.txtがAllowと書いていても、すべての新しいドメインでAIボットをデフォルトでブロックします。このチェッカーではAllowと表示されるのに実際にはページを取得できないボットがある場合は、CloudflareのSecurity → Botsの設定を確認してください。
