robots.txt AIボットチェッカー：許可しているAIクローラーを確認
ドメインを貼り付けるだけで、あなたのrobots.txtを読み取り、GPTBot、ClaudeBot、Google-Extended、PerplexityBotをはじめとするすべての主要なAIクローラーを許可しているかブロックしているかをボットごとに表示します。競合より先に、AI検索で自社が見えているかを把握しましょう。登録は不要です。
無料・登録不要。あなたのrobots.txtを読み取り、GPTBot、ClaudeBot、Google-Extended、PerplexityBotなど、どのAIクローラーを現在許可またはブロックしているかを表示します。
robots.txt内のAIボットが可視性に重要な理由
robots.txtはクローラーが最初に読むファイルであり、いまやAI各社は独自のユーザーエージェント名を持つ独自のクローラーを運用しています。OpenAIだけでも、学習にはGPTBot、ChatGPT SearchにはOAI-SearchBot、オンデマンド取得にはChatGPT-Userを使い分けています。Anthropic、Google、Perplexity、Common Crawlなども、それぞれ独自のボットを持っています。たった一行のDisallowルールが、あなたのコンテンツがこれらのシステムに取り込まれ引用されうるかどうかを左右します。
どちらの方向に間違えてもコストがかかります。検索クローラーをブロックすればブランドはAIの回答から消え、オプトアウトのつもりで学習クローラーを開いたままにすればコンテンツが無償でモデルを学習させてしまいます。さっと診断すれば、主要なAIボットすべてに対して自社がどの位置にいるかが正確にわかります。
結果の読み方
許可
クローラーはサイトのルートにアクセスできます。OAI-SearchBot、ClaudeBot、PerplexityBotといったAI検索ボットの場合、これがAIの回答で引用される資格を維持する要素になります。
一部許可
クローラーはサイトに到達できますが、robots.txtが一部のパスを禁止しています。通常は問題ありませんが、AI検索で表示させたいページを隠していないか確認してください。
ブロック
Disallow: / のルールがこのクローラーを入口で止めています。学習のオプトアウトには意図的で構いませんが、可視性を保ちたかった検索クローラーであれば問題です。
robots.txtのよくあるミスとその直し方
うっかりAI検索をブロックしている。
OAI-SearchBotやPerplexityBotまで巻き込む包括的なDisallowは、知らぬ間にあなたをAIの回答から外します。検索クローラーは許可し、どうしても必要な場合のみ学習ボットだけをブロックしましょう。
AI向けにUser-agent: *を頼りにしている。
多くのAIクローラーはワイルドカードのグループを無視し、自分の正確なトークンを指定したルールにしか従いません。各AIボットを、その固有のユーザーエージェントで指定してください。
Google-ExtendedとGooglebotを混同している。
間違ったトークンをブロックすると、AI学習が有効なままになるか、誤って検索のインデックスから外れてしまいます。AIにはGoogle-Extended、検索にはGooglebotを使いましょう。
robots.txtをファイアウォール代わりにしている。
robots.txtはあくまで推奨であり、無視を選ぶクローラーや第三者経由のスクレイピングは止められません。どうしても完全に止めたいボットには、サーバー側でのブロックを使ってください。
AIの回答全体でブランドを追跡する
AIクローラーを許可するのは第一歩にすぎません。SEOcrawlのAI Trackerは、その先で何が起きるかを示します。ChatGPT、Claude、Gemini、Perplexityが実際にどれだけあなたのブランドに言及・引用しているか、どのプロンプトであなたが登場するか、競合と比べてどう位置づけられているかを監視します。すべてGoogle Search Consoleのデータと並べて一か所で確認できます。
よくある質問
AIボットチェッカーとは何ですか？
AIボットチェッカーは、サイトのrobots.txtファイルを読み取り、現在どのAIクローラーを許可またはブロックしているかを教えてくれるツールです。主要なAI各社のユーザーエージェントトークン — OpenAI（GPTBot、OAI-SearchBot、ChatGPT-User）、Anthropic（ClaudeBot、Claude-SearchBot）、Google（Google-Extended）、Perplexity（PerplexityBot）、Common Crawl（CCBot）など — を、あなたのrobots.txt内のAllowおよびDisallowルールと照合します。
robots.txtでAIクローラーをブロックするには？
クローラーごとにグループを追加し、Disallowルールを書きます。例えば「User-agent: GPTBot」の次に「Disallow: /」とします。複数をブロックするには、各ユーザーエージェントをそれぞれ独立したグループに記載します。robots.txtはあくまで推奨である点に注意してください。GPTBotやClaudeBotのような行儀の良いクローラーは従いますが、強制の仕組みではないため、無視を選ぶボットは止められません。
AIボットはブロックすべきですか、許可すべきですか？
目的によります。学習クローラー（GPTBot、CCBot、Google-Extended）をブロックすると、コンテンツがモデル学習からオプトアウトされます。しかしAI検索クローラー（OAI-SearchBot、ClaudeBot、PerplexityBot）をブロックすると、ブランドがChatGPT、Claude、Perplexityの回答から外れ、可視性と参照トラフィックを失うおそれがあります。多くのサイトは、検索クローラーは許可しつつ、学習専用のものだけをブロックしています。
Google-ExtendedをブロックするとGoogleの順位に悪影響がありますか？
いいえ。Google-Extendedは、あなたのコンテンツがGeminiやVertex AIの学習・グラウンディングに使われるかどうかだけを制御します。Googlebotとは別物なので、Google-ExtendedをブロックしてもGoogle検索での順位には影響しません。オーガニック検索に触れずにAI学習をオプトアウトする、すっきりとした方法です。
学習・検索・オンデマンド取得のAIボットの違いは何ですか？
学習ボット（GPTBot、CCBot、Google-Extended、Bytespider）はモデルを学習させるためにコンテンツを収集します。検索ボット（OAI-SearchBot、Claude-SearchBot、PerplexityBot）は、AI検索の回答で引用されるようサイトをインデックスします。オンデマンド取得ボット（ChatGPT-User、Claude-User、Perplexity-User）は、ユーザーがアシスタントにそのページについて尋ねたとき、リアルタイムで1ページを取得します。それぞれをブロックすることはAI可視性にまったく異なる結果をもたらします。
