robots.txt完全ガイド：設定方法と書き方

robots.txtとは？何のために使うのか？

robots.txtとは、簡単に言うとウェブサイトのルートディレクトリに設置するファイルで、特定のボット（GoogleやBingのクローラーなど）にサイト全体、もしくは一部へのアクセスを禁止するためのものです。

注意点として、これはあくまで「プロトコル（規約）」であり、基本的にはマナーの良いボット（GoogleBot、BingBot、Semrushなど）はこのルールに従いますが、悪意のあるボットは平気で無視できます。たとえばScreaming Frogでも、以下のオプションをチェックすればrobots.txtを無視してクロールできます。

robots.txtファイルがSEOで重要な理由

先ほどお伝えしたとおり、GoogleBotのような優良ボットはこのプロトコルを遵守します。つまり、このファイルを使えばGoogleをサイト内で誘導することができるのです。

え？どういうこと？robots.txtでGoogleを誘導？

はい、ご安心ください。例を交えて説明すれば、すぐに納得していただけると思います。

たとえば、あなたのサイトに登録ユーザーしかアクセスできない会員専用エリアがあるとしましょう。ご存じのとおり、Googleはログインが必要なページにはアクセスできません（少なくとも今のところは…）。

であれば、Googleにとって価値のないページをクロールさせて、貴重なクロールバジェットを浪費させるのは、もったいないと思いませんか？

そうなんです！robots.txtの最も重要な使い道のひとつが、Googleにとって価値の低いパスをブロックして、本当に重要なページにクローラーのリソースを集中させることなのです。だからこそ、robots.txtはSEO戦略において欠かせない柱のひとつとなります。

これはほんの一例にすぎません。robots.txtでできることは他にもたくさんあります。たとえばサイトマップの場所を伝えたり、クロール間隔を調整したり、特定のリソースのクロールをブロックしたり…使い道は実に豊富です。

robots.txtファイルの作り方

さあ、いよいよ実践です！

このファイルの作成は驚くほど簡単です。テキストエディタ（Windowsならメモ帳、MacならTextEdit）またはオンラインエディタを開き、robots.txtの中身を書いたら、txtファイルとして保存するだけです。

ファイルができたら、「robots.txt」という名前を付けて、サーバーパネルやFTPでウェブサイトのルートディレクトリにアップロードします。

正しくアップロードされているかどうかは、ドメインの後ろに「/robots.txt」を付けてアクセスすれば確認できます。たとえばhttps://seocrawl.com/robots.txtのように表示されればOKです。

注意：キャッシュには気をつけてください。シークレットモードで確認するのが確実です ;)

WordPressを使っている場合は？

WordPressを使っている方はもっと簡単です。Rank MathやYoastといった主要なSEOプラグインには、robots.txtを直接編集できる機能が組み込まれています。

Rank Mathの場合は、Rank Math > 一般設定 > robots.txtを編集 から編集できます。

Yoastの場合は、SEO > ツール > ファイルエディター から編集します。

この方法なら、先ほど説明した手順を踏まなくても、簡単にファイルの作成や編集ができます。

ディレクティブ（コマンド）一覧

ここからは、利用できる主なディレクティブを、具体例とともに見ていきましょう。

サイト全体のクロールをブロックする

User-agent: * Disallow: /

メモ：開発中のサイトで、どのボットにもアクセスやインデックス登録をされたくない場合、このルールはとても便利です。

特定のページのクロールをブロックする

User-agent: * Disallow: /url-of-page-i-dont-want-crawled

特定のフォルダのクロールをブロックする

User-agent: * Disallow: /folder/

特定のページへのアクセスを許可する

User-agent: * Allow: /page

フォルダをブロックしつつ、その中の特定ページだけ許可する

User-agent: * Disallow: /folder/ Allow: /folder/page

サイトマップの場所を指定する

Sitemap: https://domain.com/sitemap.xml

特定のボットに対して指示を出す

ここは少し詳しく説明します。お気づきかもしれませんが、これまでのディレクティブはすべて次の行から始まっていました。

User-agent: *

この「*」はすべてのボットを意味します。つまり、その行以降のディレクティブは、すべてのボットに適用されるということです。特定のボットだけに指示を出したい場合は、次のように書き換える必要があります。

User-agent: Googlebot Googleのボット向け

User-agent: Bingbot Bingのボット向け

User-agent: DuckDuckBot DuckDuckGoのボット向け

あとは、指示を出したいボットの名前を調べて、上記のように指定するだけです。

robots.txtファイルの確認とテスト

サイトに合わせてrobots.txtをカスタマイズし、最適化が完了しました。あとは動作確認をするだけです。

テスト？何のために？

それはもちろん、書き間違いがないか、そしてブロックしたい部分がきちんとブロックされているかを確認するためです。

このテストにはこちらのツールがおすすめです。

ツールを開いたら、次の手順で確認します。

• ›

  クロールが許可されているか確認したいURLを入力する

• ›

  User Agentを選択する

• ›

  TESTをクリックする

すると、robots.txtの内容が読み込まれ、その下にアクセスが許可されているかどうかが表示されます。

このケースでは、ご覧のとおり「許可」の結果が出ています。もし許可されていないURLを入力した場合は、ブロックの原因となっている行もハイライト表示されます。

さらにこのツールでは、結果が思いどおりになるようrobots.txtをその場で編集することもできます。修正してテストが済んだら、その内容を実際のrobots.txtに反映させればOKです。

ボーナステクニック：印象に残るrobots.txtに

ここまでボット向けのコードをたくさん紹介してきましたが、実は行頭に「#」を付けることでコメントを入れることもできます。「#」で始まる行はボットに無視されるので、表現の幅がぐっと広がります。これを利用したちょっとした遊び心や内輪ネタも仕込めるんです。ぜひwindupschool、pccomponentes、Minubeなどのrobots.txtを覗いてみてください。きっと面白い発見がありますよ。

まとめ

ここまで見てきたとおり、robots.txtファイルは可能性に満ちている一方で、慎重に扱う必要があります。たった一行のディレクティブを誤るだけで、サイト全体のクロールをブロックしてしまうこともあるからです。

このガイドが皆さんのお役に立てば幸いです。ご質問があれば、ぜひコメント欄でお気軽にどうぞ！