クロールバジェットとは？最適化する方法

クロールバジェットとは？最適化する方法
David Kaufmann
SEO Tutorials
13 min read

SEOについて話すとき、いつも「キーワード」、「メタデータ」、見出し、コンテンツなどが頭に浮かびます。しかし、テクニカルSEOもSEOのもうひとつの非常に重要な側面であり、ウェブポジショニング戦略で考慮すべきものです。

この世界で、クロールバジェットの概念に出会います。深く分析しましょう！

クロールバジェットとは？

クロールバジェットとは、Googleがウェブサイトを訪問するときに費やす時間のことです。このバジェットはサイトのランキングとインデックス登録に影響を与えるため、ウェブサイトのクロールバジェットに注意を払うことが重要です。最適なクロールバジェットを達成するための重要な原則は次のとおりです。

  • アクセシビリティ

  • スピード

  • 品質

  • オーソリティ

クローラーとは？

クローラーとは、ウェブサイトとそのURLを自動的にクロールするスパイダーまたはボットです。このボットはコンテンツを保存・分類し、後でユーザーに検索結果として表示します。Googlebotと呼ばれます。私たちが話している最も重要な検索エンジンはGoogleだからです。とはいえ、Googleがあなたのウェブサイトを見つけ、その存在を知ることが不可欠です。

クロールバジェットがウェブサイトに与える影響

最適化されたクロールバジェットは、検索エンジンでのウェブサイトのより良いポジショニングを促進します。さらに、すべての重要なページの正しいインデックス登録にも役立ちます。SEOポジショニング戦略でクロールバジェットを忘れることはできません。Googleがウェブサイトを知るために投資する時間は非常に重要だからです。

どのように機能するのか？

Googleのスパイダーはウェブサイトをクロールし、クロールバジェットが少ない場合、新しいコンテンツをすべてクロールせずにサイトを離れる可能性があります。彼らは2つの要素に基づいてバジェットを割り当てます。

  • クロール限界：ウェブサイトがサポートする最大クロール数と優先設定を示します。

  • クロール需要：サイトの人気と更新頻度に基づいて、ウェブサイトをクロールすべき頻度を示します。

ウェブサイトがクロールされる頻度をご存知ですか？

Google Search Consoleのおかげで、過去3か月のクロール統計を見ることができます。そこでは、1日あたりのクロールされるページ、1日あたりのダウンロードキロバイト、ページのダウンロード時間（ミリ秒）を確認できます。データには高、普通、低として分類された平均値があります。このデータは、ウェブサイトのページの総数と1日あたりの平均クロールデータを考慮すると、非常に説明的です。それを使って、私たちが基準内にいるか、それともクロールバジェットを改善する必要があるかを知ることができます。

クロール統計
クロール統計

クロールバジェットが少ないと有害ですか？

クロールバジェットが少ないと、次のような欠点があります。

  • コンテンツが迅速にランク付けされにくい。Googleが存在を知らないため、クロールやインデックス登録ができないからです。

  • ウェブサイトから遠い領域は、クロールバジェットが少ない場合、デリケートな領域になります。ボットはウェブサイトのより遠いページやセクションを通過する時間を持ちません。

  • 行ったオンページSEO最適化はクロールされず、改善が表示されません。

  • 別のウェブサイトが私たちのウェブサイトより先に同じコンテンツをインデックス登録およびランク付けすると、Googleはコンテンツをコピーしたと識別し、それに対してペナルティを与える可能性があります。

  • 大量のクロールバジェットがあっても、適切に最適化しなければ何も保証されません。

スパイダーの動作はどんなものですか？

GoogleがどのページをクロールしているかとSEOポジショニングの優先順位と一致するかどうかを把握するためには、ログから提供される情報を確認する必要があります。

ログとはサーバーへのリクエストで保存されており、Googlebotが何を訪問し何を訪問しないかを知るためにアクセスできます。このドキュメントのエクスポートと整理は、ScreamingFrog Log File Analyserで簡単になります。

ScreamingFrog Log File Analyser
ScreamingFrog Log File Analyser

ScreamingFrog Log File Analyserでのログ分析
ScreamingFrog Log File Analyserでのログ分析

クロールバジェットを最適化する方法

ウェブポジショニングとビジネスのために重要なURLを明確にし、最もクロールされるようにすることが必要です。パラメータ付きページ、ページネーションなど、本当に重要でないページにクロールバジェットを投資するのは無駄です。

重複コンテンツの問題や、同じキーワードを共食いするURLがないことが重要です。低品質のコンテンツも有害です。ボットが時間を費やして通過するからです。

最適化するためには、次の領域を強調する必要があります。

WPO（ウェブパフォーマンス最適化）

Googleがウェブサイトのクロールに時間がかかりすぎないように、読み込み速度またはWPOを最適化します。Googleはクリーンなコードと、できるだけ少ないファイル数を好み、読み込みを容易にし、ブラウジング時の最適なユーザー体験を達成します。

クロールバジェットのためのWPO改善
クロールバジェットのためのWPO改善

忘れないでください。

  • CSSとJSファイルを縮小・圧縮する

  • 画像のウェイトとサイズに注意し、サイズを指定する

  • キャッシングを通じてポジショニングを向上させるためにNginxをサーバーとして選ぶ

リンクとリダイレクト

ボットはウェブサイトのすべてのコンテンツをクロールし、各ページのすべてのリンクをたどります。正しいクロールを促進するには、次のことを考慮する必要があります。

  • 不要なリダイレクトを避ける必要があります。Googleはそこで迷子になるからです。

  • リダイレクトチェーンとは、多くのURLのリダイレクトのことで、Googleが目的地URLに到達せずに迷子になります。

リダイレクトチェーンまたはリダイレクトループ
リダイレクトチェーンまたはリダイレクトループ

  • 内部リンクの壊れたリンク（404 not foundステータスでリンクされたページ）。

Screaming FrogとSearch Consoleは、欠陥のあるリダイレクトとあらゆる種類のエラー付きURLを検出する特別な味方になります。

Search Consoleでの欠陥のあるリダイレクト
Search Consoleでの欠陥のあるリダイレクト

内部リンク

内部リンクは、過剰にリンクしてボットがURLのクロールで迷子にならないように注意することが重要です。

  • 最も重要な領域を強化し、それほど重要でないものはあまりリンクされないようにすべきです。このため、メインメニューやフッターからすべてのページにリンクするのが便利でないようなページ、例えばプライバシーポリシーやクッキーページなどがあります。

コード

  • ボットのクロールとインデックス登録を容易にするために、可能な限りHTMLを含めることが推奨されます。GoogleがJavaScriptのページのレンダリングとインデックス登録に苦労することはよく知られています。

XMLサイトマップ

サイトマップは、ウェブサイトの正しいクロールとインデックス登録を保証するため、Googleにとって基本的なファイルのひとつです。

  • 整理されているほど良いです。サイトマップを縦軸またはフォルダで整理しましょう。

  • 内容を説明する名前を指定します。「sitemap 1」のような一般的すぎる名前は避けてください

XMLサイトマップの推奨事項
XMLサイトマップの推奨事項

  • 画像、ビデオ、言語別のサイトマップ。

  • 含めるURLは常に最も重要なものでなければなりません。リダイレクト付きページ、canonicalタグなしのページ、フィルター付きページ、ページネーションなどは含めないでください。また、プライバシーポリシーやクッキーなど、あまり関連性のないページも含めないでください。

Robots.txt

サイトマップとともに、robots.txtファイルはウェブサイトのインデックス登録とクロールにおける重要なファイルのひとつです。可能な限り最適化することを忘れないでください。

  • XMLサイトマップを参照してできるだけクロールを容易にする。

  • 重要なフォルダをブロックしないでください。これには、Search Console robots.txtテスターを試して、重要なフォルダやページをブロックしているかどうかを確認できます。

Search Console robots.txtテスター
Search Console robots.txtテスター

  • リダイレクトまたはcanonical付きのページをブロックしないでください

  • JSとCSSへのアクセスを許可してください

Hreflangタグ

  • これらの完全な属性は、ウェブサイトがどの言語でいくつ利用可能であるかをGoogleが特定するのに役立ちます。

Metarobots noindex と X-Robots-Tag

これらのディレクティブは、どのページやフォルダがインデックス登録されるべきでないかをボットに伝えますが、クロールアクセスを妨げるものではありません。

  • metarobots「noindex」ディレクティブのタグはクロールバジェットを消費するため、過剰に使用しないことが重要です。

  • X-Robotsヘッダーはコードレベルでヘッダーに含まれており、ページをインデックス登録しないことを含む、Googleへのいくつかのディレクティブを示すことができます。

参照ソース：

  • José Facchin: クロールバジェットとは何か、Googleにとってどれほど重要か、どう改善できるか？

  • SEOCOMエージェンシー：クロールバジェットとは？

  • Big SEO Agency: クロールバジェットとは？最適化のための鍵

  • ContentKing: SEOにおけるクロールバジェット：参考ガイド

  • Mi posicionamiento web: クロールバジェットとは？

  • Luis Villanueva: クロールバジェットとは？

  • Neil Patel: ウェブサイトのSEOを改善するためにGoogleのクロールバジェットを使用する方法

  • Search Engine Journal: SEOのためのクロールバジェットを最適化するための7つのヒント

  • Webmasters Google Blog: Googlebotにとってクロールバジェットとは何か？

  • DeepCrawl: クロールバジェットとは？

著者: David Kaufmann

David Kaufmann

私はこの10年以上、SEOに完全に夢中になって過ごしてきました。正直なところ、他の生き方は考えられません。

私のキャリアが新たな次元に到達したのは、Chess.com でシニアSEOスペシャリストとして働いたときでした。Chess.com はインターネット全体で最も訪問数の多い上位100サイトの1つです。数百万ページ、数十言語、そして最も競争の激しい SERPs の1つという規模で仕事をした経験は、どんなコースや資格でも得られないことを教えてくれました。あの経験は、本当に優れたSEOとは何かという私の視点を一変させ、それ以降に私が築いてきたすべての土台となりました。

その経験から、私は SEO Alive を創業しました。オーガニック成長に本気で取り組むブランドのためのエージェンシーです。私たちは dashboards や月次レポートを売るためにここにいるのではありません。本当に成果を動かす戦略を構築するためにここにいます。クラシカルなSEOの最良の部分と、Generative Engine Optimization (GEO) というエキサイティングな新しい世界を組み合わせ、あなたのブランドが Google の青いリンクだけでなく、ChatGPT、Perplexity、Google AI Overviews が毎日何百万人もの人々に届けている AI 生成の回答の中にも確実に表示されるようにします。

そして、この両方の世界をきちんと扱えるツールが見つからなかったので、自分で作りました。それが SEOcrawl です。rankings、テクニカル監査、backlinks モニタリング、crawl ヘルス、そして AI ブランド可視性トラッキングを1つの場所に統合した、エンタープライズ向けのSEOインテリジェンスプラットフォームです。まさに、ずっと存在してほしいと願っていたプラットフォームです。

→ David のすべての記事を読む
著者の他の記事: David Kaufmann

この著者の他のコンテンツをご覧ください