「クロールバジェットって何？」
「自分のサイトに影響あるの？」
「最適化の方法を知りたい」
そんな疑問をお持ちではありませんか？
結論からお伝えすると、クロールバジェットとは1つのサイトに対してGoogleのクローラーが巡回できる上限枠のことです。ただし、Googleは公式に「クロールバジェット」という用語を採用しておらず、サイトのURLが数千もない場合はほとんど意識する必要はありません。
この記事では、クロールバジェットの定義からGoogleの公式見解、影響を受けるサイト、最適化の方法まで、わかりやすく解説します。
この記事でわかること
- クロールバジェットとは何か
- Googleの公式見解
- クロールバジェットに影響を及ぼす要因
- 影響を受けるサイトの特徴
- クロールを最適化する4つの方法
クロールバジェットとは？
クロールバジェットとは、1つのサイトに対してGoogleのクローラーが巡回できる上限枠（割り当て枠）のことを指します。
- 「クロール」= Googlebot（クローラーボット）
- 「バジェット」= ここでは「上限」という意味
クローラーにはサイトで見られるページ数の上限が設定されており、ページ数が上限を超えてしまうと一部の内容を認識できなくなる可能性があります。
ただし、クロールバジェットは基本的に大きめの数値に設定されており、よほど大きなサイトでない限りほとんど影響はないと見られています。
Googleの公式見解
重要なポイントとして、Googleでは「クロールバジェット」という用語や概念を採用していません。
2017年1月にGoogleは公式ブログで「昨今、『クロールの割り当て』についてさまざまな定義を耳にします。しかし、Googleの外部で『クロールの割り当て』が表すあらゆるものを一言で説明できるような言葉はありません」と述べています。
さらに「サイトのURLが数千もない場合、そのサイトのクロールはたいてい効率的に行われます」とも説明しています。
つまり、大規模なWebサイトを運営していない限り、クロールバジェットを意識する必要はないということです。
クロールバジェットに影響を及ぼす要因
クロールの必要性
検索エンジンがクロールする必要があるかどうかを判断する指標があります。
人気度
インターネット上で人気の高いURLほど、Googleのインデックスで情報の新しさが保たれるよう頻繁にクロールされる傾向があります。
古さ
Googleのシステムでは、インデックス内のURLが古くなり無効とならないようにしています。サイトの移転などのイベントでは、新しいURLのコンテンツをインデックスに再登録するためにクロールの必要性が高まります。
価値の低いURL
Googleは価値の低いURLが多数あるとサイトのクロールやインデックス登録に悪影響を及ぼす可能性があると述べています。
価値の低いURLの例は以下の通りです。
- ファセットナビゲーションとセッションID：URLパラメータによって引き起こされた複雑な構造のサイト
- サイト内の重複コンテンツ
- ソフトエラーページ：404ページを表示しながら200レベルのコードを返すエラーページ
- ハッキングされたページ
- 無限のスペースとプロキシ：多数のリンクを自動生成したURL
- 質の低いコンテンツやスパムコンテンツ
クロールバジェットの影響を受けるサイト
影響を受ける可能性があるのは、サイトのURLが数千以上ある規模の大きなサイトです。
主に以下のようなサイトが該当します。
大規模なECサイト
Amazon、楽天、Yahoo!ショッピング、メルカリなど
大規模なCGMサイト
アメーバブログ、おしえて！goo、価格.comなど
毎日のように数百、数千というページが生成されるサイトでは、重複コンテンツが増えやすく、本来クロールされるべきページが埋もれてしまう可能性があります。
クロールを最適化する4つの方法
方法1：価値の低いページをなくす
価値が低いと見なされるページを極力なくしましょう。
- プログラムによって自動生成されたページを確認して削除
- 重複ページを削除（URLパラメータを最適化）
- 無断複製されたコンテンツを確認して削除
- 特定のキーワードで上位表示されるためだけに作られた誘導ページを削除
方法2：robots.txtでクロール拒否の設定をする
サイトには残したいがクロールさせる必要のないページは、robots.txtを使ってクロール拒否の設定を行います。
合わせて講じるべき対策として、内部リンクの正規化（非正規のURLにリンクしない）や、noindexの適切な使用があります。
方法3：定期的にサイトマップを更新する
XMLサイトマップを定期的に更新することで、新しく追加したページや更新したページの情報が伝わり、効率良くクロールしてもらえる可能性が高まります。
方法4：コンテンツの品質を改善する
クローラーは人気の高さや情報の新しさを基準にしてクロールの必要性を判断します。低品質なコンテンツは人気がないページとみなされ、クロールの必要性が低いと判断されます。
補足：リダイレクトチェーンを避ける
5回以上のリダイレクトチェーンはクロールに負荷をかけます。
Googleのジョン・ミューラー氏は「5回までのリダイレクトはその場でたどるが、5回を超えると次のクロールのサイクルに回される。リダイレクトの繰り返しは、特にモバイルでは表示速度が非常に遅くなる」と説明しています。
Google Search Consoleでクロールの頻度を確認する
クロールの頻度を確認する
- Google Search Consoleにログイン
- 左メニューの「設定」をクリック
- 「設定」画面にある「レポートを開く」をクリック
- 「クロールの統計情報」が表示される
各ページの最新クロール日を確認する
- Google Search Consoleにログイン
- 「URL検査」をクリック
- 確認したいページのURLを入力
- エンターキーを押す
- 完了画面が表示されたら「カバレッジ」の詳細を開く
- 「前回のクロール」の日付が最新クロール日
よくある質問（FAQ）
Q. クロールはランキング要素になりますか？
A. クロールの速度や頻度は検索順位に直接影響しません。ただし、クロールを最適化する対策の中にはSEO対策として有効なものもあります。
Q. nofollowはクロールバジェットに影響がありますか？
A. ページの状況次第です。ページ内でURLをnofollow設定しても、サイト内の他のページや他サイトからそのページへのリンクがnofollowされていなければ、クロールされる場合もあります。
Q. alternateのURLや埋め込みコンテンツもクロールバジェットに含まれますか？
A. 基本的にすべてのURLはクロールバジェットに加えられます。AMPやhreflangのalternate要素も、CSSやJavaScriptのような埋め込みコンテンツも含まれます。
Q. 小規模サイトでもクロールバジェットを意識すべき？
A. URLが数千もない小規模サイトでは、クロールバジェットを意識する必要はほとんどありません。Googleも「サイトのURLが数千もない場合、そのサイトのクロールはたいてい効率的に行われます」と述べています。
まとめ：クロールバジェットは大規模サイトのみ意識しよう
この記事では、クロールバジェットの定義から最適化方法まで解説しました。
重要ポイント：
- クロールバジェットはクローラーが巡回できる上限枠のこと
- Googleは公式に「クロールバジェット」という用語を採用していない
- URLが数千もない場合は意識する必要はない
- 価値の低いURLが多いとクロールに悪影響
- 大規模ECサイトやCGMサイトは注意が必要
最適化の4つの方法：
- 価値の低いページをなくす
- robots.txtでクロール拒否の設定をする
- 定期的にサイトマップを更新する
- コンテンツの品質を改善する
次のステップ：
- 自サイトのURL数を把握する
- 数千以上ある場合は価値の低いURLがないか確認する
- Search Consoleでクロールの統計情報を確認する
- 重複コンテンツやエラーページを整理する
クロールバジェットは大規模サイト向けの概念であり、一般的な規模のサイトでは過度に心配する必要はありません。ただし、クロールを最適化する対策は、SEO対策としても有効なものが多いので、サイトの品質向上として取り組む価値はあります。