Search Console の「ページのインデックス登録」レポートで、「クロール済み – インデックス未登録」や「検出 – インデックス未登録」がたくさん並んでいる。
そんなサイトについて、Google のジョン・ミューラー氏が改めて答えました。
11月10日の Bluesky での発言で、翌日に Search Engine Roundtable が紹介しています。
この記事では発言の中身と、2つのステータスの違いを紹介します。
そのうえで、制作者が相談を受けたときに、原因をどう見分けるかを整理します。
ひとことで
インデックス未登録のページが多いのはたいてい「Google の品質の仕組みが、そのサイトに納得していない」という兆候だそうです。
そして、ページの数を減らすだけでは、サイト全体の品質の評価は大きく上がらない、とのことです。
発言の中身
どんな質問だったか
質問したのは「クロール済み – インデックス未登録」や「検出 – インデックス未登録」のページが大きな割合を占めるサイトの人です。
そうしたページを noindex にするか、関連する別のページへリダイレクトするか、待つか、ほかに方法があるか、と尋ねていました。
ミューラー氏の答え
ミューラー氏の答えは、これはたいてい「Google の品質の仕組みがサイトに納得していない（あるいは、望まない形で納得している）」兆候だ、というものでした。
また、サイトを小さくするだけでは、サイト全体の品質は大きく上がらない、とも述べています。
質問者はさらに「信頼されるための取り組みは、クロールの予算（クロールバジェット）の最適化より大事か」と尋ねました。
これに対するミューラー氏の答えは、「この2つはまったく別のもの」でした。
インデックスされるページが極端に少ない場合、考えられるのは次のどちらかだそうです。
- 重大な技術的な問題（クロールバジェットの問題）
- サイト全体に対して、Google が納得していない
そして、クロールバジェットの問題なら、その規模であればはっきり気づくはずだ、とも話しています。
Search Engine Roundtable も書いているとおり、これ自体は新しい話ではありません。
ミューラー氏が以前から言っていることを改めて言った形です。
「クロール済み」と「検出」の違い
2つのステータスは名前が似ていますが、意味が違います。
Search Console の公式ヘルプでは次のように説明されています。
| ステータス | 公式ヘルプの説明 | 補足 |
|---|---|---|
| クロール済み – インデックス未登録 | Google がクロールしたが、インデックスに登録していない | 多くのサイトで珍しくなく、必ずしも対処が必要な問題ではない |
| 検出 – インデックス未登録 | Google がページを見つけたが、まだクロールしていない | 多くは、サイトに負荷をかけすぎると予想して、クロールを先送りした状態 |
つまり「クロール済み」は中身を見たうえで登録しなかった状態です。
一方「検出」はそもそも中身を見に行けていない状態で、サーバーの負荷が関係していることがあります。
Google がクロールする量はサーバーの速さや安定性で決まります。
サーバーの応答が遅いと、Google はクロールを控えめにするので、「検出」のまま止まるページが増えることがあるわけです。
サーバーが速くなったときに、クロールがどう増えるかはこちらで解説しています。
CDN に切り替えた直後に起きることと、その対策です。
原因の見分け方: サーバー側か、品質側か
公式ヘルプとミューラー氏の発言を合わせると、次のように見分けられそうです。
| 状況 | 疑うところ | 確かめること |
|---|---|---|
| 「検出」が多く、サーバーの応答が遅い・エラーが出ている | サーバー側 | Search Console の「クロールの統計情報」で、応答時間やエラーを見る |
| 最近、サーバーの移転や CDN への切り替えをした | サーバー側 | 移行のあとに、応答時間やエラーが増えていないか |
| 「クロール済み」が多い | 品質側 | そのページが同じ検索意図に対して、ほかのサイトより役に立っているか |
| 両方が多く、インデックスされているのはごく一部 | サイト全体の品質（技術的な問題なら、はっきりわかるはず） | サイト全体の内容が、読む人の役に立っているか |
| 数が少なく、重要でないページばかり | 気にしなくてよいことが多い | 重要なページが含まれていないか |
大事なのは「検出」と「クロール済み」を分けて見ることだと思います。
まとめて「インデックス未登録が多い」と捉えると、サーバーの問題なのに記事を書き直したり、逆に品質の問題なのにサーバーをいじったりしかねません。
「ページを減らす」だけでは上がらない
インデックス未登録が多いと、「質の低いページを noindex にしたり消したりすれば、サイトの評価が上がるのでは」と考えたくなります。
実際、質問者もそれを尋ねていました。
ですが、ミューラー氏の答えは「サイトを小さくするだけでは、品質は大きく上がらない」でした。
これは Google のコアアップデートについての公式ドキュメントとも同じ方向です。
そちらでも、「SEO に悪いと聞いた部分を消す」ような急ごしらえの対策は避けること、ページの削除は最後の手段であることが書かれています。
減らすことを目的にするのではなく、残すページの内容を読む人の役に立つものにしていく。
遠回りに見えますが、Google が勧めているのはこちらのようです。
見直すときの目安には Google の「有用で信頼性の高い、ユーザーを第一に考えたコンテンツの作成」というページが使えます。
自分のコンテンツを評価するための質問が並んでいるので、クライアントと一緒に確認するときにも便利です。
制作の現場で: 相談を受けたときの確認順
クライアントから「インデックスされないページが多い」と相談を受けたら、次の順で確かめるのがよさそうです。
- 「検出」と「クロール済み」のどちらが多いかを見る
- その中に、重要なページ（サービス紹介、問い合わせにつながるページなど）が含まれているかを見る
- 重要なページは URL 検査の「公開 URL をテスト」で、Google が問題なく取得できるかを確かめる
- 「検出」が多ければ、「クロールの統計情報」でサーバーの応答時間やエラーを見る
- 「クロール済み」が多ければ、そのページの内容を見直す
- noindex・リダイレクト・削除は最後に考える
いきなり記事を消したり、まとめてリダイレクトしたりすると、元に戻すのが大変です。
まずはどちらのステータスなのかを確かめるところから始めたいですね。
URL 検査の「公開 URL をテスト」で、直すか待つかを判断したときの記録はこちらです。
確かめた手順も載せています。
判断基準のまとめ
- 「検出」はクロールが先送りされた状態。サーバーの負荷が関係していることがある
- 「クロール済み」は中身を見たうえで登録されなかった状態。品質の兆候のことがある
- 両方が多く、インデックスがごく一部なら、サイト全体の品質を疑う
- ページを減らすだけでは、品質の評価は大きく上がらない
- 削除やリダイレクトは最後の手段
出典
- Search Engine Roundtable: https://www.seroundtable.com/google-crawled-discovered-currently-not-indexed-42507.html
- Search Console ヘルプ「ページ インデックス登録レポート」: https://support.google.com/webmasters/answer/7440203?hl=ja
- Google 検索セントラル「Google 検索のコア アップデート」: https://developers.google.com/search/docs/appearance/core-updates?hl=ja
- Google 検索セントラル「有用で信頼性の高い、ユーザーを第一に考えたコンテンツの作成」: https://developers.google.com/search/docs/fundamentals/creating-helpful-content?hl=ja
