ある日を境に、記事が突然インデックス登録されなくなった（最新追記：2022/4/13）

タイトルの通りなのですが、2021年3月下旬のある日を境に、新しく更新したブログの記事が Google のインデックスに登録されなくなってしまいました。

せっかく書いた記事がインデックスされないのは結構つらい...。

現在、最新の５つの記事がインデックスされていません。カバレッジのステータスとしては「検出 - インデックス未登録」が続いている状態です。

解決方法がまだわからないのですが、これまでの経過と状況、考えられることをまとめました。

※追記（インデックス状況）
2021/6/20：その後７割ほどはインデックスされ、一旦は解決したように思います。
2021/8/28：すべての記事がインデックスされました。
2021/9 〜：再びインデックスされない記事が出てきました。
2021/11〜：新規記事はすべて登録されるようになりました。

記事本文が長文のため、要点を先にまとめておきます。

以下、記事本文はこれまでの細かい経過と考察です。

目次

現象：ある日を境に、更新した記事がインデックスされなくなった

３月下旬のある日から、新しく更新した記事がインデックスされなくなってしまいました。

当初は「ちょっと時間かかってるのかな」くらいに考えてましたが、一週間経ってもインデックスされない時点でおかしいかも？ と思い始めるように。それまでは Google Search Console でリクエストを送れば、どの記事もだいたい数時間程度でインデックスされていたんです。

そこで、以前にこちらの記事で書いた現象と同じかもと考え、一部の記事で URL（パーマリンク）を変更して様子を見ていたんですが、それでもインデックスされる気配がありません。

Search Console「検出 - インデックス未登録」問題の解決法は？ URL を変更したらインデックスされた？

最近更新した記事が、Google Search Console で「検出 - インデックス未登録」のままインデックスされないということが起きました。今回は、そのときに調べたこと、インデックスされた方法をまとめます。

www.limosuki.com

でもまぁとりあえず気にせず記事を出していこうと思って書いているうちに、一ヶ月ちょっとの間に更新記事が６つに増え、そのすべてがインデックスされないという事態になってしまいました。

ネット上の声を探してみても Search Console で不具合が起きている様子はないし、Blogger ブログを含めいくつかのブログの最近のインデックス状況を伺ってみても問題が起きている風ではない。みんな問題なくインデックスされてるっぽい。

そうすると、やはり当ブログに何かしらの問題が起きているんだろうなと考えるに至りました。

以下の設定周りについては、確認したところ問題はなさそうでした。

また、内部リンクでつながっていない等の一般的によく指摘されている注意事項については一通り確認したうえで、問題は別の部分にあるように感じました。

この一ヶ月、またここ一週間でいろいろ調べて（すごい疲れた...）、今のところ一番可能性が高いのは Google の通称「自動ペナルティ」を受けたかも？ ということ。

Google の自動ペナルティ？

そう考えるきっかけになったのがこちらの記事。

【WordPress】突然インデックスされなくなった問題が解決したのでその対処法を。 | むちむちコード

自分ではそんなつもりはなかったのに、書いた記事が Google のガイドラインに違反していると認識され、インデックスが止まってしまったという内容です。その後こちらのブログでは、自動ペナルティを科されたとの仮説のもと修正を行い、一部の記事は３時間後に、その他の記事も翌日以降にインデックス登録が再開されたとのことでした。

当ブログの方は結局まだ解決しておらず、ペナルティの原因と思われる点も異なるとは思うのですが「それまで問題なくインデックス登録されていたのに、ある日突然、インデックスされなくなってしまう」という点が共通しています。

自動ペナルティのやっかいな点は、通知がないためペナルティを受けているかどうか定かでないこと、どの記事のどの部分が問題なのかがわからないことです。そのため基本的には推測で対応を進めていかないといけません。ちなみに、手動ペナルティは受けていないようでした。

Bing ウェブマスターツールで出た問題

さて、そんなときにたまたま思い至って、Bing のウェブマスターツールに登録しました。

Bing は使ったことがなくそこまで意識していなかったのですが、Google がダメなのであれば少しでも記事が外に出る機会を増やそうと登録してみたのです。Bing のインデックス登録がどうなっているか確認し、インデックスされていない場合はリクエストをしよう、と考えました。

ここで新たな発見がありました。

Bing のウェブマスターツールで、インデックス登録されていない記事の URL を検査していると、ある記事についてこのような表示が出たんです。

検査された URL は Bing に認識されていますが、いくつかの問題があるためにインデックス作成が妨げられています。Bing Web マスター ガイドラインに従って、インデックス作成の機会を増やすことを推奨します。

なんと。

Google Search Console では各記事について「検出 - インデックス未登録」としか表示されず、それ以上にどういう状況なのかはわからないのですが、Bing ではこの記事に「問題がある」との表示。

この記事は「この日を境にインデックス登録がされなくなった」というその日、つまりカバレッジの除外で「検出 - インデックス未登録」が出現し始めた日に新しくアップした記事でした。この記事が原因で自動ペナルティを科され、その後の新しい記事がインデックス登録されなくなったと考えるのが自然かなと思い始めました。

Bing Web マスター ガイドライン は英語で記載されていますが、翻訳するとそれなりにわかりやすい日本語で読むことができます。ガイドラインの内容は Google のガイドラインとだいたい同じでしょうか。

自分の書いたことがガイドラインに違反しているというのは驚きなのですが、意図せず違反となることもあるようですね。でもガイドラインを読んでみても何が悪かったのかわかりません。

ただ、ガイドライン上の何らかの問題があるかもしれないと気づけたのは、Bing ウェブマスターツールに登録した大きな収穫でした。

記事内容に問題を見つけられなかったため、記事は一旦非公開にしました。変更した翌日、未だ状況は変わっていません。

インデックスされなくなった日に何をした？

ある日を境にインデックスされなくなったのであれば、その日の近辺に実施した何かに原因があるのでは？ とは多少考えていましたが、その日に更新した記事内容に原因があるというのは思いついていませんでした...（これもまだ仮説ですが）。

インデックスされなくなった日にしていたことを振り返ると、以下の通り。

Bing で「問題がある」とされた記事は、一旦非公開にしました。

テンプレートの修正に関しては、インデックスには関係ないだろうな... と思いつつ、HTML については以前の状態に戻しました。CSS はさすがに影響はないだろうなと思い、戻しませんでした。

Blogger 用の情報リンクサイトというのは、Blogger ブログを登録すると更新記事のリンクを貼ってくれるというサイトです。こちらは、すでに多くのサイトが登録されていますし、登録ブログをいくつかチェックしてみたところ最近の記事も問題なくインデックスされていたようなので、これが原因とは考えにくかったです。

既存記事には影響なし。自動ペナルティとは考えにくい

改めて Google の自動ペナルティというのを調べてみると、検索流入がガクッと減った、登録されていたインデックスが削除された、順位が大幅に落ちた、という現象が大部分になるようでした。

当ブログでは今のところ既存記事については影響は受けていないように思われます。この点は、ブログが自動ペナルティを受けているとするとちょっと不思議ですね（やっぱりペナルティではないのか...？）。

トップページも問題なくインデックスされていますし、過去の記事もインデックスが継続しています。もしかしたらこれから影響が出るのかもしれませんが...。

今のところ思いつく対処はやってみたので、とりあえず待っていますが、いったいいつ回復するのか不安です。

記事を書いてもほぼインデックスされないことがわかっている状態で新しく記事を書き続けるというのは精神的につらいものがあります...。

とりあえず待ってみます。

この状況は、少しずつ増えているのかも？（2021/5/14 追記）

この記事を公開してから、おふたりの方から「同じ状況になっている」とメッセージをいただきました。いずれも４月頃から、新しく更新した記事がインデックスされなくなってしまったようです。原因が見当たらない点も同様です。

Twitter で検索してみると、似たような状況っぽいつぶやきも散見されました。

この状況が、少しずつ拡大しているのかもしれません。

ただ、先日 Google のコミュニティで質問してみたところ、このような現象は他に見かけていないという回答があったので、ほとんどの人は影響を受けていないようにも思われます。

未だ既存記事のインデックスや流入は影響を受けていないことを考えると、自動ペナルティではないのかもしれません。

ペナルティではなくても、コンテンツに問題があると判断されたのかもしれません。サイト内に似たページがあるとか、サイト外で競合が多いとか、品質が低いとか。そうなると、アルゴリズムというかインデックスの基準が以前と大きく変わったのだろうかと思ってしまいます。記事内容やテーマ的には、以前とほとんど変わらない（と自分では考えている）からです。

「クロール済み - インデックス未登録」に関しては、「クロールしたけどインデックスしないよ」ということなので、品質の問題だと判断できます。

「検出 - インデックス未登録」はまだクロールされていないということなので、コンテンツ品質についてはチェックされていないはずなんですが。。

もう一ヶ月以上、新規記事はクロール自体してもらえなくなっている状況で、個別の記事品質の問題というよりサイトそのものがクロール対象から外れたような感覚です。

ただ既存記事には相変わらずクローラーは来ていて、謎です。

おそらくコンテンツの問題か（2021/6/4 追記）

その後、インデックス状況は好転していません。

原因と思われる記事を非公開にした後、一部の記事がインデックスされましたが、その後に更新した記事は基本的にインデックスされていません。

ただ１つ妙なことがあり、１記事だけ、更新後１時間ほどでインデックスされました。この記事はリクエストしていないにもかかわらず、すぐにインデックスされており、まったく謎です。特に濃いコンテンツではなく、どちらかというと内容が薄くてインデックスされなくてもしかたないね、と思われるような記事です。

当ブログの状況だけではなんとも判断しかねるのですが、同じ状況になっている方から情報共有いただいた内容も含めて考えると、今のところやはりコンテンツに問題があると考えるのが一番妥当な気がしています。

その方は、インデックスされなくなった日の記事を非公開にし、残りの記事はリライトしたことで、インデックスされたようです。

ただ当ブログでは、インデックスされない記事のタイトルや見出しをリライトしてもインデックスされていません。記事構成からやり直すか、そもそもテーマがだめなのかもしれません。

原因は複合的？ パーマリンクの修正で様子見→コンテンツ修正の対応が良さそう（2021/6/20 追記）

さて現在、インデックスはいくらか改善していると言える状況になりました。「突然インデックスされなくなったある日」以降にアップした13記事のうち、10記事はインデックスされました。

原因について明確なところは正直わかりません。ただ結果から考えてみると、インデックスされない場合、効果と負荷の観点から以下の順で対策するのが良さそうだと考えています。

以下、上記のように考えるに至ったこれまでの経過のまとめです。

• ある日突然インデックスされなくなったのは、その日にアップしたある記事Xが原因の可能性がある
  • 記事Xの更新以降、新しい記事はすべて「検出 - インデックス未登録」の状態
  • 記事Xを非公開にしたあと、新しい記事にもクローラーが来たようで、一部の記事はインデックスされた
  • しかし依然としてインデックスされない記事もある
  • これと同じ状況になった方がもう１名いる
  • 記事Xの何が問題だったかは不明。ガイドライン違反とは考えにくい
  • 一番あり得そうなのは、記事テーマがすでに多くの他サイトで扱われているために、インデックスする価値のない類似サイトと判定された可能性
  • 記事のクロールはされてないはずなので、パーマリンクの文字列から類似性を判断している？（仮説）
• インデックスに、以前より時間がかかるようになった
• 記事Xをアップした日以降、基本的にインデックスが遅い
• インデックスされる場合でも一週間ほどかかっている。サイトそのものが、インデックスの優先度を下げられたような印象
• たまに、なぜか更新直後にインデックスされる記事がある。理由は不明
• すぐにインデックスされなくてもとりあえず待ってみることが必要になった
• 一週間経ってもインデックスされない場合、まずはパーマリンクを変更してみるのが良さそう
• コンテンツを修正せずとも、パーマリンクの変更だけでインデックスされるようになった記事が複数ある。こちらの記事も参照→Search Console「検出 - インデックス未登録」問題の解決法は？ URL を変更したらインデックスされた？
• それでもインデックスされない場合、コンテンツの修正を試みる
• 記事タイトル、見出しの修正
• 修正によりインデックスされた記事もあるが、明確な修正基準は不明。。試行錯誤が必要
• インデックス済みの似た記事がある場合は、統合を検討
• インデックスされるリライト基準が不明のため、多少のリライトで改善しない場合はパーマリンクの変更を繰り返すか、諦める（待つ）しかないかも
  • 基準がわからないなかでむやみにリライトするのは不毛だし時間がもったいない。コンテンツに問題があるかどうかも不明なので

すべて登録された。結局、時間の問題だったのかも...？（2021/8/28追記）

その後、すべての記事がインデックスに登録され、ついに問題が解消されました。

何をしたかというと、特に何もせず放置していただけでした。リライトをしても登録されなかった記事はほぼ諦めており、たまーに気が向いたときに Search Console からインデックス登録をリクエストをするくらいでした。

ただ実をいうと、「検出 - インデックス未登録」になっていた記事はある時点ですべて「リダイレクトエラー」と判定され、一度は未登録記事のすべてがカバレッジでエラーに入りました。

リダイレクトエラーと言われても使っているのは Blogger（Google）のサーバーだし、リダイレクト設定なんかもしていないので、こちらでは何もできません。

どうしようもなかったので、たまにリクエストを送りつつ放置していると、その後１〜２記事ずつインデックス登録されていきました。

記事を書いてインデックス申請しても３ヶ月以上音沙汰がなかった記事も、この流れのなかでなぜかインデックス登録されていきました。きっかけとなるようなリライトもパーマリンクの変更もしていません。謎です。

なのでここまで来ると、インデックスは後回しにされたものの単純に時間の問題で登録されてなかっただけなのかも、という気になってきました。最近では、新しく更新した記事は翌日には登録されるようになってきました。もしかしたら今回の出来事は、半年くらい前に一時的な遅れが起きた、ということなのかもしれません。

その後のインデックス状況（2021/10/25追記）

現在、一部の記事はインデックスリクエストから数日で登録されます。

その他一部の記事は、リクエストしても「検出 - インデックス未登録」のまま（一週間〜一ヶ月以上）。

インデックス基準は不明ですが、体感的には次のような印象を受けています。

これまでの経験からすると、パーマリンクを変更すると登録率は上がりそうな気はしていますが、現在その対応はしていません。

パーマリンクを変更しても登録されない場合もあること、どのように変更すれば登録されるのかが不明確なこと、変更関連作業（何度も繰り返し変更してリクエストを出すこと、内部リンクの修正、リダイレクトの設定等）が面倒であること、ブログのメインカテゴリーの記事は数日以内にインデックスされることが理由です。現在は基本的に「待ち」の姿勢です。

クローラー復活？ 11月以降、新規記事すべてが登録されている

最近、インデックスされない、インデックスに時間がかかるという事象が多くのブログで起きているようです。当ブログでは半年以上前から起きていたので、かなり先駆けてますね。笑

さて世界的にそんな状況っぽいなか、当ブログでは11月に入ってから、なぜかすべての新規記事（９つ）がすぐにインデックス登録されました。アップした翌日には登録されている状況です。

基本的には更新当日にインデックスリクエストをしていますが、当日忘れて翌日にしようと思ったときにはすでにインデックスされていた、という記事も１，２個ありました。

９月〜10月にかけての時期は、特定カテゴリーの記事はすぐにインデックスされ、雑記記事はインデックスされない、という状況だったのですが、現在は雑記もなぜかすぐにインデックスされます。

インデックスされる理由は不明で、以前と比べて何か特別な対応をしたわけではないので参考になる情報がなくて申し訳ないのですが...。強いて言えば、これまでインデックスされなくてもブログの更新は続けていたので、記事が蓄積されていったというのがあるかもしれない。

ただ、９月〜10月にアップした雑記記事は未だにインデックスされません。こちらは数日おきくらいにリクエストを送っていますが放置され続けています。記事の質としては、11月にアップした記事とほとんど変わりません。

最近、インデックス基準が以前よりも厳しくなっているようだと Google が言っているようですが、

Googleにインデックスされないのは品質の水準が以前よりも厳しくなったためか？ | 海外SEO情報ブログ

私のブログでは、11月以降の記事がそれまでの記事より質が高いとは思えず、よくわかりません。

それに最近では Indexing API というのが注目されているようで、これを使うとすぐにインデックスされるらしい。本来の使われ方とは異なるようですが。でも申請手段を変えるとすぐに登録されるのであれば、やっぱり質の問題じゃないのでは？ という気もしてしまいます（一定以上の質であれば）。

記事の質というより、クローラーのリソースがかなり絞られたという要素が大きいのかなと感じます。アクセスが集まるブログ、新しいキーワードの記事にクローラーを集中させ、それ以外の個人ブログや既存キーワードの記事は超長い順番待ちを強いられるようになった、みたいな感じです。※個人的な印象です

長期インデックス未登録だった記事が、突然インデックスされた（2022/2/25、4/13）

2021年10月にアップして、その後まーったくインデックスされる気配がなかった記事が２月の頭に突然インデックスされました。

パーマリンクを変更したわけでもなく、リクエストを送信していたわけでもありません。

もうインデックスはされない記事として諦めていたのですが、２月頭のクロールでなぜか突然インデックスされていることに気づきました。４ヶ月後のインデックス登録です。

同じようにインデックスされていない記事はまだ３記事残っているんですが、放置していても時間が経てばいつかインデックスされるのかも... と少し期待が持てるような気がしてきました。

※追記（2022/4/13）

４月の頭にさらにもう１記事、突然インデックスされていました。こちらも、特に何の対応もせずに放置していたものです。

これで「インデックスされない期間にアップして、その後新規記事がインデックスされるようになったあとも未登録のままの記事」は残り２つになりました。