SEOに関する実験やデータ分析などを公開します

SEOの疑問を実験で解明しブログ配信【SEOラボ】

Googleにインデックスされない原因と対策方法について

2018/10/02 2018/10/11

Google検索エンジンの検索結果に作成したWebページがインデックスされないケースがあります。
これは、いくつかの原因が考えられますが、とくに多いとされるのが貧弱なリンク構造による「クローラビリティ」の低さです。

つまり、Webページの巡回に必要なリンク(内部リンクや外部リンク)が少ないことで、クローラーがうまくその対象ページを見つけることが出来ないことがGogoleにインデックスされない原因の1つとなります。

この点踏まえて、今回は、Googleにインデックスされない原因と対策方法について中心に、初心者にもわかるようにポイントをまとめて解説したいと思います。

Googleにインデックスされない原因と対策方法について

Googleにインデックスされない原因と対策方法について

Googleにインデックスされない根本的な原因は、 リンク構造の貧弱さによるクローラービリティの低さである

Googleにインデックスされない原因は、いくつかの理由が考えられますが、根本的にはリンク構造に問題があるケースが多く見られます。
もう少し言うと、サイト内外からのリンクのつながりが少ないページ(ブログ記事)は、リンクを辿って巡回するクローラーにWebページを見つけてもらえないので、そうなれば結果的にそのページはインデックスされずらい状況となります。
このような状況に陥りやすいサイトのタイプとしては、主に、新規ドメインのサイトや関連リンクを差し込んでないサイト、外部対策をしてないサイトです。

この点踏まえて、Googleにインデックされない原因について対策方法と合わせてポイントをまとめて触れていきたいと思います。

Googleガイドライン違反によるペナルティを受けてる

Googleガイドライン違反部分を修正し、 再審査リクエストを送信してペナルティを解除しよう!

Googleのウェブマスター向けガイドライン(品質に関するガイドライン)に記載ある内容に違反してWebサイトを構築することで、ペナルティを受けて、サイトの評価を落とすことに繋がります。
そして、サイトの評価が落ちることで、検索順位の大幅な下落、最悪、Googleの検索結果に自分のWebサイトがインデックスされなくなります。>(インデックス削除される)

ちなみにGoogleガイドラインの違反項目となるやってはいけない行為は、以下のように公式に挙げられてます。

  • コンテンツの自動生成
  • リンク プログラムへの参加
  • オリジナルのコンテンツがほとんどまたはまったく存在しないページの作成
  • クローキング
  • 不正なリダイレクト
  • 隠しテキストや隠しリンク
  • 誘導ページ
  • コンテンツの無断複製
  • 十分な付加価値のないアフィリエイト サイト
  • ページへのコンテンツに関係のないキーワードの詰め込み
  • フィッシングや、ウイルス、トロイの木馬、その他のマルウェアのインストールといった悪意のある動作を伴うページの作成
  • リッチ スニペット マークアップの悪用
  • Google への自動化されたクエリの送信

※引用元:ウェブマスター向けガイドライン(品質に関するガイドライン) – Search Console ヘルプ

このような行為は避けて、Googleガイドラインに沿ってユーザーの利便性を考慮したWebサイトを構築するようにしましょう。

仮にペナルティを受けてしまった場合、そのペナルティの原因となる部分を改善して、サーチコンソール上から再審査リクエストを送信し、ペナルティを解除するようにしましょう。
そうすることで、検索順位が元に戻り、インデックスされない状況が改善されて、Google検索結果に自分のWebサイトが表示されるようになります。(インデックス登録されます)

関連記事Googleペナルティのチェック確認・解除方法と原因まとめ

robots.txtの設定で、クロール拒否の記述をしてる

クロール拒否の記述「disallow」を削除して、 そのrobots.txtファイルをGoogleに再認識させよう!

robots.txtファイルの記述の中に、クロールを拒否する「disallow」の記述がされると、結果的にGoogleにインデックスされない状況に陥ります。

robots.txtでのクロール拒否の記述例:

このような記述がされてることで、「disallow」で指定されたURLの対象ページや対象ディレクトリは、User-Agentで指定されたクローラーにクロールされなくなり、それらの対象ページや対象ディレクトリは、Googleにインデックスされない状況となります。
ちなみに、上記のUser-Agentで記述してる「*(ワイルドカード)」は全てのクローラーを指しますが、「Googlebot」を記述すると、Googleのクローラーのみに、クロール拒否を指定する形になります。

このような記述が、robots.txtにされないか確認し、もし記述されていれば、その部分を削除した上でrobots.txtを再度アップロードし、内容を改善したrobots.txtファイルを改めてGoogleに認識させるようにしましょう。
そうして、うまく認識されれば、Googleにインデックスされて検索結果に自分のWebサイトが表示されるようになるはずです。

関連記事robots.txtとは?書き方などわかりやすく解説

meta robotsタグの記述で、noindexを指定してる

noindexが指定されたmeta robotsタグを削除して、 そのHTMLファイルをGoogleに再認識させよう!

HTMLファイルのmeta robotsタグで、検索結果にインデックスさせない指定ができる「noindex」属性値を記述していれば、その記述をした該当のWebページはGoogleにインデックスされない状況に陥ります。

noindexの記述例:

このような記述がなされたWebページがあれば、そのページは、検索結果に表示されないので該当ページから「noindex」が記述されたmeta robotsタグを削除しましょう。
そうして、noindexを取り除いたWebページを、サーチコンソールの「Fetch as Google」を活用して、インデックス登録を促せば、より迅速に該当ページがGoogleにインデックスされて、検索結果に表示されるようになります。

関連記事noindexとは?SEO効果を高める使い方について

canonicalタグの記述でURL正規化の指定が間違っている

間違って記述したcanonicalタグのURLを修正して、 そのHTMLファイルをGoogleに再認識させよう!

重複コンテンツの対策手段の1つとしてcanonicalタグを利用して、URLを正規化することがよくあります。

一般的には、全く同様のコンテンツ内容のWebページに複数のURLでアクセスできるケースが多く、そうなると、とくに被リンクが付くページURLが分散してしまうので、それを1つのURLに統一(URL正規化)する必要があり、最もGoogleに評価してもらいたいWebページのURLをcanonicalタグで記述するようにします。
ですが、この場合に、Googleにもっとも評価してもらいたいWebページのURLの記述を間違えてしまうと、その記述したURLを対象にGoogleはクロールして、評価し、インデックス登録することになります。
そうなれば、結果的に自分がもっとも評価してほしいページURLがGoogleにインデックスされない状況となり、canonicalタグに間違って記述したURLがインデックスされる可能性があるということです。

なので、これに関しては、間違えて記述しないように、canonicalタグに記述したURLを見直したうえで、ファイルをアップロードして、Googleに認識させることが重要な対策ポイントとなります。
もし、間違えてしまった場合は、そのURLを最も評価してもらいたいURLに修正して記述しなおし、ファイルをアップロード後、サーチコンソールの「Fetch as Google」機能を活用して、そのファイルのインデックス登録を促進しておくようにしましょう。

例えば、同じコンテンツにアクセスできる複数のURLとしては、以下のようなパターンがあります。

  • http://example.com
  • http://example.com/index.html
  • http://www.example.com

そして、上記の同じコンテンツにアクセスできるURLの中から、Googleに最も評価してもらいたい1つのURLを自ら決めて、以下のようにcanonicalタグに記述するようにしましょう。

このような方法と合わせて、サーチコンソールのサイト設定から使用するドメインを保存したり、.htaccessファイルを活用して正規化したいURLに301リダイレクトをかけるなどの対策と合わせて、正しくURLを正規化しながら、その重要なURLをGoogleにインデックスさせることがSEO対策のポイントとなります。

貧弱なリンク構造によってクローラーが巡回しずらくなってる(新規ドメインのサイトなど)

被リンクや内部リンクを充実させて、 Webサイトのリンク構造を最適化しよう!

基本的に、クローラーはリンクを辿りながらWebサイト内の各Webページを見つけて、そのページのコンテンツ内容を読み取り、最終的にGoogle検索エンジンにインデックスします。
なので、被リンクや内部リンクといったリンクをある程度充実させないと、クローラーにサイト内のWebページを見つけてもらえず、Googleに特定のWebページがインデックスされない状況に陥る可能性があります。

このような状況を防ぐために、TOPページなどのトラフィックが集まってるページからリンクを張ったり、SNSを活用して被リンク獲得を促すなどの対策を施す必要があります。

とくに、新規ドメインの場合は、ページ数が少ないことによるリンク構造の貧弱さから、クローラーがサイト内を巡回して各Webページのインデックスに至るまで時間を要する可能性が高いです。
もう少し言うと、新規ドメインの場合は、そのドメイン自体が検索エンジンに認識されるまで一定の期間を要するということを、Googleの中の人が言及してます。

新規ドメインだけがインデックスされずらいわけではありません。
たとえ運用歴が長いドメインでも、リンク構造の貧弱さによって、クローラーが巡回できないWebページも出てくるため、結果的にそのWebページはGoogleにインデックスされないということが起こります。

このようなことから、被リンクや内部リンクを充実させて、ページ間においてクローラーが流れ込みやすい道筋を作り、重要なWebページがGoogleにインデックスされやすいようなリンク構造にすることが対策のポイントです。
もう少し言うと、良質なコンテンツを持つWebページを増やし、その増やしたWebページ同士が関連性の高いものであれば、内部リンクも構築しやすくなります。
そうなれば、最終的にクローラーが巡回しやすいWebサイトを運用することができるので、ドメインに付随する各下層のWebページがGoogleにインデックスされやすくなります。

ペナルティを受けてる中古ドメインでサイト運用してる

リスクを伴う中古ドメインでのサイト運用は控えて、 はなから新規ドメインでサイト運用するのが賢明!

SEOの知識が少しあると、中古ドメインを購入して、ドメインパワーがある程度備わったドメインでサイト運用するケースがあります。
中古ドメインによるサイト運用は、そのドメインの運用歴にもよりますが、新規ドメインでサイト運用を始めるよりも、SEO効果が高く、キーワード順位が付きやすいといったメリットが見込めます。

このような中古ドメインには、過去にペナルティを受けてるものもあり、ペナルティ解除に至ってない場合は、いくらWebページを公開しても、そのWebページはGoogleにインデックスされない状況となります。
なので、中古ドメインですでにサイト運用しており、Googleにインデックスされずらい場合は、サーチコンソール上にペナルティのメッセージが届いてないか?確認することがまず重要です。
もし、ペナルティの通知が届いていれば、その通知内容に従ってサイトを修正し、再審査リクエストを送信して、ペナルティ解除されるのをまず待ちましょう。
ペナルティが解除されれば、既存のWebページや新規Webページが通常通り、Googleにインデックスされるようになるはずです。

このようなことから、中古ドメインでサイト運用する際は、中古ドメインを購入する前に過去のドメイン運用履歴をちゃんと調査したうえで、とくにペナルティを受けた形跡がないか?など考慮しましょう。
しかし、中古ドメインは、実際に購入してサイト運用してみないと、そのドメインの全てのパフォーマンス(良し悪し)を把握することが難しい場合があります。
なので、このような中古ドメインのリスクを考慮したうえでより良質なドメインを見極める技術が必要となります。
これは難易度が高いので、はなから新規ドメインでサイト運用し、確実に良質なドメインでGoogleにインデックスされやすいサイトを運用することが賢明と言えます。

.htaccessファイル等にX-Robots-Tagを記述して、インデックス登録しないように設定してる

.htaccessファイル等に記載してるX-Robots-Tagのnoindexを削除して、 そのファイルをGoogleに再認識させよう

通常、Webページでは、HTMLソースコードにmeta robotsタグでnoindexをマークアップすることで、Googleにインデックスされないように設定できます。
ですが、PDFファイルなどのHTMLタグが記述できないファイルでは、meta robotsタグによるnoindexが指定できないため、代わりに.htaccess等にX-Robots-Tagでnoindexを記述して、Googleにインデックスされないように設定してるケースがあります。

.htaccessファイルでのX-Robots-Tagの記述例(PDFファイルをインデックスさせない場合):

※参考:robots メタタグと X-Robots-Tag HTTP ヘッダーの仕様  |  検索  |  Google Developers

このようにX-Robots-Tagを使った指定が、.htaccessファイルやhttpd.confファイル、HTTPヘッダーにおいて記述されてるか?確認し、もし記述していれば、その該当部分を削除することで、その記述によってインデックスされていなかったWebページがGoogleにインデックスされるようになるはずです。

Webサーバーの不具合による500エラーでサイトが閲覧できない

サーバーへの負荷を緩和したり、 長期メンテナンス時には503エラーを返して適切に明示するなどして、 サイトの質を落とさないようにしよう!

サイトを運用していると、ファイルサイズ過多でWebサーバーに負荷がかかり、容量オーバーによる500エラーによってサイトが閲覧できなくなるケースがあります。
このような状況が長時間続けば、クローラーがそのWebページのコンテンツをうまくクロールすることができないため、結果的にそのWebページがGoogleにインデックスされない状態となります。

仮に、WordPressなどのCMSをアップデートしたり、サーバー保守のためのサーバー再起動などの短時間のメンテンナスが行われた場合、数秒間その対象のWebサイトにアクセスできないので、そのタイミングでクロールされれば500エラーとなります。
ですが、このようなケースの500エラーはよくあることなので、Googleにインデックスされないといった大きな問題にはなりずらいです。

問題となるのは、長時間の500エラーで意図的なメンテナンスであれば、503エラーを返す処理を施せばGoogleに明示することができるので、影響を軽減することが可能です。
ですが、このような処理を施さずに、長時間の500エラーとなった場合は、最悪、対象ページがGoogleにインデックスされないといったことになるでしょう。

なので、日ごろからサイトの挙動に気を配ってページの読み込み速度が遅かったらファイルサイズを軽減してサーバーへの負荷を緩和したり、長期メンテンナスであれば適切なHTTPステータスコード(503エラー)を返すようにするなどして、Googleからの評価を落とさないようなサイト運用を行っていくことが、Googleにインデックスされるためのポイントと言えます。

関連記事サイトのページ表示速度を測定して改善しよう

Webサイト自体の質が低い

ユーザーファーストを考慮したコンテンツを増やして、 Webサイト自体の質を上げよう!

低品質なコンテンツがWebサイト内に多く存在すれば、そのサイト自体の質が低いとGoogleに判断されて、クロール頻度が下がり、結果的にそのサイト内のコンテンツがGoogleにインデックスされない状況に陥る可能性があります。

サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。

新しい情報を大量に追加した場合や、サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。

※引用元:クロールの統計情報レポート(ウェブサイト) – Search Console ヘルプ

このように、基本的に、質の高いサイトはクローラーが良く巡回するようになり、クロール頻度が高くなるので、公開したWebページがGoogleにインデックスされやすくなります。 さらにサイトの質を上げてGoogleにより評価されれば、最終的には、関連する多くの検索クエリでインデックスされたり、同検索クエリで複数ページインデックスされるようになるので、検索流入の拡大によるWeb集客の加速が見込めます。
そのためには、ユーザーの検索意図を考慮した検索クエリと関連性の高いコンテンツを増やして、サイト自体の質を上げ、クロールされやすくインデックスされやすいサイトにしながら、SEO対策を進めることがポイントとなります。

Googleにインデックスされやすくするための豆知識

「XMLサイトマップ」と「Fetch as Google」を活用して、 Google検索エンジンへのインデックス登録を促進しよう!

根本的かつ基本的に、WebサイトがGoogleにインデックスされやすいものにするためには、良質なコンテンツを増やしてサイト自体の質を上げたり、クローラーが辿るための自サイトへのリンク、自サイト内のリンクを充実させる必要があります。
そして、これらの補助的な対策として、「XMLサイトマップの設置」と「Fetch as Googleの活用」により、GoogleへWebページのインデックスを促進することができます。

この点踏まえて、ここでは、Googleにインデックスされやすくするための豆知識についてポイントをまとめて触れていきたいと思います。

関連記事Googleのクローラーに巡回申請する方法について

XMLサイトマップを活用する

サイトマップには、「HTMLサイトマップ」と「XMLサイトマップ」の2種類がありますが、クローラビリティを上げてWebページのインデックスを促進するためのファイルとなる「XMLサイトマップ(sitemap.xml)」を積極的に設置しましょう。

このXMLサイトマップファイルを作成してアップロードし、本番環境に設置後、サーチコンソールのサイトマップ機能から送信しておくことで、Googleにそのファイルが認識されるようになります。
そうすれば、そのファイルに記載されたWebページのURLに対してクローラーが巡回しやすくなるので、結果的にGoogleにインデックスされやすくなります。

このようにWebページをより確実にインデックスさせるために、XMLサイトマップをサイトを公開する初期段階で取り入れておくことがおすすめです。
ちなみに、WordPressでブログサイトを運用するのであれば、専用のプラグイン「Google XML Sitemaps」を導入することで自動的にXMLサイトマップが更新されるので、運用の手間が省けて効率化に繋がります。

Fetch as Googleを使う

サーチコンソールの機能の1つである「Fetch as Google」を使うことで、指定したWebページのURLに対して、クローラーを呼び込んでGoogleの検索結果にインデックス登録を促すことができます。
これをよく使うケースとしては、「ブログ記事をリライトした場合」と「新規ページを公開した場合」です。

仮に、いくら被リンクや内部リンクが充実してるサイトといえども、新たなコンテンツ内容がなかなかクロールされずにインデックスされないこともあるので、補助的に「Fetch as Google」を利用して、新たなコンテンツへクローラーを呼び込み検索エンジンへのインデックスを促すことが基本的に重要な対策となります。

関連記事Fetch as Googleの使い方とSEO効果について

まとめ

今回紹介したようなGoogleにインデックスされない原因を参考に、その原因に合わせて適切な対策を施しましょう。

また、良質なコンテンツを増やしてサイトの質を上げたり、リンク構造を最適化するなどして根本的にクロールされやすくGoogleにインデックスされやすいサイトにすることが大切です。
そうすれば、公開したコンテンツがより早く上位化して、その分検索流入が見込めるので、Web集客の加速につながります。

ただGoogleにインデックスされやすければ良いというわけではありません。
ユーザーの利便性を考慮した検索クエリと関連性の高いコンテンツを公開して、そのコンテンツがしっかりインデックスされるようにすることがSEOにおいて重要であり、上位化を目指すためのポイントとなります。

関連記事SEO対策とは?SEOの対策ポイントについて

SEOラボのおすすめ記事がLINEに届く!「SEOラボを友だち追加する」

カテゴリから記事を探す

SEO対策無料ご提案はこちら