SEOの実験やデータ分析など公開

ディーボのSEOラボ

  • 会社情報

Googleクローラーとは?クロールリクエストや申請依頼の方法など徹底解説!

SEO

Googleクローラーとは、Googleの検索エンジンで検索結果を表示するために、Webサイトの情報を収集する自動巡回プログラム(ロボット)のことです。「Googlebot」とも呼ばれ、Google社が使用するWeb上を巡回するクローラーです。
このGoogleクローラーにクロールリクエストする(クローリングや再クロールの申請依頼をする)には、基本的にサーチコンソールを活用します。
クロールのリクエストがうまくいけば、SEOの良い効果が期待できます。

\申し込みは簡単!今なら、調査結果資料無料配布中!SEO無料調査を申し込む

一方、Googleクローラーにクロールをリクエストしなければ、クローラーの巡回を促せません。
とくにリンク構造が貧弱なサイトやコンテンツの品質が低いサイトは、クローラビリティが悪いのでWebページにクローラーが巡回しづらいです。
つまり、クロール頻度が上がりません。
そうなれば、Webページがちゃんとインデックスされない可能性が高まります。
結果、検索結果に表示されなかったり、中途半端にクロールされたコンテンツ内容のWebページがインデックスされて検索順位が上がりきらないというわけです。

こうした良くない状況を回避する為に、Googleクローラーにクロールをリクエストして、適宜インデックス登録を促しましょう。

この点踏まえて今回は、Googleクローラーの意味やGoogleにクロールリクエスト(申請依頼)する方法など中心に、初心者にもわかりやすくポイントをまとめて解説したいと思います。

Googleクローラーとは?クロールリクエストや申請依頼の方法など徹底解説!
\申し込みは簡単!今なら、調査結果資料無料配布中!SEO無料調査を申し込む

Googleクローラーとは?

Googleクローラーとは、Webページのコンテンツ内容を読み取るためのロボットのことで、Googleのメインクローラーを「Googlebot」と呼ぶ

Googleクローラーとは、Googleの検索エンジンで検索結果を表示するために、Webサイトの情報を収集する自動巡回プログラム(ロボット)のことです。「Googlebot」とも呼ばれ、Google社が使用するWeb上を巡回するクローラーです。
もう少し言うと、Webページの存在やそのWebページにはどんな内容が掲載されてるのか?を読み取って、その情報を専用のGoogleデータベースに格納するまでの過程をクローラーが行います。

このGoogleのクローラーには、幾つか種類があり、とくにメインのクローラーを「Googlebot」と呼びます。
つまり、Googlebotと呼ばれるクローラーが私たちのWebサイトを巡回して、Webサイト内の新規ページや更新された既存ページのコンテンツ内容を読み取り、それらのWebページに書かれてる最新の情報をGoogleの検索エンジンにインデックスする形になります。

しかし、Webサイトの運用状況によっては、サイト内のWebページ(ブログ記事)がうまくクロールされずに、Googleの検索エンジンにインデックスされないケースがあります。
そのような場合は、Googleにクロールをリクエストして、自分のサイトにクローラーを半ば強制的に呼び込むことで、Webページの存在を認識させてインデックスを促進するようにします。

このように、クローラーが巡回しずらい状況は、どのサイトにも少なからずあります。
なので、検索結果に自分のWebページが表示されない、コンテンツ内容を更新したのに検索結果上でその内容が更新されてないといったことがあれば、Googleに適宜クロールをリクエストして、最新のコンテンツ内容を綴ったWebページのインデックスを促しながら、SEO対策を進めていくことが重要となります。

\申し込みは簡単!今なら、調査結果資料無料配布中!SEO無料調査を申し込む

Googleクローラーにクロールをリクエストする方法

主にサーチコンソールの機能を使ってGoogleのクローラーに巡回申請する

先述でも少し触れてますが、自分のサイトのWebページが検索エンジンにインデックスされない場合、主にサーチコンソールの機能を使ってGoogleクローラーにクロールをリクエストして、そのWebページへクローラーを呼び込み、インデックス促進することが可能です。
そうすれば、検索結果に表示されなかったWebページやコンテンツ内容を更新した最新のWebページがインデックスされるようになり、Webサイトのパフォーマンス向上が改めて見込めるようになります。

このような点踏まえて、ここでは、Googleクローラーにクロールをリクエストする方法について、初心者にも分かるようにポイントをまとめて触れていきたいと思います。

  • XMLサイトマップを送信する
  • URL検査ツールを活用する
\申し込みは簡単!今なら、調査結果資料無料配布中!SEO無料調査を申し込む

XMLサイトマップを送信する

Googleクローラーにクロールをリクエストするには、XMLサイトマップを送信します。

XMLサイトマップを送信するには、サーチコンソールにログイン後、メニューの「インデックス」から「サイトマップ」をクリックし、「新しいサイトマップの追加」であらかじめ作成して本番環境にアップロード済みのXMLサイトマップファイル(sitemap.xml)のURLを記述して、「送信」する形になります。

XMLサイトマップを送信する方法

このように、XMLサイトマップのURLを送信することで、そのXMLサイトマップのファイル内に記述されてるWebサイト内の各ページのURLからそれらのコンテンツ内容をクロールするように、Googleのクローラーに巡回申請を行うことができます。
そして、うまくそれらのページがクロールされれば、新規ページや更新したWebページが検索エンジンへインデックスされやすくなります。

ちなみに、このセクションの冒頭でも触れてますが、まずはXMLサイトマップを作成しないと、そのファイルを送信することが出来ません。
なので、XMLサイトマップを作成してない場合は、sitemap xml editorなどの無料ツールを活用したり、WordPressでサイト運用してれば「Google XML Sitemaps」のプラグインを導入するなどの方法で、まずsitemap.xmlファイルを作り、そのファイルを本番環境に設置してURLでアクセスできる状態にしておきましょう。

また、新規ページが追加された際に、XMLサイトマップが自動的に更新されて新しいページURLが追加されるようなファイルの仕組みにしておくとよいでしょう。
そうしておけば、新規ページも自動的にどんどんクロールされるようになるので、インデックスされやすいサイトが運用できるようになります。

URL検査ツールを活用する

Googleクローラーにクロールをリクエストするには、サーチコンソールのURL検査ツール(旧:Fetch as Google)を活用します。

サーチコンソールにログイン後、メニューの「URL検査」をクリック後、上部の検索窓にクローラーを呼び込んでインデックス登録を促進したいページURLを入力します。
すると、下部に、入力したページURLのインデックス登録状況が表示されるので、その部分にある「インデックス登録をリクエスト」のアンカーテキストをクリックすれば、Googleにクロールをリクエストできます。

URL検査ツールを活用して、インデックス登録をリクエストする方法

上記で紹介した例は、すでにインデックス登録された既存ページに対して、クロールのリクエストをしてる形です。なので、「URLはGoogleに登録されています」の文言が表示されます。
仮に、新規ページのようにまだインデックスされてないページURLの場合は、「URL が Google に登録されていません」と表示されますが、同様に「インデックス登録をリクエスト」のアンカーテキストのリンクが出現するので、そのリンクをクリックすれば新規ページもGoogleクローラーにクロールをリクエストして、インデックス登録を促すことができます。

\申し込みは簡単!今なら、調査結果資料無料配布中!SEO無料調査を申し込む

Googleクローラーにクロールをリクエストしたらクロール頻度を確認しよう

Googleにクロールをリクエストしたらクロール頻度を確認しましょう。

  • 検索結果のキャッシュリンクを確認する
  • サーチコンソールのクロールの統計情報から確認する

検索結果から確認する

クロール頻度を確認するには、検索結果のキャッシュリンクを確認します。

ここまで紹介したような方法で、Googleにクロールをリクエストした後、対象のWebページ、またそのWebページの最新のコンテンツ内容が検索エンジンにちゃんとインデックス(認識・更新)されたか否かを確認してみましょう。
そのためには、まず対象のWebページのURLを実際に検索窓に入力して、検索してみます。

GoogleにクロールをリクエストしたWebページがインデックス登録・更新されたか確認する方法

上記のように、入力したURLの対象となるWebページが検索結果に表示されていれば、しっかりGoogleにインデックス登録されてるということになります。

また、既存のWebページのコンテンツ内容を更新して、その新しいコンテンツ内容が検索エンジンにインデックス登録されてるか否かを確認するには、上記画像にあるページURL横の矢印をクリックすることで表示される「キャッシュ」リンクをクリックします。
すると、「○年●月●日に取得されたものです。」と文言が表示されるので、その表示された取得日付でGoogleがWebページのコンテンツ内容を更新してるかどうかの有無を確認することができます。

また、BingのようにGoogle以外の検索エンジンでもキャッシュリンクのような機能があり、そのキャッシュリンクからWebページの登録・更新を確認できます。
かといって、Googleにクロールをリクエストしたのにも関わらず、Bingの検索エンジンからキャッシュリンクを確認しても、全然意味がありません。
「googlebot」「Yahoo Slurp」「bingbot」のように検索エンジンごとに巡回してるクローラーが異なるので、巡回申請したクローラーの対象となる検索エンジンでキャッシュリンクを確認する必要があります。

つまり、Googleにクロールをリクエストしたのであれば、Googleの検索エンジンでキャッシュ等を確認してWebページの登録・更新情報をチェックすることが重要となります。

サーチコンソールのクロールの統計情報から確認する

クロール頻度を確認するには、サーチコンソールのクロールの統計情報から確認します。

例えば、サーチコンソールにログイン後、メニューから「設定」をクリックします。
そして、クロールのクロール統計情報から「レポートを開く」をクリックします。

Googleサーチコンソールでクロールのクロール統計情報から「レポートを開く」をクリック

すると、クロールの統計情報の「グラフ」や「クロールリクエストの詳細」が確認できます。

Googleサーチコンソールでクロールの統計情報の「グラフ」や「クロールリクエストの詳細」が確認できる

つまり、Googleクローラーにクロールをリクエストした後に、どの程度クロールされてるか?といったクロール頻度が確認できるというわけです。

\申し込みは簡単!今なら、調査結果資料無料配布中!SEO無料調査を申し込む

まとめ:Googleクローラーにクロールをリクエストして、適宜インデックス登録を促そう

Googleクローラーにクロールをリクエストして、適宜インデックス登録を促しましょう。

一方、クロールをリクエストしなければ、クローラーの巡回が促せません。
とくにリンク構造が貧弱なサイトやコンテンツの品質が低いサイトは、クローラビリティが悪いのでWebページにクローラーが巡回しづらいです。
そうなれば、Webページがちゃんとインデックスされない可能性が高まります。
結果、検索結果に表示されなかったり、中途半端にクロールされたコンテンツ内容のWebページがインデックスされて検索順位が上がりきらないというわけです。

こうした悪い状況を回避する為に、Googleクローラーにクロールをリクエストして、適宜インデックス登録を促しましょう。

SEO対策しても検索順位が上がらない…なぜ?

検索順位の推移

SEO対策しても検索順位が上がらない…なぜ?

検索順位が上がらない理由は、SEO対策の質が低いからです。

例えば、ユーザーの検索意図を無視したり、関連性の低いコンテンツを増やす、内部リンクの最適化など疎かにします。
この場合、SEO対策の質が下がります。
そうなれば、ページやサイト自体の品質が上がらないので、Googleに評価されづらくなります。
結果、検索順位が上がらないというわけです。

こうした悪い状況を回避する為に、サイトの欠点を調査して上位化に必要な対策をご案内します(無料)。

検索順位を上げたり、検索流入を増やすにはSEOが重要!

SEOラボのおすすめ記事がLINEに届く「SEOラボを友だち追加」