Googleクローラーとは？クロールリクエストや申請依頼の方法など徹底解説！

Googleクローラーとは、Googleの検索エンジンで検索結果を表示するために、Webサイトの情報を収集する自動巡回プログラム(ロボット)のことです。「Googlebot」とも呼ばれ、Google社が使用するWeb上を巡回するクローラーです。
このGoogleクローラーにクロールリクエストする(クローリングや再クロールの申請依頼をする）には、基本的にサーチコンソールを活用します。
クロールのリクエストがうまくいけば、SEOの良い効果が期待できます。

一方、Googleクローラーにクロールをリクエストしなければ、クローラーの巡回を促せません。
とくにリンク構造が貧弱なサイトやコンテンツの品質が低いサイトは、クローラビリティが悪いのでWebページにクローラーが巡回しづらいです。
つまり、クロール頻度が上がりません。
そうなれば、Webページがちゃんとインデックスされない可能性が高まります。
結果、検索結果に表示されなかったり、中途半端にクロールされたコンテンツ内容のWebページがインデックスされて検索順位が上がりきらないというわけです。

こうした良くない状況を回避する為に、Googleクローラーにクロールをリクエストして、適宜インデックス登録を促しましょう。

この点踏まえて今回は、Googleクローラーの意味やGoogleにクロールリクエスト(申請依頼)する方法など中心に、初心者にもわかりやすくポイントをまとめて解説したいと思います。

Googleクローラーとは？

Googleクローラーとは、Googleの検索エンジンで検索結果を表示するために、Webサイトの情報を収集する自動巡回プログラム(ロボット)のことです。「Googlebot」とも呼ばれ、Google社が使用するWeb上を巡回するクローラーです。
もう少し言うと、Webページの存在やそのWebページにはどんな内容が掲載されてるのか？を読み取って、その情報を専用のGoogleデータベースに格納するまでの過程をクローラーが行います。

このGoogleのクローラーには、幾つか種類があり、とくにメインのクローラーを「Googlebot」と呼びます。
つまり、Googlebotと呼ばれるクローラーが私たちのWebサイトを巡回して、Webサイト内の新規ページや更新された既存ページのコンテンツ内容を読み取り、それらのWebページに書かれてる最新の情報をGoogleの検索エンジンにインデックスする形になります。

しかし、Webサイトの運用状況によっては、サイト内のWebページ（ブログ記事）がうまくクロールされずに、Googleの検索エンジンにインデックスされないケースがあります。
そのような場合は、Googleにクロールをリクエストして、自分のサイトにクローラーを半ば強制的に呼び込むことで、Webページの存在を認識させてインデックスを促進するようにします。

このように、クローラーが巡回しずらい状況は、どのサイトにも少なからずあります。
なので、検索結果に自分のWebページが表示されない、コンテンツ内容を更新したのに検索結果上でその内容が更新されてないといったことがあれば、Googleに適宜クロールをリクエストして、最新のコンテンツ内容を綴ったWebページのインデックスを促しながら、SEO対策を進めていくことが重要となります。

Googleクローラーにクロールをリクエストする方法

先述でも少し触れてますが、自分のサイトのWebページが検索エンジンにインデックスされない場合、主にサーチコンソールの機能を使ってGoogleクローラーにクロールをリクエストして、そのWebページへクローラーを呼び込み、インデックス促進することが可能です。
そうすれば、検索結果に表示されなかったWebページやコンテンツ内容を更新した最新のWebページがインデックスされるようになり、Webサイトのパフォーマンス向上が改めて見込めるようになります。

このような点踏まえて、ここでは、Googleクローラーにクロールをリクエストする方法について、初心者にも分かるようにポイントをまとめて触れていきたいと思います。

• XMLサイトマップを送信する
• URL検査ツールを活用する

XMLサイトマップを送信する

Googleクローラーにクロールをリクエストするには、XMLサイトマップを送信します。

XMLサイトマップを送信するには、サーチコンソールにログイン後、メニューの「インデックス」から「サイトマップ」をクリックし、「新しいサイトマップの追加」であらかじめ作成して本番環境にアップロード済みのXMLサイトマップファイル（sitemap.xml）のURLを記述して、「送信」する形になります。

このように、XMLサイトマップのURLを送信することで、そのXMLサイトマップのファイル内に記述されてるWebサイト内の各ページのURLからそれらのコンテンツ内容をクロールするように、Googleのクローラーに巡回申請を行うことができます。
そして、うまくそれらのページがクロールされれば、新規ページや更新したWebページが検索エンジンへインデックスされやすくなります。

ちなみに、このセクションの冒頭でも触れてますが、まずはXMLサイトマップを作成しないと、そのファイルを送信することが出来ません。
なので、XMLサイトマップを作成してない場合は、sitemap xml editorなどの無料ツールを活用したり、WordPressでサイト運用してれば「Google XML Sitemaps」のプラグインを導入するなどの方法で、まずsitemap.xmlファイルを作り、そのファイルを本番環境に設置してURLでアクセスできる状態にしておきましょう。

また、新規ページが追加された際に、XMLサイトマップが自動的に更新されて新しいページURLが追加されるようなファイルの仕組みにしておくとよいでしょう。
そうしておけば、新規ページも自動的にどんどんクロールされるようになるので、インデックスされやすいサイトが運用できるようになります。

URL検査ツールを活用する

Googleクローラーにクロールをリクエストするには、サーチコンソールのURL検査ツール（旧：Fetch as Google）を活用します。

サーチコンソールにログイン後、メニューの「URL検査」をクリック後、上部の検索窓にクローラーを呼び込んでインデックス登録を促進したいページURLを入力します。
すると、下部に、入力したページURLのインデックス登録状況が表示されるので、その部分にある「インデックス登録をリクエスト」のアンカーテキストをクリックすれば、Googleにクロールをリクエストできます。

上記で紹介した例は、すでにインデックス登録された既存ページに対して、クロールのリクエストをしてる形です。なので、「URLはGoogleに登録されています」の文言が表示されます。
仮に、新規ページのようにまだインデックスされてないページURLの場合は、「URL が Google に登録されていません」と表示されますが、同様に「インデックス登録をリクエスト」のアンカーテキストのリンクが出現するので、そのリンクをクリックすれば新規ページもGoogleクローラーにクロールをリクエストして、インデックス登録を促すことができます。

Googleクローラーにクロールをリクエストしたらクロール頻度を確認しよう

Googleにクロールをリクエストしたらクロール頻度を確認しましょう。

• 検索結果のキャッシュリンクを確認する
• サーチコンソールのクロールの統計情報から確認する

検索結果から確認する

クロール頻度を確認するには、検索結果のキャッシュリンクを確認します。

ここまで紹介したような方法で、Googleにクロールをリクエストした後、対象のWebページ、またそのWebページの最新のコンテンツ内容が検索エンジンにちゃんとインデックス（認識・更新）されたか否かを確認してみましょう。
そのためには、まず対象のWebページのURLを実際に検索窓に入力して、検索してみます。

上記のように、入力したURLの対象となるWebページが検索結果に表示されていれば、しっかりGoogleにインデックス登録されてるということになります。

また、既存のWebページのコンテンツ内容を更新して、その新しいコンテンツ内容が検索エンジンにインデックス登録されてるか否かを確認するには、上記画像にあるページURL横の矢印をクリックすることで表示される「キャッシュ」リンクをクリックします。
すると、「○年●月●日に取得されたものです。」と文言が表示されるので、その表示された取得日付でGoogleがWebページのコンテンツ内容を更新してるかどうかの有無を確認することができます。

また、BingのようにGoogle以外の検索エンジンでもキャッシュリンクのような機能があり、そのキャッシュリンクからWebページの登録・更新を確認できます。
かといって、Googleにクロールをリクエストしたのにも関わらず、Bingの検索エンジンからキャッシュリンクを確認しても、全然意味がありません。
「googlebot」「Yahoo Slurp」「bingbot」のように検索エンジンごとに巡回してるクローラーが異なるので、巡回申請したクローラーの対象となる検索エンジンでキャッシュリンクを確認する必要があります。

つまり、Googleにクロールをリクエストしたのであれば、Googleの検索エンジンでキャッシュ等を確認してWebページの登録・更新情報をチェックすることが重要となります。

サーチコンソールのクロールの統計情報から確認する

クロール頻度を確認するには、サーチコンソールのクロールの統計情報から確認します。

例えば、サーチコンソールにログイン後、メニューから「設定」をクリックします。
そして、クロールのクロール統計情報から「レポートを開く」をクリックします。

すると、クロールの統計情報の「グラフ」や「クロールリクエストの詳細」が確認できます。

つまり、Googleクローラーにクロールをリクエストした後に、どの程度クロールされてるか？といったクロール頻度が確認できるというわけです。

まとめ：Googleクローラーにクロールをリクエストして、適宜インデックス登録を促そう

Googleクローラーにクロールをリクエストして、適宜インデックス登録を促しましょう。

一方、クロールをリクエストしなければ、クローラーの巡回が促せません。
とくにリンク構造が貧弱なサイトやコンテンツの品質が低いサイトは、クローラビリティが悪いのでWebページにクローラーが巡回しづらいです。
そうなれば、Webページがちゃんとインデックスされない可能性が高まります。
結果、検索結果に表示されなかったり、中途半端にクロールされたコンテンツ内容のWebページがインデックスされて検索順位が上がりきらないというわけです。

こうした悪い状況を回避する為に、Googleクローラーにクロールをリクエストして、適宜インデックス登録を促しましょう。