SEOに関する実験やデータ分析などを公開します

SEOの疑問を実験で解明しブログ配信【SEOラボ】

Googleのクローラーに巡回申請する方法について

2018/10/11 2018/10/24

Googleの検索エンジンにWebページがインデックスされるためには、クローラーにそのWebページ(ブログ記事)を巡回してもらいコンテンツ内容を専用のデータベースに登録してもらう過程が必要となります。
なので、基本的には、リンクを充実させてクローラーがページ間をスムーズに行き来できるように、巡回しやすいWebサイトを構築することが、インデックスされるためのベストな方法となります。

ですが、Webサイトの運用状況によっては、リンクが最適化されておらず、クローラーが巡回しずらいサイト構造となってるケースがよく見られます。
このようなサイト構造では、検索エンジンにWebページがインデックスされないといったことも起こり得るため、そのようなときには特段の措置として、Googleのクローラーに巡回申請を行う必要性が高くなります。
また、良質なコンテンツ内容にリライトしたWebページを迅速にインデックスさせて、より早くSEO効果を得るために、Googleのクローラーに巡回申請を行うことが良くあります。

このような点踏まえて、今回は、Googleのクローラーに巡回申請する方法について中心に、初心者にも分かるようにポイントをまとめて解説したいと思います。

Googleのクローラーに巡回申請する方法について

Googleのクローラーとは?

Googleのクローラーとは、Webページのコンテンツ内容を読み取るためのロボットのことで、Googleのメインクローラーを「Googlebot」と呼ぶ

Googleのクローラーとは、Googleの検索エンジンにWebページをインデックスするために、そのWebページのコンテンツ内容を読み取るためのロボットのことです。
もう少し言うと、Webページの存在やそのWebページにはどんな内容が掲載されてるのか?を読み取って、その情報を専用のGoogleデータベースに格納するまでの過程をクローラーが行います。

このGoogleのクローラーには、幾つか種類があり、とくにメインのクローラーを「Googlebot」と呼びます。
つまり、Googlebotと呼ばれるクローラーが私たちのWebサイトを巡回して、Webサイト内の新規ページや更新された既存ページのコンテンツ内容を読み取り、それらのWebページに書かれてる最新の情報をGoogleの検索エンジンにインデックスする形になります。

しかし、Webサイトの運用状況によっては、サイト内のWebページ(ブログ記事)がうまくクロールされずに、Googleの検索エンジンにインデックスされないケースがあります。
そのような場合は、Googleのクローラーに巡回申請を行って、自分のサイトにクローラーを半ば強制的に呼び込むことで、Webページの存在を認識させてインデックスを促進するようにします。

このように、クローラーが巡回しずらい状況は、どのサイトにも少なからずあります。
なので、検索結果に自分のWebページが表示されない、コンテンツ内容を更新したのに検索結果上でその内容が更新されてないといったことがあれば、Googleのクローラーに巡回申請を適宜行ってクロールを促進し、最新のコンテンツ内容を綴ったWebページのインデックスを促しながら、SEO対策を進めていくことが重要となります。

関連記事Googleにインデックスされない原因と対策方法について

Googleのクローラーに巡回申請する方法について

主にサーチコンソールの機能を使ってGoogleのクローラーに巡回申請する

先述でも少し触れてますが、自分のサイトのWebページが検索エンジンにインデックスされない場合、主にサーチコンソールの機能を使ってGoogleのクローラーに巡回申請して、そのWebページへクローラーを呼び込み、インデックス促進することが可能です。
そうすれば、検索結果に表示されなかったWebページやコンテンツ内容を更新した最新のWebページがインデックスされるようになり、Webサイトのパフォーマンス向上が改めて見込めるようになります。

このような点踏まえて、ここでは、Googleのクローラーに巡回申請する方法について、初心者にも分かるようにポイントをまとめて触れていきたいと思います。

関連記事サーチコンソール(Search Console)とは~登録・設定・使い方についてまとめ

XMLサイトマップを送信する

XMLサイトマップを送信するには、サーチコンソールにログイン後、メニューの「インデックス」から「サイトマップ」をクリックし、「新しいサイトマップの追加」であらかじめ作成して本番環境にアップロード済みのXMLサイトマップファイル(sitemap.xml)のURLを記述して、「送信」する形になります。

XMLサイトマップを送信する方法

このように、XMLサイトマップのURLを送信することで、そのXMLサイトマップのファイル内に記述されてるWebサイト内の各ページのURLからそれらのコンテンツ内容をクロールするように、Googleのクローラーに巡回申請を行うことができます。
そして、うまくそれらのページがクロールされれば、新規ページや更新したWebページが検索エンジンへインデックスされやすくなります。

ちなみに、このセクションの冒頭でも触れてますが、まずはXMLサイトマップを作成しないと、そのファイルを送信することが出来ません。
なので、XMLサイトマップを作成してない場合は、sitemap xml editorなどの無料ツールを活用したり、WordPressでサイト運用してれば「Google XML Sitemaps」のプラグインを導入するなどの方法で、まずsitemap.xmlファイルを作り、そのファイルを本番環境に設置してURLでアクセスできる状態にしておきましょう。

また、新規ページが追加された際に、XMLサイトマップが自動的に更新されて新しいページURLが追加されるようなファイルの仕組みにしておくとよいでしょう。
そうしておけば、新規ページも自動的にどんどんクロールされるようになるので、インデックスされやすいサイトが運用できるようになります。

Fetch as Googleを使って、インデックス登録をリクエストする

旧サーチコンソールにログイン後、メニューの「クロール」から「Fetch as Google」をクリックして、クローラーを促進したいページURLを入力して、「取得」もしくは「取得してレンダリング」をクリックします。
すると、下部に入力したページURLが表示されるので、そのページURLの情報取得が完了して並びに表示される「インデックス登録をリクエスト」のボタンをクリックすれば、Googleのクローラーに巡回申請ができます。

Fetch as Googleを使って、インデックス登録をリクエストする方法

このように、Fetch as Googleを使ってGoogleのクローラーに巡回申請を行うケースは、SEO対策において非常に多くあります。
なぜかというと、Fetch as Googleを使って迅速に最新かつ良質なWebページをインデックスさせることで、うまくいけばその分検索パフォーマンスの向上が期待できるからです。

つまり、ただ単純に検索エンジンにインデックスされない場合に使うだけでなく、既存のページをリライトしてそのページに対してFetch as Googleを行ってクロールを促進し、良質なコンテンツ内容が迅速にインデックスされれば、その分検索順位も早く上がって多くの検索流入が見込めるというわけです。

関連記事Fetch as Googleの使い方とSEO効果について

URL検査ツールを活用して、インデックス登録をリクエストする

URL検査ツールもサーチコンソールの機能の1つとなりますが、実は、先述したFetch as Googleの最新版であり、旧サーチコンソールのFetch as Googleが刷新して、「URL検査ツール」に置き換わった形になります。
なので、先述したFetch as Googleの解説と重複する部分もあると思いますが、新しいサーチコンソールのURL検査ツールでGoogleのクローラーに巡回申請する方法を紹介していきます。

新しいサーチコンソールにログイン後、メニューの「URL検査」をクリック後、上部の検索窓にクローラーを呼び込んでインデックス登録を促進したいページURLを入力します。
すると、下部に、入力したページURLのインデックス登録状況が表示されるので、その部分にある「インデックス登録をリクエスト」のアンカーテキストをクリックすれば、Googleのクローラーに巡回申請できます。

URL検査ツールを活用して、インデックス登録をリクエストする方法

上記で紹介した例は、すでにインデックス登録された既存ページに対して、クロールの巡回申請をしてる形です。なので、「URLはGoogleに登録されています」の文言が表示されます。
仮に、新規ページのようにまだインデックスされてないページURLの場合は、「URL が Google に登録されていません」と表示されますが、同様に「インデックス登録をリクエスト」のアンカーテキストのリンクが出現するので、そのリンクをクリックすれば新規ページもGoogleのクローラーに巡回申請して、インデックス登録を促すことができます。

このように、新しいサーチコンソールのURL検査ツールは、Fetch as Googleと同様の機能を持つのでFetch as Googleが淘汰されるのは時間の問題かもしれません。
なので、今までFetch as Googleで行っていたことをこれからはURL検査ツールを使って行い、更新した既存ページや新規ページに対してクローラーの巡回申請をしながら、SEO対策を進めていくことが多くなるでしょう。

実際にWebページがインデックス登録・更新されたか確認する

ここまで紹介したような方法で、Googleのクローラーに巡回申請した後、対象のWebページ、またそのWebページの最新のコンテンツ内容が検索エンジンにちゃんとインデックス(認識・更新)されたか否かを確認してみましょう。
そのためには、対象のWebページのURLを実際に検索窓に入力して、検索してみます。

Googleのクロールに巡回申請したWebページがインデックス登録・更新されたか確認する方法

上記のように、入力したURLの対象となるWebページが検索結果に表示されていれば、しっかりGoogleにインデックス登録されてるということになります。

また、既存のWebページのコンテンツ内容を更新して、その新しいコンテンツ内容が検索エンジンにインデックス登録されてるか否かを確認するには、上記画像にあるページURL横の矢印をクリックすることで表示される「キャッシュ」リンクをクリックします。
すると、「○年●月●日に取得されたものです。」と文言が表示されるので、その表示された取得日付でGoogleがWebページのコンテンツ内容を更新してるかどうかの有無を確認することができます。

また、BingのようにGoogle以外の検索エンジンでもキャッシュリンクのような機能があり、そのキャッシュリンクからWebページの登録・更新を確認できます。
かといって、Googleのクローラーに巡回申請したのにも関わらず、Bingの検索エンジンからキャッシュリンクを確認しても、全然意味がありません。
「googlebot」「Yahoo Slurp」「bingbot」のように検索エンジンごとに巡回してるクローラーが異なるので、巡回申請したクローラーの対象となる検索エンジンでキャッシュリンクを確認する必要があります。

つまり、Googleのクローラーに巡回申請をしたのであれば、Googleの検索エンジンでキャッシュ等を確認してWebページの登録・更新情報をチェックすることが重要となります。

まとめ

基本的には、質の高いページを増やしてリンクを充実させることによる、クロール頻度の高いWebサイトを運用する必要があります。
なので、このようなWebサイトの運用を念頭に置いたうえで、リンク構造が貧弱な新規ドメインのサイトや良質なコンテンツ内容にリライトしたページなどに対して、適宜Googleのクローラーに巡回申請するようにしましょう。

そうすれば、より迅速に検索への露出が増えて、検索パフォーマンスの向上が期待できるようになります。

このように、検索パフォーマンスを上げるためには、やはりユーザーの利便性を考慮したWebページを提供することが不可欠です。
つまり、ユーザーファーストのWebページを増やして、サイト自体の価値(ドメインパワー)を高めながら、上位表示を目指すことがSEOにおいて重要なポイントとなります。

関連記事SEO対策とは?SEOの対策ポイントについて

SEOラボのおすすめ記事がLINEに届く!「SEOラボを友だち追加する」

カテゴリから記事を探す

SEO対策無料ご提案はこちら