SEO対策に関する実験やデータ分析などを公開します

seoラボラトリー

  • follow us in feedly

クローラーとは~Googleへの申請・登録方法と仕組み

2016/08/17 2017/06/28

クローラーを呼び込みGoogle検索エンジンにインデックスさせながら、webサイトを運営することが大切です。

今回は、クローラーの意味、クローラーの申請・登録方法やクローラーの頻度・仕組みについて中心に解説したいと思います。

クローラーとは~Googleへの申請・登録方法と仕組み

あなたのサイトの順位は大丈夫ですか?順位・内部・リンク調べ、必要な対策をご案内します(無料)⇒

クローラーとは

クローラー(Crawler)とは、リンクをたどりながらWebサイトを巡回・検出し、検索エンジンの登録を促すための検索エンジン型ロボットのことです。

クローラー(Crawler)で最も有名なのが「Googlebot(グーグルボット)」で、別名「スパイダー」とも呼ばれてます。

Googlebot(グーグルボット)には、web検索、画像、ニュース、動画用など複数種類が存在します。
※参考:Google クローラ – Search Console ヘルプ

クローラーの申請・登録方法

クローラーの巡回を促進するため、webサイトを申請し、検索エンジンへの登録(インデックス)を早める方法が以下3つです。

①Google検索エンジンにwebサイト申請し、クロールを促す方法
②Yahoo検索エンジンにwebサイト申請し、クロールを促す方法(YahooはGoogleに統一されたため、Googleのみ申請)
③Bing検索エンジンにwebサイト申請し、クロールを促す方法

上記のよう検索エンジンごとにwebサイト申請し、クローラーの巡回を促進しましょう。
詳しいクローラーの申請・登録方法は、「検索エンジンにサイト登録する方法」も合わせてご参照ください。

また、サーチコンソールの「Fetch as Google」機能を使うことで、クローラー巡回を促進することも可能です

あなたのサイトの順位は大丈夫ですか?順位・内部・リンク調べ、必要な対策をご案内します(無料)⇒

クローラー巡回の促進が必要なwebサイト

クローラー巡回の促進をおすすめするのは以下のようなwebサイトです。

・リンクが少ないwebサイト
⇒被リンクが少ないサイトは、ページが見つかりづらく、クロールされずらい

・立ち上げたばかりのwebサイト
⇒新規サイトは被リンクが無く、ページが見つかりずらいので、クロールされずらい

・ページのコンテンツ内容を書き換えたwebサイト
⇒クロールのタイミングが決まってないため、最新の情報を素早くクロールしてもらうために、fetch as googleを活用する

クローラーの頻度

Googleクローラーがwebサイトをクロールする頻度は基本的に決まってません。

クローラーの頻度は、Googleにより以下のよう言及されてます。

クロールは、PageRank、ページへのリンク数、クロールの制約(URL に含まれるパラメータ数など)のようなさまざまな要因に基づいて行われます。個々のサイトでクロールが行われる頻度は、これらの要因によって異なります。
※参考:Google による定期的なウェブのクロールについて – Search Console ヘルプ

クローラーの仕組み

Googleクローラーの仕組みを理解するために以下のようなポイントを抑えることが大切です。
※参考:Google 検索の仕組み – Search Console ヘルプ 「クロール: Google がサイトを認識して検出する」

・大規模なコンピュータ群を使用して、ウェブ上の数十億のページを取得(クロール)する
・クロールするサイト、クロールの頻度、各サイトから取得するページ数はコンピュータ プログラムによって決定
・クロールを開始する際は、前回のクロールで生成され、ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用する
・Googlebot はこれらのウェブサイトすべてにアクセスし、各ページのリンクを検出してクロール対象ページのリストに追加
・新しいサイト、既存のサイトへの変更、無効なリンクを検出し、この情報で Google インデックスを更新する

クローラーとSEO対策について

Fetch as Googleでクローラーを呼び、webサイト巡回を促進し、SEO対策内容の認識を早める方法があります。

効果的な内容が早く検索エンジンに伝われば、その分早く検索順位も上昇しやすくなるでしょう。

あなたのサイトの順位は大丈夫ですか?順位・内部・リンク調べ、必要な対策をご案内します(無料)⇒

クローラーの速度について

Googleクローラー(Googlebot)のクロール速度は、サイトに合わせて自動的に最適化されてます。
※参考:Googlebot のクロール速度の変更 – Search Console ヘルプ

クロール速度は、サーチコンソールにログイン後、該当webサイトを選択し、右上の歯車のアイコン>サイトの設定から編集できます。
よほどのサーバー負荷が発生してない限り、クロール速度の変更は控えましょう。

クローラーの速度について イメージ

クローラーとGoogleアルゴリズム

クローラーと検索アルゴリズムにより自動生成される、Google検索の「もしかして」や「オートコンプリート」機能があります。
※参考:Google 検索の仕組み – Search Console ヘルプ

これらの機能で表示される検索クエリに沿ったコンテンツを作りながら、順位上昇を目指しましょう。

あなたのサイトの順位は大丈夫ですか?順位・内部・リンク調べ、必要な対策をご案内します(無料)⇒

クローラーを拒否してアクセス制限する方法

クローラーを拒否してアクセス制限するには、robots.txtを活用します。

アクセス拒否したいクローラーの種類(User-Agent)とサイトパス(disallow)を記述したrobots.txtファイルを、サーバーにアップロードすれば完了です。
詳しい記述は、「robots.txtとは~書き方とdisallowについて robots.txtの書き方」をご参考ください。

クローラーとインデックスについて

インデックスさせない」「インデックス削除」のような状況でも、クローラーが巡回してる可能性があります。

しかし、サーバー上からhtmlファイルを削除、関連被リンクを削除した場合、クローラーがそのファイルを巡回できないため、のちに「インデックス削除」されるでしょう。

クロールとインデックスシステムは、webページを検索エンジンに表示させるための一連のフローであり密接な関係と言えます。

まとめ

Googleクローラーにwebサイトをクロールさせ、インデックスさせながら、サイトを最適化しましょう。

良質なコンテンツをクロールさせ、検索クエリとの関連性を高めながら、順位上昇を目指すことが重要です。

あなたのサイトの順位は大丈夫ですか?順位・内部・リンク調べ、必要な対策をご案内します(無料)⇒

順位が上がらないのは、何が原因??
順位決定の仕組と、
サイトの問題点をアドバイス(無料)

お申込みはこちらから

上位表示を目指すURL

※アメブロ、jimdo、fc2ブログのURLはご遠慮ください

上位表示を目指すキーワード

会社名/組織名

ご担当者様名

電話番号

メールアドレス

※個人情報の管理は「プライバシーポリシー」に同意の上お申し込みください

SEOラボのおすすめ記事がLINEに届く!「SEOラボを友だち追加する」

最新記事

本日の順位変動幅順位変動情報へ