クロールの頻度とは?ランキング要因との関係について
Googleのジョン・ミュラー氏は、クロール頻度がGoogleの検索ランキング(検索順位)に直接関係ないと言及してます。
クロール頻度が無くても、検索上位化を達成することが可能とのことです。
※参考:Google: Less Crawl Rate Isn’t Necessarily A Bad Thing

クロール頻度とは
クロール頻度とは、Googleクローラーと呼ばれるプログラムがWeb上のファイルを巡回して情報収集する相対的な回数のことを指します。
クロール頻度が高い、低いというような言い回しでよく利用します。
サイトのクロール率が低くても悪いことではない
ジョン・ミュラー氏は、2017年6月5日のTwitterのつぶやきで、「基本的にサイトのクロール率が低くても、サイトごとに異なり、悪いことではない」と言及してます。
That's not necessarily a bad thing; some sites just don't change a lot, some are just less interesting, every site's different.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 2017年6月5日
さらに、サイトのクロール頻度によって、一部のサイトはあまり変更されておらず、一部のサイトはちょっと面白くない という特徴が見いだされることも付け加えられてます。
上位表示させるための基本的対策をご紹介しています。
クロールの頻度とランキングの上位が直接関連していない
ジョン・ミュラー氏は、以前に(2016年11月6日)の「English Google Webmaster Central office-hours hangout」でWebページが頻繁にクロールされ、検索結果で上位にランク付けされるという直接的な関係はないと言及してます。
ジョンミュラー氏は、動画で問題に対し以下のように回答してます。
Q、ページが最近クロールされていない場合、それはよくランク付けされないか、または権限が与えられないことは本当ですか? また、週に1回以上サイトマップを再提出する利点はありますか?
A、ページが定期的にクロールされないと、ランキングには表示されません。
一般的に、このページが変化していると思われる時期、変更頻度などに基づいてクロールを試みます。 したがって、何かが長期間同じものにとどまると考えると、数ヶ月間クロールしない可能性があります。 それは完全にうまいですが、私たちはまだそれを検索で表示できます。
だから、私は直接の関係だと言っているものではありません。
多くの場合、何かが重要であると思うと頻繁にクロールする傾向があり、検索でより目に見えるような関係のようなものです。 しかし実際には、クロールの量から言えることはありません。それは、クロールがいかに重要であり、検索に現れているかです。
そして、同様に、それは物事(サイトマップ)を再提出する意味がありません…
※引用元:Google: Less Crawl Rate Isn’t Necessarily A Bad Thing
言及の中で特筆すべきなのが、「ページが定期的にクロールされないと、ランキングには表示されない」ということです。
裏を返せば、ページが定期的にクロールされることで、ランキングに表示される ということになります。
つまり、定期的にクロールされることで、ページがインデックスされ検索ランキングに表示されやすくなるということが言えると思います。
そして、インデックスされやすくなるが、ランキング上位との直接的な関係はないということになります。
クロール頻度は間接的な要因?操作できない?
クロール頻度が直接的な要因でなければ、間接的な要因として作用してる可能性があります。
クロール頻度はツールなどを使ってユーザー側から強制的に操作することは基本的に難しいですが、ジョンミュラー氏の発言「何かが重要であると思うと頻繁にクロールする傾向があり、検索でより目に見えるような関係のようなもの」をヒントに操作することができるかもしれません。
「検索でより目に見えるような関係」という発言は、人(ユーザー)の目に見える「Webページのコンテンツ」のことを指してるのではないでしょうか。
つまり、「重要なコンテンツを含むWebページを公開することで頻繁にクロールされやすくなる」と置き換えることができそうです。
重要なコンテンツを含むWebページは、ユーザーにとって有益な情報を含みます。
このようなページ群で構成されるサイトは、クロール頻度が高まり、かつサイト評価も上がり上位化しやすくなると思います。
このことから、クロール頻度をランキング上位の間接的な要因として捉えることも出来るかもしれません。
クロール頻度はFetch as Googleで調整できるの?
Googleは、基本的にクロール頻度を操作できないことを言及してます。
Google がサイトをクロールする頻度をユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールして欲しい場合は、Fetch as Google を使用できます。
※引用元:Googlebot のクロール速度の変更
Fetch as Googleは、クロール頻度を操作できるといえばできますが、一時的な操作に限定されるため、継続してクロール頻度を上げることはできません。
Fetch as Googleは、僕の経験則だと1日のうち、1回目の「インデックスに送信」したときだけすぐにクローラーを呼び込むことができます。(※認識されたかどうかは、検索結果のスニペットに表示されるキャッシュの日付で確認)
「1日に複数回使用」「連日、同じページに使用」しても、すぐクローラーは巡回してくれません。
なので、クロール頻度を上げるための対策としては、Fetch as Googleは限定的であまり効果的が見込めないことがわかってます。
基本的にコンテンツを更新したときに再クロール依頼として、Fetch as Googleを利用するとよいと思います。
基本的に1日1回しか呼び込めないと思った方がいいので、Fetch as Googleを利用する際は直前にコンテンツ内容を改めて見直しておきましょう。
クロール頻度は個々のサイトにより異なる
クロール頻度は個々のサイトにより異なることが、Googleで言及されてます。
Google では、スパイダーで定期的にウェブをクロールし、インデックスを再構築しています。クロールは、PageRank、ページへのリンク数、クロールの制約(URL に含まれるパラメータ数など)のようなさまざまな要因に基づいて行われます。個々のサイトでクロールが行われる頻度は、これらの要因によって異なります。
Google のクロール プロセスはアルゴリズム化されています。クロールするサイト、クロール速度、各サイトから取得するページ数はコンピュータ プログラムによって決定されます。より頻繁にクロールするためにお支払いをお願いすることはありません。クロールに適したウェブサイトを構築するためのヒントについては、ウェブマスター向けガイドラインをご覧ください。
※引用元:Google による定期的なウェブのクロールについて
主に被リンクとURL要因によってクロール頻度が異なることがわかります。
そして、先述したコンテンツ要因も加わってることが考えられます。
これらの要因を満たすために、ウェブマスター向けガイドラインに沿ったWebサイトを構築して、クロール頻度を高めましょう的な言い回しがあることが読み取れます。
つまり、ユーザーの利便性を考慮したWebページを増やして、リンク(内部リンクや外部リンク)が充実したサイトを運用することが、Webサイトのクロール頻度を高めるために必要といえます。
まとめ
クロール頻度を上げるために、ユーザーにとって有益なページを増やしましょう。
有益なページをより多くの人に認知させて、リンクが集まやすいサイトにしながら、上位表示を目指すことがSEO対策のポイントとなります。
検索順位が上がらない…と思っていませんか?

検索順位が上がらない…と思っていませんか?
思い通りの検索ワードで上位表示させるには、基本となる外部・内部の対策はもちろん、昨今の大きな変動・競合の強さも大きく影響するため、どういったキーワードで対策するのか?という点も重要となります。
ここを正しく理解しておかなければ上位表示させることは難しく、サイトを効果的に運用し、資産化することができません。
そこで、こちらでは上位表示に必要なSEOが正しく施されているかどうかを無料で調査し、問題点や改善点などのアドバイスを致します。