SEOに関する実験やデータ分析などを公開します

SEOの疑問を実験で解明しブログ配信【SEOラボ】

クローラビリティとは?クローラビリティを改善するための方法について

クローラビリティとは、Googlebot(クローラー)がインターネット上のリンクを辿ってWebページを検出するときの、Webページの見つけやすさ/認識のしやすさ(クロールのしやすさ)のことです。

このクローラビリティが良くなれば、クロール頻度が高まるので、Webページの情報(ブログ記事のコンテンツ内容)がより検索エンジンに認識されやすくなります。
もう少し言うと、クローラビリティを良くすれば、クローラーの巡回する回数が増えるので、Webページの情報がしっかり読み取られる(しっかりクローリングされる)ようになります。
結果的に、しっかり読み取られたWebページの情報がインデックスされるので、その分SEO効果が期待できるというわけです。

一方、貧弱なリンク構造、低品質ページが多い、エラー(5xxやソフト404)などのケースを持つサイトは、基本的にクローラビリティが悪くなります。
また、インデックスされていても、キーワード順位が思ったより低ければ、そのキーワードに該当するWebページのクローラビリティが悪い可能性があります。

こうしてクローラビリティが悪いと、「新規で公開したWebページ」や「リライトした(更新した)Webページ」の情報がクローラーにしっかり認識されません。
そうなれば、インデックスされなかったり、不完全な情報がインデックスされ続けるので、その分SEO効果が引き出せないという事態になります。

こうした状況を回避するためにも、クローラビリティを改善してクロール頻度を向上させ、Webページの情報をしっかりクロールさせるようにSEO対策を進めることが重要となります。

この点踏まえて、今回は、クローラビリティの定義からクローラビリティを改善するための方法について中心に、初心者にもわかりやすくポイントをまとめて解説したいと思います。

クローラビリティとは?クローラビリティを改善するための方法について

クローラビリティとは?

Googlebotと呼ばれるクローラーが、 リンクを辿ってWebページを検出するときの、 Webページの見つけやすさ/認識しやすさのことを 「クローラビリティ」と呼ぶ!

クローラビリティとは、Googlebotと呼ばれるクローラーがリンクを辿ってWebページを検出するときの、Webページの見つけやすさ/認識のしやすさ(クロールのしやすさ)のことです。
もう少し言うと、クローラー(Googlebotと呼ばれるプログラム)が、インターネット上のリンクを辿ってWebページを見つけ、そのWebページの情報を読み取ります。
このWebページの情報を読み取るまでの過程のことを「クロール」または「クローリング」と言い、このクロール/クローリングのしやすさのことが「クローラビリティ」となります。

こうした意味を持つクローラビリティという語句ですが、SEO(検索エンジン最適化)においてよく使われる語句です。
例えば、自身のWebサイト内で新規のWebページを公開したとします。
その公開した新規のWebページが、迅速に(数分後もしくは数時間後に)検索エンジンに認識(インデックス)されれば、クロールが巡回しやすいサイトです。
つまり、クローラビリティが良いと言うことができます。

クローラビリティが良いと、クロール頻度が向上するので、Webページの情報がクローラーにしっかり読み取られるようになります。
そうして読み取られた情報がインデックスされるので、その分SEO効果も期待できるようになります。

一方、クローラビリティが悪いと、クロール頻度が下がるので、Webページの情報がしっかりクロールされません。
つまり、クローラーが巡回する回数が減るので、その分Webページの内容がしっかり認識されないということです。
そうなれば、インデックスされなかったリ、不完全な情報がインデックスされ続けるので、その分SEO効果が見込めません。

このように、クローラビリティの良し悪しによってSEO効果が大きく左右されるということになります。

検索エンジンの仕組みについて

主に「クロール」「インデックス」 「ランキング(ランク付け)」の3つのシステムによって Webページを表示するのが、検索エンジンの仕組み!

これまで触れたように、クローラビリティは検索エンジンと深く関わってます。
なので、検索エンジンの仕組みを理解しておくことで、クローラビリティの重要性がより認識できます。

検索エンジンは、主に「クロール」「インデックス」「ランキング(ランク付け)」の3つのシステムによってWebページを表示する仕組みです。
例えば、新しいWebページ含めて、すでに膨大なWebページが公開されてます。
すると、それらのWebページに対してクローラー(Googlebot)が巡回します。
そして、クローラーが巡回して読み取ったWebページの情報を、Googleインデックスと呼ばれるデータベースに格納(登録)します。
そのデータベースから、検索クエリ(ユーザーが検索する語句)と関連性の高い検索結果(回答)が取り出されてWebページが表示される(ランク付けされる)という仕組みが、検索エンジンの仕組みです。

このように、一番最初に重要なシステムが「クロール」となります。
クロールなしには、Webページがインデックスされてランク付けされることはありません。
なので、クロールされるようなWebページにするために、まずクローラビリティを良くすることがSEOにおいて重要というわけです。

クローラビリティを改善するための方法について

優先度の低いURLに対するクロール頻度の向上や クロールの浪費を無くして、 ページごとのクローラビリティを改善しよう!

クローラビリティを改善するためには、XMLサイトマップを設置します。
XMLサイトマップの設置によって、優先的にクロールしてほしいURLをGoogleに伝えることができるのでクローラビリティの向上につながります。
ですが、優先度の高いページのクローラビリティは向上しますが、優先度の低いURLのクローラビリティが上がりづらいです。

そこで、「リンクビルディング」「シンプルなURL」「コンテンツの質の高さ」「重複ページを無くす」「表示速度の速さ」「サーバー接続の安定性」「クローラーの制御」「MFI適用前はコンテンツを隠さない」などを考慮してサイト構築します。
そうすれば、優先度の低いURLに対してもクローラーが巡回しやすくなり、かつ、不必要なクロールが減るので、ページごとのクローラビリティが改善できるというわけです。

ちなみに、URL検索ツールを使って、一時的にクローラビリティを高めることもできます。

XMLサイトマップを設置する

XMLマップファイルを作成して、 そのファイルの存在をGoogleに伝えながら、 クローラビリティを改善しよう!

XMLサイトマップを設置するには、ツールを活用します。
例えば、まず、「sitemap.xml Editor」を使って作成したXMLサイトマップ(sitemap.xml)を、サーバーにアップロード(設置)します。
そして、「xxxx.jp/sitemap.xml」のようなXMLサイトマップの存在を示すURLにアクセスできるので、そのURLをサーチコンソールのサイトマップから送信します。
そうすれば、sitemap.xmlファイル内に記載したURLを、優先的にクロールすることをGoogleに伝えることができます。
結果的に、サイト内のページごとにクローラーを呼び込むことができるので、クローラビリティの促進に繋がります。

こうして、XMLマップファイルを作成して、そのファイルの存在をGoogleに伝えることが、クローラビリティを改善するためのポイントとなります。

また、WordPressで構築したブログであれば、「Google XML Sitemaps」のプラグインを導入しましょう。
sitemap.xmlの作成から更新URLの送信まで自動化できるので便利です。(最初のサーチコンソールのサイトマップ送信だけは、手動。)

一方、XMLサイトマップを設置しないと、クローラビリティの改善につながりません。
もう少し言うと、内部リンクや被リンクが無いページは基本的にクローラーが巡回しづらいので、クローラビリティが低いページです。
そういったページのクロールが補助できるXMLサイトマップが無ければ、クローラビリティの改善に繋がらないということです。
結果的に、インデックスが促進されないので、その分SEO効果も見込めないでしょう。

質の高いページを作成する

検索クエリと関連性を高めて、 根本的にクロールされやすい良質なページに仕上げながら、 クローラビリティを改善しよう!

質の高いページを作成するには、ユーザーの検索意図を考慮します。
例えば、SEOキーワード(上位表示したいキーワード)で検索して表示される競合上位のサイトのタイトル名やコンテンツ内容の傾向を採用して、自身のWebページを作成します。
その際に、タイトル名にSEOキーワードを入れます。
そうすれば、ユーザーの求める情報が盛り込まれるので、ユーザーの検索意図を考慮した質の高いページに仕上がります。
さらに、ユーザーが求める情報の量(網羅性/包括性)や手に入れやすさ(簡便性)、信憑性、独自性を加味すれば、より質の高いページに仕上がります。

このように質の高いページとなれば、基本的にクローラが巡回しやすくなるので、クローラビリティが良くなります。

サイトに非常に有用な情報が掲載されている場合は、想定を上回ってクロールされてしまう可能性があります。
※引用元:クロールの統計情報レポート(ウェブサイト) – Search Console ヘルプ

こうして、検索クエリと関連性を高めて、根本的にクロールされやすいページに仕上げることが、クローラビリティを改善するためのポイントとなります。

また、質の高いページを提供すれば、参照されやすくなって被リンクが集まるので、クローラーが巡回しやすくなります。
さらに、質の高いページを定期的に更新してるサイトは、基本的にクローラーが巡回しやすくなります。
つまり、人気度(被リンク)や鮮度(更新性)を考慮してコンテンツの質を高めることで、クローラビリティが良くなるというわけです。

  • 人気度: インターネット上で人気の高い URL ほど、Google のインデックスで情報の新しさが保たれるよう頻繁にクロールされる傾向があります。
  • 鮮度: Google のシステムでは、インデックス内の URL の鮮度が落ちないようにしています。

※引用元:Google ウェブマスター向け公式ブログ [JA]: Googlebot のクロール バジェットとは?

付け加えると、「テキスト中心のコンテンツ作成」や「適切なHTMLタグや構造化データによるマークアップ」を考慮してページ作成することでも、質を高めることができるので、クローラビリティの向上に繋がります。

一方、質の低いページがあれば、その分クローラビリティが低下します。
もう少し言うと、スパムや薄っぺらいコンテンツなどのウェブマスター向けガイドラインに違反となる質の低いページがあれば、都度それらのページでクロールを浪費するので、価値あるページへのクロールが妨げられます。
そうなれば、価値あるページのクローラビリティが低下するので、その分SEO効果が見込めなくなります。

シンプルなURLにする

できるだけ使う文字列を減らして、 シンプルなURLに仕上げながら、 クローラビリティを改善しよう!

シンプルなURLにするには、文字列を短くすることを考慮します。
例えば、「SEOとは?」というタイトル名なら、「search-engine-optimization」という文字列を使いたくなりますが、略称の「seo」という短い文字列を用いたURLにします。
そうすれば、全体的な文字列が短くなって、簡潔なURLにすることができるので、クローラビリティが良くなります。
また、当ブログ「SEOラボ」のように、「投稿ID」を文字列に使った短いURL(URL例:seolaboratory.jp/91744/)にして、クローラビリティを良くする方法もあります。

こうして、できるだけ使う文字列を減らして、シンプルなURLに仕上げることが、クローラビリティを改善するためのポイントとなります。

また、カテゴリ名を短くしたり、カテゴライズの必要性を考慮することで、全体的な文字列を減らしてシンプルなURLにすることができます。

一方、複雑なURLだと、クローラビリティが悪くなります。

特に複数のパラメータを含む URL など、過度に複雑な URL は、サイト上の同じまたは同様のコンテンツを表す多数の URL を不必要に作成し、クロールの際に問題が生じることがあります。その結果、Googlebot で必要以上に帯域幅を消費したり、サイトのすべてのコンテンツをインデックスに登録できないことがあります。
※引用元:シンプルな URL 構造を維持する – Search Console ヘルプ

このように、とくに自動化によって生成される複雑なURLに対してクロールが浪費されます。
そうなれば、価値あるURL含んだその他のページURLに対して、クローラーの巡回が行き届かないので、クロールに支障をきたす(クローラビリティが悪くなる)可能性があります。
結果的に、コンテンツ内容がしっかり読み取られない(クロールされない)ので、インデックスされずにSEO効果が見込めないということになります。

重複ページを無くす

一方のURLに正規化して、 ページのコンテンツ内容を統合しながら、 クローラビリティを改善しよう!

重複ページを無くすには、URLを正規化します。
例えば、「www.seolaboratory.jp」と「seolaboratory.jp」のwww有り無しのURLにそれぞれアクセスでき、かつ同じコンテンツ内容が表示されるとします。(重複ページの状態)
こうした場合は、「www.seolaboratory.jp」から「seolaboratory.jp」のURLへ301リダイレクトを実装します。
そうすれば、「seolaboratory.jp」のURLが正規URLとして、Googleに認識されるようになるので、重複ページの回避に繋がります。
結果的に、「www.seolaboratory.jp」のURLに対するクロールの浪費が減るので、その分クローラビリティが良くなります。

こうして、一方のURLに正規化して、ページのコンテンツ内容を統合することが、クローラビリティを改善するためのポイントとなります。

また、「canonicalタグ」「rel=”canonical” HTTP ヘッダー」「サイトマップ」を活用して、正規URLをGoogleに伝えることでも、重複ページの回避につなげることができます。
さらに、AMPページに「canonicalタグ」、個別のスマホ向けページに「alternateタグ」をマークアップしてURL正規化することも、重複ページを回避するための重要な対策です。
付け加えると、既に運用済みのサイトであれば、被リンク数を考慮してURLを正規化するようにしましょう。

一方、重複ページがあれば、クローラビリティが悪くなります。
もう少し言うと、「同じページにアクセスできる複数のURL(同じコンテンツを表示できるパラメータURLなど)」や「PC向けページとスマホ向けページが別々のURL」は重複ページとなります。
こうした重複ページのすべてがクロールされるので、その他の価値あるページ(新しく更新されたページ)に対するクロールに時間がかかったり、クロールが行き届かなくなるというわけです。

結果的に、クローラビリティが悪くなって、価値あるページなどがインデックスされないので、その分SEO効果が見込めなくなります。

内部リンクを最適化する

クロールの必要性が高いページに内部リンクを設置して、 クローラーが巡回できる経路を増やしながら、 クローラビリティを改善しよう!

内部リンクを最適化するには、リンクナビゲーションを設置します。
例えば、トップページのコンテンツから下層ページ(カテゴリ一覧ページや記事ページなど)に向けてリンク(内部リンク)を設置します。
そうすれば、そのリンクを辿ってクローラーが下層ページを巡回するようになるので、クローラビリティが良くなります。

ちなみに、トップページは、「人気度」や「情報の鮮度(更新性)」が特に高いページです。
トップページ以外にも被リンクが多かったり、更新頻度の高いページがあります。
こうしたページに対して、基本的にクローラーが巡回しやすくなります。

こうして、クロールの必要性が高いページに内部リンクを設置して、クローラーが巡回できる経路を増やすことが、クローラビリティを改善するためのポイントとなります。

また、専用のナビゲーションページ(HTMLサイトマップ)を作って、そのページを重要なページ(クロールの必要性が高いページ)からリンクすれば、効率よくクロールの範囲を広げることができます。

一方、内部リンクを最適化しなければ、クローラビリティが上がりません。
もう少し言うと、内部リンクを設置しなければ、クローラーが巡回できる経路が増えないので、その分クローラビリティが上がらないということです。
かといって、やみくもに増やした内部リンクから質の低いページをクロールさせても、クロールの経路は増えますが、クロールの必要性は上がりません。
つまり、質の低い内部リンクを増やせば、無駄なクロールが浪費されて価値あるページにクロールが行き届かない可能性が高まります。
結果的に、価値あるページのインデックスが促せないので、その分SEO効果を失うことにつながるでしょう。

被リンクを増やす

ユーザーから共感される情報の宣伝を習慣化して、 参照機会の増加による被リンク獲得を促進しながら、 クローラビリティを改善しよう!

被リンクを増やすには、SNSを活用します。
例えば、TwitterやFacebookなどのアクティブユーザーが多いSNSで、自身のWebサイト内の質の高いページURLや為になる関連情報を定期的に宣伝します。
そうすれば、共有が促進されて、外部サイトでの参照が増えやすくなります。
結果的に、被リンクが増えて、外部サイトからクローラーが巡回しやすくなるので、クローラビリティが良くなるというわけです。

こうして、ユーザーから共感される情報の宣伝を習慣化して、参照機会の増加による被リンク獲得を促進することが、クローラビリティを改善するためのポイントとなります。

また、被リンクが増えて、人気度の高いWebページとなれば、根本的にそのページに対するクロールの必要性が高まります(クローラビリティが向上します)。

人気度: インターネット上で人気の高い URL ほど、Google のインデックスで情報の新しさが保たれるよう頻繁にクロールされる傾向があります。
※引用元:Google ウェブマスター向け公式ブログ [JA]: Googlebot のクロール バジェットとは?

一方、被リンクが増えなければ、クローラビリティが上がりません。
もう少し言うと、被リンクが少ないと、クローラーの巡回経路が減るので、クロール頻度が上がりません。
そうなれば、Webページに対するクローラビリティが上がらず、インデックスが促進されないので、その分SEO効果が見込めないでしょう。

ちなみに、「専用サービスにおける広告内のリンク」「有料リンク」「コメント内のリンク」「Googleウェブマスター向けガイドライン(品質に関するガイドライン)に準拠していないリンク」を増やしても、そういったリンクは基本的にクロールされなので、クローラビリティの向上につながりません。

ファイルのサイズを減らす

ファイルのサイズを軽減して、 クロールの浪費を減らしながら、 クローラビリティを改善しよう!

ファイルのサイズを減らすには、ファイルの最適化を考慮します。
例えば、画像やCSS、Javascriptといったファイルを圧縮したり、不要なソースコードを削除します。
そうすれば、ファイルサイズが減るので、クロールのリソースが減ります。
結果的に、クロール速度が早まったり、余ったクロールのリソースを他のコンテンツに配分できるようになるので、クローラビリティが良くなるというわけです。

こうして、ファイルのサイズを軽減して、クロールの浪費を減らすことが、クローラビリティを改善するためのポイントとなります。

また、キャッシュの活用、AMP化することでも、ファイルのサイズが軽減できます。
こうしてファイルのサイズが軽減できれば、クローラビリティの改善のみならず、サイトの表示速度の向上にもつながります。
表示速度が上がってサイトが迅速に表示され続けると、クロールの上限が上がるので、この点においてもクローラビリティの向上が見込めます。

一方、ファイルのサイズが増えれば、クローラビリティが悪くなります。
とくに、サイズの大きい画像ファイルが膨大にあれば、サーバーの容量が圧迫されやすいです。
そうなれば、サイトの表示速度が遅くなったり、サーバーエラー(5xx)によってサイトに接続できない可能性が高まります。
そういった状況のサイトに対して、Googleはクロール頻度を下げます。

サイトの応答が遅くなった場合やサーバーエラーが返される場合、クロール速度の上限が下がり、Googlebot によるクロールが減ります。
※引用元:Google ウェブマスター向け公式ブログ [JA]: Googlebot のクロール バジェットとは?

結果的に、クロールが行き届かなって、クローラビリティが悪くなるので、Webページのコンテンツ内容が認識されずくなります。(コンテンツ内容が中途半端に認識される)
つまり、インデックスが促進されないので、その分SEO効果が見込めないでしょう。

サーバーを最適化する

サーバーのパフォーマンス管理して、 正常なクロールを維持しながら、 クローラビリティを改善しよう!

サーバーを最適化するには、サーバーのスペックを上げます。
例えば、ディスク(ストレージ)やメモリの容量を増やしたり、CPUの性能を高めます。
そうすれば、負荷が減って、サーバーの応答速度が上がりやすくなります。
結果的に、Webページに対して正常にクローラーが巡回しやすくなるので、クローラビリティが良くなるというわけです。

こうして、サーバーのパフォーマンス管理して、正常なクロールを維持することが、クローラビリティを改善するためのポイントとなります。

また、PHPのバージョン改善、サーバー分散(ロードバランサーなど)、CDNの活用、データベースの改善などもサーバーの最適化に繋がります。

一方、サーバーを最適化しないと、クローラビリティが悪くなります。
例えば、サイトを運営してると、ページや画像などのファイルが増え続けます。
そうなれば、サーバーの容量に対するファイルサイズが過多になるので、サーバーの応答速度が遅くなります。(サーバーが重くなる)
最悪は、サーバーエラー(5xx)でサイトに接続出来ない状況となります。
結果的に、Webページなどのファイルを正常にクロールすることが出来なかったり、クロール頻度が下がるので、クローラビリティが悪くなるというわけです。

サイトの応答が遅くなった場合やサーバーエラーが返される場合、クロール速度の上限が下がり、Googlebot によるクロールが減ります。
※引用元:Google ウェブマスター向け公式ブログ [JA]: Googlebot のクロール バジェットとは?

このように、クローラビリティが悪くなればインデックスが促進されないので、その分SEO効果が見込めないでしょう。

ソフト404エラーを無くす

存在しないURLに対して、 クローラーを巡回させないように設定しながら、 クローラビリティを改善しよう!

ソフト404エラーを無くすには、HTTPステータスコードで404を返すようにします。
例えば、htaccessファイルに、「ErrorDocument 404 /404.html」のコードを記述して、そのファイルをサーバーにアップロードします。
そうすれば、存在しないURLにアクセスしたときに、404.html(404エラーページ)を表示して、HTTPステータスコードで404を返す(GoogleにNot Found「未検出」「見つかりません」と伝える)ことができるので、ソフト404エラーが無くなります。
結果的に、404エラーページにクローラーが巡回しなくなって、クロールのリソースが軽減できるので、クローラビリティが良くなるというわけです。

こうして、存在しないURLに対してクローラーを巡回させないように設定することが、クローラビリティを改善するためのポイントとなります。

また、HTTPステータスコードで410を返したり、404ページにnoindexを入れることでも、クローラーの巡回を回避することができます。

ちなみに、404.html(404エラーページ)は別途作成しておきましょう。
WordPressであれば404.phpを作成してアップロードするだけで、HTTPステータスコード404まで返すことができます。(htaccessファイルの設定なし)

一方、ソフト404エラーがあれば、クローラビリティが悪くなります。
もう少し言うと、ソフト404エラーによって、ブラウザでの見た目(デザイン)は404エラーページが表示されていても、HTTPステータスコードで200が返されます。
そうなれば、正常なページとしてクローラーに処理されるので、クロールの浪費に繋がります。
結果的に、クローラビリティが悪くなってインデックスが促進されないので、その分SEO効果が見込めないでしょう。

こうした状況を回避するためにも、まずは、404エラーページのHTTPステータスコードを確認しましょう。
これは、Google Chromeブラウザの「設定」で「その他のツール」⇒「デベロッパーツール」⇒「Network」のタブを選択して、「Status」から確認できます。

Google Chromeブラウザのデベロッパーツールで、404エラーページのHTTPステータスコードを確認する

上記の404エラーページは、404が返ってるので問題ありません。
ですが、このように404エラーページのHTTPステータスコードを確認して、200が返ってくるようであれば、ソフト404エラーとなります。
こうした場合に、先述したクローラーを巡回させないための対策(404エラーページに対して、HTTPステータスコードで404もしくは410を返したり、noindexする)が必要となります。

ファイルのクロールを拒否する

重要性の低いページ(ファイル)のクロールを拒否して、 クロールの浪費を減らしながら、 クローラビリティを改善しよう!

ファイルのクロールを拒否するには、robots.txtを活用します。
例えば、重要性の低いPDFファイルに対して、Googlebot含めた全てのクローラーを巡回させないための(クロール拒否の)コードを、robots.txtファイルに記述します。

こうした記述によって、特定ファイルのクロールを拒否(ブロック)することができるので、クロールの浪費を減らすことができます。
結果的に、クロール速度が速まったり、他の重要なコンテンツにクロールが再配分できるので、クローラビリティが良くなるということです。

こうして、重要性の低いページ(ファイル)のクロールを拒否して、クロールの浪費を減らすことが、クローラビリティを改善するためのポイントとなります。

また、PDF以外にも、ワード(.doc/.docx)や.パワーポイント(ppt/.pptx)などのファイル、決済ページ(フォーム関連)やユーザー専用のページ(会員ページ)、管理ページなども重要性が低いので、クロール拒否を検討しましょう。

一方、robots.txtでサイト全体に対するGooglebotのクロールを拒否すれば、クローラビリティが悪くなります。

このように、robots.txtで、誤ってサイトのルートディレクトリをDisallowで指定すれば、サイト内のすべてのWebページにクローラーが巡回しません。
そうなれば、サイト自体のインデックスが促進されないので、大きくSEO効果を失います。

付け加えると、クロール拒否されてる(ブロックされてる)ページを確認するには、サーチコンソールのインデックスガバレッジレポートやURL検査ツールを活用します。

こうしたクロールの制御は、robots.txt以外に、.htaccessファイルでも行うことができます。

ちなみに、クロール拒否を行うと、noindexが無視されます。
例えば、低品質ページにnoindexを指定して、そのページにクロール拒否も指定してるとします。
この場合、低品質ページ自体がクロールされないことになるので、そのページに記述したmetaタグのnoindexや、そのページに向けてhtaccessファイルに記述したX-Robots-Tag HTTP ヘッダーのnoindexは認識されません。
そうなれば、低品質ページが検索結果に表示されたままとなり(インデックス削除されずに)、クロールを拒否しただけとなります。
なので、noindexを認識させたければ、クロール拒否との併用は避けましょう。
そして、noindexとクロール拒否を状況に応じてうまく使い分ければ、クロールの浪費を減らしてクローラビリティの改善につなげることができるので、その分SEO効果も期待できるでしょう。

まとめると基本的には、重要性の低いページ(ファイル)は、noindexの設定、もしくはページ自体の削除を行いましょう。
とくに、ページ自体を削除すれば、ページに対するクロールの浪費が無くなり、かつサイト自体の品質を上げることにもつながるので、一石二鳥でクローラビリティが良くなります。
また、noindexを設定しなくても、インデックスされないファイル形式であれば、クロール拒否を検討する価値があります。
ですが、インデックスされないファイル形式であるCSSやJavascriptに対しては、クロール許可してほしいと、Googleの人が言及してます。
こうしたことも考慮して、クロール拒否を行い、かつ他の方法も踏まえながらクローラビリティを改善することがSEO対策を進めるためのポイントと言えます。

不要なアクセスをブロックする

不要なアクセスを除外して、 正常なクローリングを保ちしながら、 クローラビリティを改善しよう!

不要なアクセスをブロックするには、.htaccessファイルを活用します。
例えば、とくに目立ったアップデートがないのに、突如アクセス数が急増してサーバーが重くなることがあります。
この場合、Googleアナリティクスのリファラーやアクセスログからアクセス元を特定し、そのアクセス元のドメインやIPアドレスを拒否するコードをhtaccessファイルに記述します。

このように記述したファイルをアップロードすれば、deny fromで書き始めた特定のドメインやIPアドレスからのアクセスがブロックできます。
つまり、不要なアクセスがブロックできるので、サーバーの負荷が軽減できます。
結果的に、Webページを正常にクロールすることができるので、クローラビリティが良くなるというわけです。

こうして、不要なアクセスを除外して、正常なクローリングを保つことが、クローラビリティを改善するためのポイントとなります。

また、Googlebotからのアクセスが多いことでサーバーに負荷が生じてる場合は、基本的にGooglebotのクロール頻度を調整するようにしましょう。

ちなみに、こういった特定のクローラーからアクセスを拒否(クロール拒否)する場合は、htaccessファイルもしくは、robots.txtが活用できます。
ですが、誤ってGooglebotからのアクセスを拒否しないようにくれぐれも注意が必要です。

一方、不要なアクセスをブロックしないと、クローラビリティが悪くなります。
例えば、リファラースパムによるリクエスト(アクセス)が多すぎることで、サーバーの処理速度が遅延もしくは、サーバーダウン(サーバーエラー)してるとします。
そういった状態にも関わらず、そのアクセスをブロックしなければ、クロール頻度が下がるので、クローラビリティが悪くなるというわけです。
そうなれば、インデックスが促進されないので、その分SEO効果が見込めないでしょう。

付け加えると、こういったアクセス拒否を行うことで、クローラビリティの改善につながる反面、有用なアクセスを失う可能性もあります。
つまり、リスクも伴うので、専門の技術者を交えて慎重に不要なアクセスをブロックすることを検討しましょう。

URL検査ツールを活用する

URL検査ツール(旧:Fetch as Google)を活用するには、まずサーチコンソールにログインします。
例えば、サーチコンソールにログイン後、メニューの「URL検査」からクロールを促したい自身のサイトのページURLを検索窓に入力して、「インデックス登録をリクエスト」します。

サーチコンソールのURL検査ツールでインデックス登録をリクエストする

そうすれば、クローラー(Googlebot)の巡回を促すことができるので、入力したページURLに対して一時的にクローラビリティが良くなります。
これは、リライトしたページのURLに対してよく実施します。

こうして、専用のツールを活用して、強制的にクローラーを呼び込むことが、クローラビリティを改善するためのポイントとなります。

一方、URL検索ツールを活用しなければ、一時的にクローラビリティを良くすることができません。
もう少し言うと、リライトした良質なWebページ(ブログ記事)を公開しても、そのページURLをURL検査ツールからリクエストしなければ、最新のコンテンツ内容がより迅速にクロールされません。
そうなれば、最新のコンテンツ内容がクロールされるまでの間は、古いコンテンツがインデックスされた状態が続くので、その分SEO効果が期待できないわけです。

ちなみに、先述したように、URL検査ツールによるインデックス登録のリクエストは、特定のページURLに対して一時的にクロールを促進するだけです。
つまり、極端に言えば、1回クロールされて終わりです。
なので、根本的にクローラビリティの低いページなら、Webページの情報がクローラーにしっかり読み取られない可能性があります。
そうなれば、インデックスが促進されないので、SEO効果が見込めません。
これを回避するためには、質の高いコンテンツ増やしてサイト自体の質を高めたり、関連する高品質ページへの内部リンクを増やすなどして、根本的にクローラビリティを良くすることが重要です。

まとめ

クローラビリティを良くして、コンテンツの内容をしっかりインデックスさせましょう。
ですが、質の低いページをクロールさせても、Googleに最大限評価されるわけではありません。

Googleに最大限評価されるためには、良質なページをクロールさせることが重要です。
具体的には、1キーワードにおけるユーザーの検索意図を考慮して、Webページを作成します。
さらに、ユーザーの求める情報の量(網羅性/包括性)や手に入れやすさ(簡便性)、信憑性、独自性まで加味して良質なページに仕上げます。
こうした良質なページを増やして、E-A-Tやクローラビリティ、ユーザビリティを織り交ぜた、より信頼できるサイトにすることが、SEO対策で上位表示を目指すためのポイントとなります。

SEOラボのおすすめ記事がLINEに届く!「SEOラボを友だち追加する」

カテゴリから記事を探す

SEO対策無料ご提案はこちら