SEO対策に関する実験やデータ分析などを公開します

SEOラボ

robots.txtとは~書き方とSEO効果について

2016/08/15 2018/01/18

クローラー対策していますか?ページを公開してもクローラーが巡回してこない限りインデックスされません。
そのため“robots.txt”によってサイト内の重要なページを優先的に巡回させ、クロール不要なページを制御することがSEOの改善にも繋がります。

SEO対策を進めるためには、こういったクローラビリティについても考慮しておく必要があります。

では今回は、サイト内のクロールを制御するrobots.txtの書き方やSEO効果についてご説明したいと思います。

robots.txtとは~書き方とSEO効果について

robots.txtとは

まずはじめにrobots.txtとは、冒頭でもご説明した通り、クローラーにサイト内の巡回を制限(拒否・許可)する内容を記述したテキストファイル(.txt)のことを言います。

このファイルをサーバーに置くことによって直接SEO効果が得られるものではありませんが、クローラーに重要なページを中心にクロールしてもらうことが後に検索順位にも影響する可能性があることから、できれば設置しておきたいところです。

このようにrobots.txtでは、検索結果に表示する必要のないページへのアクセスを拒否し、必要なページへのアクセスを促したりすることが可能です。
これによってクロールの回数を効果的に最適化し、サイト全体のSEO改善に役立てることができます。

また、クローラーは外部や内部などのリンクを辿って巡回し、その数も限られていることから、クロール不要なページにを制御して重要なページを優先して巡回してもらうことが重要です。

関連記事 クローラーとは~Googleへの申請・登録方法と仕組み

robots.txtの書き方

robots.txtの基本的な書き方は以下のようなになります。
特にクロールの拒否・許可などの指定がなければ、下記の記述にサイトマップのパスだけ変更してアップしておくと良いでしょう。

robots.txtを作成するには、新規テキストファイルに必要なコードを記述してサーバーにアップします。

またサーチコンソールの「robots.txt テスターツール」を利用すると、新しいrobots.txtファイルの作成や既存のrobots.txtファイルの編集を直接行うことが可能です。
※参考:robots.txt ファイルを作成する – Search Console ヘルプ

では、robots.txtの記述について詳しくご説明していきます。

制御したいクローラーを指定する

1行目の「User-Agent」にはクローラーの種類を指定します。

全てのクローラーを指定する場合
Googleのクローラーを指定する場合
Google画像検索のクローラーを指定する場合

通常は「*」のままで良いかと思いますが、指定できるクローラーの種類は、下記のヘルプページから確認できますので、必要があれば適宜記述してください。
参考:Google クローラ – Search Console ヘルプ

クロールを制限する

次に、Disallowとはアクセスを制限(拒否)したいページやディレクトリを指定します。

ディレクトリの場合
ページの場合
サイト全体の場合

このrobots.txtと、.htaccessファイルでのパスワード保護やnoindexタグを組み合わせて使うことによって、より確実にクローラーのアクセス制限(拒否)が可能です。
参考:robots.txt ファイルについて – Search Console ヘルプ

クロールを許可する

また、Allowに特定のページやディレクトリなどを記述することによって、クロールを許可することも可能です。
使う機会は少ないかもしれませんが、特定のページだけ許可したい場合にAllowを指定します。

特定のページのみ許可する場合

サイトマップを知らせる

Sitemapにサイトマップのパスを記述することで、クロールを促すことが可能です。
複数ある場合には改行して記述してください。

robots.txtとnoindexの違いについて

robots.txtは上記のようにクローラーのアクセスを制御することができますが、強制力としては弱いため、リンクから辿ってくるとインデックスしてしまう場合もあります。
そのため、確実にクロールの拒否を行いたい場合は「noindex」を使いましょう。

noindexとは、検索エンジンにページを認識(インデックス)させないために指定する方法で、ロボットのアクセス自体禁止するrobots.txtのdisallow記述とは、少し用途や意味が異なります。

robots.txtの確認方法

robots.txtを設置したら正しく記述されているか確認しておきましょう。
その確認には以下のような方法があります。

robots.txtテスターについて

サーチコンソール内の“robots.txtテスター”を使って、robots.txtを確認・編集し、正しく動作してるかテストすることが可能です。
※参考:robots.txt テスターで robots.txt をテストする – Search Console ヘルプ

まず、サーチコンソールにログイン後、左メニューの「クロール」>「robots.txt テスター」をクリックします。

robots.txt テスターについて イメージ①

すると、ご覧のように現在公開されているrobots.txtが表示されます。(ない場合は「robots.txt が見つかりません(404)」と表示されます。)
ここではURLを入力して「テスト」をクリックすると、robots.txtが正しく動作しているかどうか確認することができます。

robots.txt テスターについて イメージ②

robots.txtのDisallowページやディレクトリを記述し、プルダウンリストでエージェントを選択後、「テスト」ボタンをクリックします。
すると、正しくブロックされていれば、以下のように該当コードがハイライトされ、「ブロック済み」と表示されます。

robots.txt テスターについて イメージ③

まとめ

ということで、今回はrobots.txtの書き方などについてご説明してきましたが、このファイルを利用してGoogleに重要なページを多くクロールしてもらい、サイト内を無駄なくクローラーが巡回できる状態にしておくことが大切です。

そして、あなたのサイトにもし質の低いページやディレクトリなどがあれば、noindexやページの削除・リライトなどを合わせて行い、サイト全体の質を向上させることによって上位表示を目指しましょう。

SEOラボのおすすめ記事がLINEに届く!「SEOラボを友だち追加する」

カテゴリから記事を探す