SEO対策に関する実験やデータ分析などを公開します

seoラボラトリー

  • follow us in feedly

robots.txtとは~書き方とdisallowについて

2016/08/15 2017/06/28

robots.txt活用で、アクセス制限しながら、サイトのパフォーマンスを向上させることが可能です。

今回は、robots.txtの書き方やdisallow、sitemap指定、robots.txtとSEOについて中心に解説したいと思います。

robots.txtとは~書き方とdisallowについて

あなたのサイトの順位は大丈夫ですか?順位・リンク・内部を調べ、必要な対策をご案内します(無料)⇒

robots.txtとは

robots.txtとは、アクセス制限(拒否・許可)してほしいwebサイトを指定できるテキストファイル(.txt)のことです。

robots.txtでは、不要なwebページへのアクセスを拒否、必要なwebページへのアクセスを促したりすることが可能です。

robot.txtを効果的に活用し、サイトのパフォーマンス向上に役立てることができます。

robots.txtの書き方

robots.txtの基本的な書き方は以下のようなになります。

User-Agent:*
Disallow:

Sitemap:http://example.com/sitemap.xml

User-Agent ⇒クローラーの種類を指定します(*(アスタリスク・ワイルドカード)は、すべてのクローラーという意味です])
Disallow ⇒アクセス制限(拒否)したいwebサイト/ディレクトリ/ページを指定することが可能です
Sitemap ⇒サイトマップの位置を知らせます

上記の書き方をベースに、場合に応じて、以下robots.txtの書き方を参考にしましょう。

・クローラーを指定するrobots.txtの書き方
・クローラーのアクセスを制限(拒否)するrobots.txtの書き方
・クローラーのアクセスを許可するrobots.txtの書き方
・sitemap(サイトマップ)の位置を知らせるrobots.txtの書き方

クローラーを指定するrobots.txtの書き方
全てのクローラーを指定する場合
User-Agent:*
Googleのクローラーを指定する場合
User-agent: Googlebot
Google画像検索のクローラーを指定する場合
User-agent: Googlebot-Image

指定できるクローラの種類は、「Google クローラ – Search Console ヘルプ」「robots.txt ファイルを作成する – Search Console ヘルプ robots.txt ファイルで使用する URL ブロック コマンド」から確認できます

クローラーのアクセスを制限(拒否)するrobots.txtの書き方
ディレクトリの場合
User-Agent:*
Disallow: /example/
ページの場合
User-Agent:*
Disallow: /example/sample.html
サイト全体の場合
User-Agent:*
Disallow: /

上記と合わせ、.htaccessファイルでのパスワード保護やnoindexメタタグで、より確実にクローラーのアクセス制限(拒否)が可能です。
※参考:robots.txt ファイルについて – Search Console ヘルプ

クローラーのアクセスを許可するrobots.txtの書き方
User-agent: *
Disallow: /example/
Allow: /example/sample.html

使う機会は少ないですが、特定ページのアクセス許可にAllowが有効です。

sitemap(サイトマップ)の位置を知らせるrobots.txtの書き方
User-Agent:*
Disallow:

Sitemap:http://example.com/sitemap.xml

Sitemapでサイトマップの位置を記述し、クロールを促すことが可能です。

あなたのサイトの順位は大丈夫ですか?順位・リンク・内部を調べ、必要な対策をご案内します(無料)⇒

robots.txtとdisallowについて

robots.txtの基本的な記述であるdisallowを活用し、クローラーのアクセス制限(拒否)を行います。

先述したように、disallowでは、アクセス制限(拒否)するwebサイトのページ、ディレクトリ、サイト全体を指定することが可能です。

robots.txtのdisallowを有効活用し、質の低いアクセスを制限(拒否)しながら、サイトパフォーマンス向上に役立てましょう。

robots.txtの作成方法

robots.txtを作成するには、「自分でrobots.txtを作成し、サーバーにアップする」方法があります。

基本は、自分で新規テキストファイルに必要なコードを記述し、robots.txtを作成します。

作成したrobots.txtをサーバーにアップロードすることで、初めてrobots.txtが機能します。

またサーチコンソールの付属機能のrobots.txt テスターツールを活用し、新しいrobots.txt ファイルの作成や既存の robots.txt ファイルの編集を行うことが可能です。
※参考:robots.txt ファイルを作成する – Search Console ヘルプ

robots.txtの確認方法

robots.txtを確認するには以下のような方法があります。

・テキストエディタを使ってrobots.txtを確認する
⇒FTPサーバーからダウンロードしたrobots.txtをテキストエディタで開き内容を確認する

・robots.txtテスターツールを活用する
⇒サーチコンソールの付属機能「robots.txtテスター」からrobots.txtの内容を確認する

・ブラウザのアドレスバーでrobots.txtのURLを直接開く
⇒「http://example.com/robots.txt」のようにブラウザのアドレスバーにURLを直接入力して、robots.txtの内容を確認する

robots.txtとsitemap(サイトマップ)指定

robots.txtにsitemap(サイトマップ)の位置を記述し、クローラーに伝えることが可能です。

先述したとおり、robots.txtにおけるsitemap(サイトマップ)指定は基本以下のような記述になります。

User-Agent:*
Disallow:

Sitemap:http://example.com/sitemap.xml

上記robots.txt以外に、「xml形式(sitemap.xml)」や「フィード(rss、atom)」で、サイトマップを認識させる方法もあります。

robots.txtとSEOについて

robots.txtを有効活用し、SEO効果を高めることが可能です。

例えば、自サイトにある質の低いページ・ディレクトリへのアクセスを制限することで、サイトの質を向上させる効果が期待できます。

質の低いページがある場合、robots.txtの活用以外に以下のようなSEO方法の検討も必要です。
・質の低いページ・ディレクトリをサーバー上から削除する
・質の低いページ・ディレクトリを改善し、良質なコンテンツに改善する

上記のようrobots.txt等活用し、サイトの質を管理しながら、SEO対策を進めましょう。

あなたのサイトの順位は大丈夫ですか?順位・リンク・内部を調べ、必要な対策をご案内します(無料)⇒

robots.txt テスターについて

robots.txt テスターを使って、以下のようrobots.txtを確認・編集し、動作してるかテストすることが可能です。
※robots.txt テスターは、サーチコンソールの付属機能の一つです。サーチコンソールを使うには、「サーチコンソール(Google Search Console)の使い方と登録方法教えます」をご参照ください
※参考:robots.txt テスターで robots.txt をテストする – Search Console ヘルプ

①サーチコンソールにログイン後、左メニューの「クロール」>「robots.txt テスター」をクリックする

robots.txt テスターについて イメージ①

②A部分では「robots.txtの記述内容の確認・編集内容の送信」、B部分では「robots.txtに記述したURLがブロックされてるか確認テスト」ができます。

robots.txt テスターについて イメージ②

B部分は、robots.txtのDisallowページやディレクトリを記述し、プルダウンリストでエージェントを選択後、「テスト」ボタンをクリックします。
Disallowページやディレクトリがブロックされてれば、以下のように該当コードがハイライトされ、「ブロック済み」を表示されます。

robots.txt テスターについて イメージ③

robots.txtとnoindex

robots.txt以外にアクセス制限する似た方法として、以下のようnoindex(htmlファイルに記述するmeta要素のcontent属性に指定できる値)を使う方法があります。

<meta name=”robots” content=”noindex, nofollow”>

noindexは、検索エンジンにページを認識(インデックス)させないために指定する方法で、ロボットのアクセス自体禁止するrobots.txtのdisallow記述とは、少し異なります。

robots.txtとwordpress

wordpressでブログサイトを構築することで、自動的にrobots.txtが生成されるケースがあるようです。

しかし、自動的に生成されないケースもあるので、robots.txtがサーバー上に存在してるか確認することをおすすめします。

まとめ

robots.txtをうまく活用し、良質なサイト運営に役立てましょう。

サイトの質を高め、Googleに評価されやすくしながら、順位上昇を目指すことが重要です。

あなたのサイトの順位は大丈夫ですか?順位・リンク・内部を調べ、必要な対策をご案内します(無料)⇒

順位が上がらないのは、何が原因??
順位決定の仕組と、
サイトの問題点をアドバイス(無料)

お申込みはこちらから

上位表示を目指すURL

※アメブロ、jimdo、fc2ブログのURLはご遠慮ください

上位表示を目指すキーワード

会社名/組織名

ご担当者様名

電話番号

メールアドレス

※個人情報の管理は「プライバシーポリシー」に同意の上お申し込みください

SEOラボのおすすめ記事がLINEに届く!「SEOラボを友だち追加する」

最新記事

本日の順位変動幅順位変動情報へ