robots.txt作成・チェック
robots.txtをフォームで作成します。User-agentごとのAllow・Disallow、Sitemap(複数)、Crawl-delayに対応。全許可・全ブロック・WordPressの例も。貼ったrobots.txtの構文の誤りも確認できます。ブラウザ内だけで処理。
読み込み中…
次におすすめ
使い方と仕様
robots.txt は、検索エンジンなどのクローラーに「このパスは巡回しないでください」とお願いする、サイトの一番上(https://example.com/robots.txt)に置くテキストファイルです。このツールは、User-agent(* や Googlebot など)ごとのグループに、Allow と Disallow のパスを好きなだけ並べ、Sitemap の URL(複数可)を足して、そのファイルの中身を作ります。複数の User-agent に同じルールを使いたいときは、カンマで区切って並べます。改行コードは LF と CRLF を選べます。
重要: robots.txt はアクセス制限ではありません。巡回をお願いするだけで、従わないクローラーもありますし、人は URL を直接開けます。さらに、ファイルは誰でも読めるので、見せたくないページのパスを書くと、かえってその場所を教えることになります。見せたくないものは、パスワードや認証で守ってください。また、巡回を止めることと、検索結果に載せないこと(noindex)は別です。Disallow したページでも、外部のリンクなどから URL だけが検索結果に出ることがあります。載せたくないページには、巡回を許したうえで noindex を指定します(巡回を止めると、noindex が読まれません)。
パスは / で始め、先頭からの一致で判定されます。Google などは * (任意の文字列)と $ (行末)も使え、大文字・小文字は区別されます。Disallow: の値を空にすると「何も禁止しない」、Disallow: / はサイト全体の禁止です。Crawl-delay は標準の項目ではなく、Google は使わないと案内されています。使う検索エンジンも、読み方が同じとは限らないので、任意の項目として扱ってください。ファイルは UTF-8 で、Google が読むのは先頭 500 KiB までです。
「貼ってチェック」では、貼った robots.txt の構文を確かめます: User-agent より前にあるルール、ルールの無いグループ、値の無い User-agent、絶対 URL でない Sitemap、/ で始まらないパス、同じパスの Allow と Disallow の重なり、同じ User-agent のグループが複数あること、よく使われる項目以外のフィールド(綴り違い)。これは構文の目安で、クローラーが実際にどう読むかを保証するものではありません。Google の場合は、Search Console の robots.txt の確認機能も使ってください。
プリセットの「WordPress のよくある例」は、よく見かける書き方の一例です。サイトの作りやプラグインによって、必要な設定は違います。そのまま貼らずに、自分のサイトで確かめてください。入力は外部に送らず、ブラウザの中だけで処理します。
よくある質問
- robots.txt に書けば、ページを隠せますか?
- 隠せません。robots.txt はクローラーへのお願いで、アクセスを防ぐものではありません。誰でも読めるファイルなので、パスを書くと場所を知らせることにもなります。見せたくないものは、認証をかけてください。
- Disallow と noindex は何が違いますか?
- Disallow は「巡回しないで」というお願いで、noindex は「検索結果に載せないで」という指定です。Disallow したページも、外部のリンクなどから URL が検索結果に出ることがあります。載せたくないなら、巡回を許したうえで noindex にします。巡回を止めると、ページの noindex が読まれません。
- Crawl-delay は効きますか?
- Google は使わないと案内されています。ほかの検索エンジンでも、対応や読み方は同じとは限りません。必要なら、検索エンジンごとの案内で確かめてください。
- どこに置けばいいですか?
- サイトのドメイン直下です(https://example.com/robots.txt)。サブドメインやポート、http と https は別のサイトとして扱われるので、それぞれに置きます。UTF-8 のテキストファイルで保存してください。