robots.txt テスター — クローラーごとのクロール可否を判定
サイトの URL（または公開前の robots.txt の内容）と、確認したいパス・クローラー名を入れると、そのクローラーがそのパスを取得してよいかを RFC 9309 に沿って判定します。決め手になったグループと行を行番号つきで示し、Googlebot・Bingbot・主要な AI クローラーの早見表と、書き間違いの注意もあわせて表示します。
無料・登録不要結果は保存しません（ログのみ 30 日）更新:
結果はどう読めばいいですか？
一番上の「許可・拒否」が、入力したクローラーと入力したパスについての結論です。その下に、判定に使った User-agent のグループと、そのパスに一致したルールを長い順に並べ、採用した行に印を付けています。本文の表示では、決め手の行とグループの開始行が色付きになります。
- 許可 — そのパスの取得を止めるルールがありません。一致するルールが無い場合、robots.txt が無い（404 など）場合も許可です
- 拒否 — Disallow が最も長く一致した場合と、robots.txt が 5xx（サーバーエラー）か 429（リクエスト過多）を返した場合です
- 未確認 — リダイレクトが続いてリクエストが 4 件の上限に達するなどで robots.txt を読めなかった場合です。「許可」とみなさないでください
「このパスに一致したルール」に複数の行が並んでいるときは、長さの数字を比べてください。一番長いものが採用されます。名前を指定したグループがあるせいで User-agent: * のルールが外れ、結論が変わっている場合は、その旨を注記します。意図した設定かどうかを必ず確認してください。
どういう規則で判定していますか？
robots.txt の標準仕様 RFC 9309 に沿って判定します。クローラー名に完全一致するグループを選び、無ければ * のグループを使い、その中で最も長く一致したルールで決めます。総合診断・AI クローラー・llms.txt チェッカーと同じ判定処理を使っているので、結論は食い違いません。
| 状況 | 判定 | 根拠 |
|---|---|---|
| グループの選び方 | 名前の完全一致 → 無ければ * | User-agent の照合は大文字小文字を区別しない（RFC 9309 §2.2.1）。前方一致にはしない |
| 名前のグループと * の両方がある | 名前のグループだけを使う | * のルールは引き継がれない。同じ名前のグループが複数あれば結合する（Google も同じ） |
| Allow と Disallow が両方一致 | 長く一致した方 | 最も長い（具体的な）ルールを使う。同じ長さなら制限の緩い Allow（§2.2.2） |
| パターンの書き方 | * は任意の文字列、末尾の $ は URL の終わり | 日本語などは UTF-8 でパーセントエンコードして比べる。パスの大文字小文字は区別する |
値が空の Disallow: | 制限なし | 何も禁止しない書き方。「すべて許可」と同じ |
| robots.txt が 4xx（429 を除く） | すべて許可 | RFC 9309 §2.3.1.3。Google も 429 以外の 4xx を「robots.txt が無い」と扱う |
| robots.txt が 5xx | すべて拒否 | RFC 9309 §2.3.1.4。サーバーエラーで読めないときは全面禁止とみなす |
| robots.txt が 429 | すべて拒否 | RFC 9309 では他の 4xx と同じく全許可でよいが、Google は 5xx と同じ扱いにするため、本ツールは Google に合わせる |
| 200 だが中身が HTML・有効な指示が 0 行 | すべて許可 | クローラーが指示として読めるものが無い |
User-agent: *
Disallow: /search
Allow: /search/about
User-agent: GPTBot
Disallow: /この例で Googlebot が /search/about を取得する場合、Disallow: /search（7 文字）と Allow: /search/about（13 文字）の両方が一致し、長い Allow が勝って許可になります。/search?q=a なら Disallow だけが一致して拒否です。GPTBot は自分の名前のグループだけを読むので、どのパスも拒否になります。
Search Console の robots.txt レポートとは何が違いますか？
Search Console の robots.txt レポートは、Google が実際に取得した robots.txt と、取得時のエラー・警告を示すものです。任意のパスとクローラー名を入れて許否を試す機能は無く、旧来の robots.txt テスターは 2023 年 11 月に提供終了が告知されました。本ツールはその「試す」部分を受け持ちます。
| 確認したいこと | 使うもの |
|---|---|
| Google が最後に取得した robots.txt の中身・取得日時・エラー | Search Console の robots.txt レポート（上位 20 ホストまで。ドメインレベルのプロパティのみ） |
| 修正した robots.txt を Google に早く読み直してほしい | 同レポートの「再クロールをリクエスト」 |
| 特定の URL が Google にクロール・インデックスされているか | Search Console の URL 検査ツール |
| 任意のパスを、任意のクローラー名で取得してよいか | 本ツール（公開中の robots.txt または貼り付けた下書き） |
| GPTBot・ClaudeBot など AI クローラーの許否と各社の但し書き | AI クローラー・llms.txt チェッカー |
本ツールの結論は RFC 9309 と Google の公開文書に沿った判定で、Google の内部の動作そのものではありません。Google は robots.txt を通常最大 24 時間キャッシュするため、書き換えた直後は Google の動作に反映されていないことがあります。
「書き方の注意」には何が出ますか？
判定の結論は変えないものの、書いた人の意図と動作がずれやすい行を行番号つきで示します。User-agent より前に書かれたルール、/ で始まらないパス、「フィールド名: 値」の形になっていない行、Google が対応していない Crawl-delay などです。
| 注意 | 何が起きるか |
|---|---|
| User-agent 行より前の Allow / Disallow | どのグループにも属さないため、どのクローラーにも適用されない |
パスが / で始まらない（例: Disallow: admin） | URL のパスは必ず / で始まるので、どのページにも一致しない |
| 「:」の無い行 | 読み飛ばされる。Disallow の綴り間違いなども同様に無視される |
| Crawl-delay などの拡張 | RFC 9309 には無い。Google は対応しないと明記している（Anthropic のように対応を表明する事業者もある） |
| ルールが 1 行も無いグループ | そのグループに名前のあるクローラーは * のルールも読まないため、全許可になる |
| 500 KiB を超える robots.txt | Google は先頭 500 KiB までしか読まない |
公開前の robots.txt を試すにはどうしますか？
「内容を貼り付けて確認」に切り替え、下書きをそのまま貼り付けます。相手のサイトにはアクセスせず、公開中のものと同じ規則で判定するので、反映前にどのパスが拒否になるかを確かめられます。全面禁止のような事故を公開前に防げます。
特に、サイトのリニューアルでステージング環境の Disallow: / をそのまま本番に持ち込む事故はよく起きます。公開前に / と主要なページのパスを Googlebot で試し、「許可」になることを確かめてから反映してください。書式の基本は robots.txt の書き方 で解説しています。
よくある質問
Google の robots.txt テスターはもう使えないのですか？
使えません。Google は 2023 年 11 月に、Search Console に robots.txt レポートを追加し、旧来の robots.txt テスターの提供を終えると告知しました。レポートは Google が取得した robots.txt とエラーを示すもので、任意のパスを入れて許否を試す機能はありません。
「許可」と出れば検索結果に載りますか？
載るとは限りません。robots.txt が決めるのはクロールしてよいかだけで、インデックスに入るかは内容の品質や noindex の有無などで別に決まります。逆に、検索結果から外したいページを Disallow すると noindex が読まれず、URL だけが載り続けることがあります。
貼り付けた robots.txt はどう扱われますか？
判定のためだけに当サイトのサーバーへ送り、結果を返したら破棄します。保存もログへの記録もしません。相手のサイトにはアクセスしないので、公開前の下書きを試せます。貼り付けられるのは 12,000 文字までです。
このツールは相手のサイトにどのくらいアクセスしますか？
/robots.txt を通常の GET で 1 回取得するだけです。リダイレクトを含めても 1 回の確認で最大 4 リクエストに制限しており、それを超えるリダイレクトの連鎖は「未確認」として扱います。結果は保存せず、入力した URL はログに 30 日残るだけです。