AI クローラー・llms.txt チェッカー — GPTBot・ClaudeBot などの許可状況を確認

結果はどう読めばいいですか？

各行の「判定」がそのクローラーに対する robots.txt の結論で、「根拠」がその結論を決めた User-agent のグループと Allow / Disallow の行です。入力した URL のパスについての判定なので、パスを変えると結果が変わることがあります。

• 許可 — robots.txt はこのパスの取得を止めていません。該当ルールが無い場合も許可です
• 拒否 — Disallow が最も長く一致した場合のほか、robots.txt が 5xx（サーバーエラー）か 429（リクエスト過多）を返した場合です
• 未確認 — robots.txt を取得できなかったため、判定していません。「許可」とみなしてはいけません

根拠の欄に「User-agent: * のルールは適用されません」と出ている行は、名指しのグループがあるために * のルールが外れているクローラーです。意図した設定かどうか、必ず確認してください。Googlebot は AI クローラーではありませんが、通常の検索まで止めていないかを見るための対照として並べています。

どういう規則で判定していますか？

robots.txt の標準仕様 RFC 9309 に沿って判定します。クローラー名に完全一致するグループを選び、無ければ * のグループを使い、その中で最も長く一致したルールで決めます。robots.txt の取得結果（HTTP ステータス）による扱いも仕様に沿いますが、429 だけは Google の扱いに合わせています。

AI クローラーの種類と、拒否すると何が起きますか？

学習用・検索用・ユーザー操作用の 3 種類があり、拒否したときの影響がまったく違います。学習用の拒否は将来の学習から外れるだけですが、検索用を拒否すると AI 検索の回答で引用元として表示されなくなります。

各社の説明（公式文書）は次のとおりです。

• OpenAI — GPTBot を拒否すると、生成 AI の基盤モデルの学習に使わないという意思表示になります。OAI-SearchBot を拒否したサイトは ChatGPT の検索の回答に表示されません。robots.txt の変更が検索結果に反映されるまでは約 24 時間かかるとしています（OpenAI のクローラー一覧）
• Anthropic — ClaudeBot を拒否すると今後の学習データから外れ、Claude-SearchBot を拒否すると検索結果での露出が減る可能性があるとしています。3 つのボットとも robots.txt に従うと説明しています（Claude ヘルプセンター）
• Perplexity — PerplexityBot は Perplexity の検索結果にサイトを表示するためのもので、基盤モデルの学習には使わないとしています（Perplexity のクローラー一覧）
• Google・Apple — Google-Extended と Applebot-Extended はクロールしない制御用のトークンで、AI の学習等に使ってよいかだけを伝えます。どちらも検索への掲載や順位には影響しないと明記されています（Google・Apple）

robots.txt で AI クローラーを確実に止められますか？

止められません。robots.txt は「取得しないでほしい」という依頼で、アクセス制御ではありません。RFC 9309 自体が、アクセス許可の仕組みではないと明記しています。さらにユーザー操作用の取得には robots.txt が適用されない場合があると、事業者自身が説明しています。

OpenAI は ChatGPT-User について、ユーザーが起点の操作なので robots.txt のルールが適用されない場合があるとしています。Perplexity は Perplexity-User について、ユーザーが求めた取得なので robots.txt を基本的に無視すると説明しています。本ツールはこの 2 つに、判定結果とは別にこの但し書きを表示します。

確実に止める必要がある内容は、認証をかけるか、サーバー・CDN 側で遮断してください。User-Agent は自己申告なので、厳密に遮断するなら各社が公開している IP レンジと組み合わせます。

llms.txt は置いたほうがいいですか？

置くかどうかは任意です。Google は検索（AI 機能を含む）で llms.txt を使わず、置いても良くも悪くも影響しないと公式に説明しています。OpenAI・Anthropic・Perplexity のクローラーの公式文書にも、llms.txt を読むという記載はありません（2026 年 9 月時点）。

Google は、AI 向けのテキストファイルを作る必要は無いとしたうえで、他のサービスのために llms.txt を置くこと自体は問題ないとも書いています（Google 検索セントラル）。本ツールは、置いてある場合に正しく配信されているかを確認します。

検索用は許可し、学習用だけ拒否するにはどう書きますか？

学習用のトークンだけを名指しして Disallow: / を書き、それ以外は User-agent: * に任せます。検索用のトークンを名指しする必要はありません。名指しすると * のルールが引き継がれなくなるため、共通の制限を書き写す手間と漏れが生じます。

# 学習用・学習の意思表示用のトークンだけを拒否する
# （連続する User-agent 行は 1 つのグループになる）
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# それ以外（Googlebot・OAI-SearchBot・Claude-SearchBot・PerplexityBot など）
User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

この書き方なら、検索用のクローラーは * のグループに従い、/admin/ 以外を取得できます。Google-Extended を拒否しても Google 検索には影響しません。

よくある間違い: 検索用を名指しして共通ルールが外れる

User-agent: OAI-SearchBot
Allow: /

User-agent: *
Disallow: /admin/

OAI-SearchBot は自分のグループだけを読むので、/admin/ も取得できてしまいます。名指しのグループを作るなら、Disallow: /admin/ をそのグループにも書いてください。書いたら、このツールで /admin/ のパスを入れて、意図どおり拒否になるかを確かめられます。