Search Engine Journal(SEJ)に、robots.txt のガイドが出ました。
11月18日付けで、読むのに17分かかるという長い記事です。
書き方の基本からよくある間違いまで一通り載っていますが、私が気になったのは AI のボットの部分です。
ボットを3種類に分けて、それぞれ robots.txt に従うかどうかを表にしています。
「AI に学習されたくないので robots.txt で止めておいて」という相談は制作の現場でも、ときどき聞くことがあります。
そこで、表の中身を Google・OpenAI・Anthropic・Perplexity の公式ドキュメントで確かめてみました。
ひとことで
robots.txt で止められるのは学習用と検索用の AI ボットです。
ユーザーの操作で動くボットは会社によっては robots.txt を見ません。
Google、OpenAI、Perplexity はユーザーの操作で動くボットについて「robots.txt を無視することがある」と公式に書いています。
robots.txt はお願いであって、鍵ではない、ということです。
前提: AI のボットは3種類ある
SEJ は AI のボットを次の3種類に分けています。
- 学習用: AI のモデルを学習させるためのデータを集める
- 検索用: AI の検索機能に出すために、ページを集めて索引を作る
- ユーザーの操作で動くもの: 利用者が AI に質問したときなどに、その場でページを読みに来る
この3つは止めたときの影響がそれぞれ違います。
学習用を止めても、AI の検索結果に出なくなるわけではありません。
検索用を止めると、AI の検索結果で引用されにくくなります。
「学習用・検索用・ユーザーの操作で動くもの、それぞれに別のルールを書く」というのが SEJ のおすすめでした。
会社ごとの対応表
4社の公式ドキュメントで確かめた結果です。
「robots.txt」の列は公式ドキュメントの書き方をもとにしています。
| 会社 | ボットの名前 | 種類 | robots.txt |
|---|---|---|---|
| OpenAI | GPTBot | 学習用 | 従う |
| OpenAI | OAI-SearchBot | 検索用 | 従う |
| OpenAI | ChatGPT-User | ユーザーの操作 | 適用されないことがある |
| Anthropic | ClaudeBot | 学習用 | 従う |
| Anthropic | Claude-SearchBot | 検索用 | 従う |
| Anthropic | Claude-User | ユーザーの操作 | 従う |
| Perplexity | PerplexityBot | 検索用 | robots.txt で管理する |
| Perplexity | Perplexity-User | ユーザーの操作 | 一般に無視する |
| Google-Agent など | ユーザーの操作 | 一般に無視する |
ユーザーの操作で動くボットの説明は会社ごとにかなり違います。
- Google: 「利用者が求めた取得なので、これらのフェッチャーは一般に robots.txt のルールを無視する」
- OpenAI: ChatGPT-User について「利用者が始めた操作なので、robots.txt のルールが適用されないことがある」
- Perplexity: Perplexity-User について「利用者が求めた取得なので、一般に robots.txt のルールを無視する」
- Anthropic: 3つのボットすべてについて「robots.txt の標準的な指示に従う」
Anthropic だけはユーザーの操作で動くボットも robots.txt に従うと書いています。
SEJ の表でも Claude-User は「従う」になっていて、公式ドキュメントと合っていました。
Google のユーザーの操作で動くものは Google-Agent だけではありません。
Google-GeminiNotebook(Gemini のノートブック機能)や FeedFetcher-Google(フィードの取得)などもあります。
なお、SEJ の表にはこの4社のほかに3社のボットも載っています。
- Mistral の MistralAI-User: 従う
- Meta の meta-externalfetcher: 従わない
- Amazon の Amzn-User: 従わない
この3社は私は公式ドキュメントを確かめていないので、SEJ の表による情報として読んでください。
Google-Agent をファイアウォールなどで通す方法のヘルプは11月18日のまとめで紹介しています。
Google-Extended は「クローラー」ではない
Google の学習を止める名前として知られている「Google-Extended」はそれ自体がサイトを読みに来るクローラーではありません。
Google の公式ドキュメントによると、Google-Extended にはアクセスのときの User-Agent の文字列がありません。
あくまで robots.txt に書くための名前だそうです。
Google-Extended を止めて決められるのは Googlebot が集めた内容を Gemini の学習などに使うかどうかです。
Google 検索に載るかどうかや、順位には影響しないと明記されています。
逆に言うと、Google-Extended を止めても、Googlebot のクロールのリクエストは減りません。
この点は SEJ も「よくある間違い」の1つに挙げていました。
ちなみに Google は、学習に使ってよいかを伝える共通の仕組み(AIPREF)に、2027年の初めに対応する予定だそうです。
止められないボットへの考え方
robots.txt はルールを守るボットにだけ効きます。
守らないボットや、ユーザーの操作で動くボットまでは止められません。
見られたくない内容はログインなどの認証で守る必要がある、と SEJ も書いていました。
「robots.txt で止めたから、この内容は AI に読まれない」とは考えないほうがよさそうです。
また、止めたつもりのボットが本当に来ていないかはサーバーのアクセスログで確かめられます。
User-Agent の文字列はなりすましもできるので、気になる場合は各社が公開している IP アドレスの範囲と照らし合わせることになります。
WordPress で AI のボットの行を足すには
WordPress のサイトではサーバーに robots.txt のファイルがないとき、WordPress が中身を作って返しています。
コアのコードを読むと、do_robots() という関数が次の内容を出していました。
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpWordPress 5.5 以降はここに WordPress のサイトマップの行(Sitemap: …/wp-sitemap.xml)も足されます。
最後に robots_txt というフィルターを通るので、プラグインやテーマから行を足せる作りです。
AI のボットの行を足す方法は2つあります。
1. robots_txt フィルターで足す
子テーマの functions.php などに書く例です。
私は試していないので、「こうすればよさそう」という程度です。
add_filter( 'robots_txt', function ( $output, $is_public ) {
if ( ! $is_public ) {
return $output;
}
$output .= "\nUser-agent: GPTBot\nUser-agent: ClaudeBot\nDisallow: /\n";
return $output;
}, 10, 2 );学習用の GPTBot と ClaudeBot だけを止める例です。
WordPress が作る内容とサイトマップの行はそのまま残ります。
$is_public は管理画面の「表示設定」にある「検索エンジンがサイトをインデックスしないようにする」にチェックが入っていないときに true になります。
2. robots.txt のファイルを置く
サーバーの WordPress のフォルダーに robots.txt のファイルを置くと、そちらが優先されます。
ファイルがあると WordPress の処理まで届かないので、WordPress が作る内容は使われなくなります。
この場合、/wp-admin/ の行やサイトマップの行も自分で書く必要があります。
置いたあとで「サイトマップの行が消えた」とならないよう、気をつけたいところです。
SEO のプラグインの中にも robots.txt を編集する機能を持つものがあります。
複数の仕組みで robots.txt を触っていると、どれが効いているのか分かりにくくなるので、どれか1つにまとめておくのがよさそうです。
書いたあとの確かめ方
書いたあとはブラウザで https://example.com/robots.txt を開いて、実際に返っている内容を見ます。
Google については Search Console の「設定」→「robots.txt」でレポートが見られます。
Google が取得した robots.txt と、書き方の警告やエラーが出ます。
大事な変更をしたときはここから取り直しをリクエストできるそうです。
このほか、Google の仕様で SEJ が触れていないものも、いくつか押さえておくと安心です。
- 読むのはファイルの先頭から 500 KiB まで
- キャッシュは最大24時間。書き換えてもすぐには反映されない
- 404 などの 4xx(429 を除く)は「robots.txt がない」扱いで、クロールの制限なしになる
- 5xx が続くと、最初の12時間はクロールを止め、30日までは前回取得した内容を使う
サーバーが robots.txt の代わりにエラーを返していると、意図と逆の結果になることがある、ということです。
Search Console の表示を見て、直すべきか待つべきかを考えた記事はこちらです。
判断基準のまとめ
- 「AI に学習されたくない」なら、まず学習用のボット(GPTBot、ClaudeBot など)と Google-Extended を止める
- 検索用のボットまで止めると、AI の検索結果に出にくくなる。止めるかはサイトの方針で決める
- ユーザーの操作で動くボットは、Google・OpenAI・Perplexity では robots.txt で止められないと考えておく
- 見られたくない内容は robots.txt ではなく、ログインなどで守る
- WordPress ではファイルを置くと WordPress が作る内容が使われなくなるので、サイトマップの行を書き忘れない
- 書いたら robots.txt を直接開き、Search Console のレポートでも確かめる
出典
- Search Engine Journal「Robots.txt Guide – Best Practices For Search & AI Crawlers」(2026年11月18日): https://www.searchenginejournal.com/technical-seo/robots-txt-guide-best-practices-for-search-ai-crawlers/
- Google「Google User-Triggered Fetchers」: https://developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
- Google「Google’s common crawlers」: https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google「How Google Interprets the robots.txt Specification」: https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec
- OpenAI「Overview of OpenAI Crawlers」: https://developers.openai.com/api/docs/bots
- Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」: https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity「Perplexity Crawlers」: https://docs.perplexity.ai/guides/bots

