識別されたAIフェッチャーの15%が「拒否」ページに到達していた——9月15日、Cloudflareが既定値を変え、Trainingを止めるとGooglebotまで巻き込まれる

robots.txtに「拒否」と書いたページに、AIは入ってきていた。

TollBitが2026年上半期を対象にまとめた調査で、識別されたAIのページフェッチャーのおよそ15%が、欧州サイトがrobots.txtで拒否指定していたURLに到達していたことがわかった。Search Engine Journalが8月14日に報じている。対象は3,906パブリッシャー、40のスクレイピング事業者のボットだ。

ここで言うページフェッチャーは、学習用クローラーでも検索インデックス用クローラーでもない。ユーザーが質問した瞬間に、アシスタントが「このページが要る」と判断して1URLだけ取りに行くエージェントを指す。区別が重要なのは、この種別にだけ例外規定が書かれているからである。

最も拒否され、最も無視されているのは同じボットだ

内訳は偏っている。ChatGPT-User、Bytespider、YouBotの3つは、robots.txtで名指しして拒否していた欧州サイトのおよそ半数で、拒否ページに到達していた。中でもChatGPT-Userが到達サイト数で最多である。

そして同時に、ChatGPT-Userは同種のボットの中で最も多くのサイトから拒否されてもいる。矛盾ではない。強制力を持たない指示の算術が、そのまま出ているだけだ。

ただし各社の行儀の優劣として読むのは早い。TollBitは提供元の主張にかかわらず、拒否URLへのリクエストをすべてバイパスとして数えている。Claude-Userを拒否している欧州サイトは9%、北米は26%と開きがあり、名指しされる頻度が低いボットはバイパス件数も自動的に小さく出る。低い数字は無名であることの証明にしかならない場合がある。

無視は「仕様」として明記されている

重要なのは、これが不具合でも黙認でもなく、公開ドキュメントに書かれた仕様だという点である。

OpenAIの開発者向けドキュメントは、ChatGPT-Userについて「これらのアクションはユーザーによって開始されるため、robots.txtのルールは適用されない場合がある」と記す。Googleのユーザー起動型フェッチャーの解説ページも、かねてより「ユーザーがそのページを要求したため、これらのフェッチャーは一般にrobots.txtのルールを無視する」と記載しており、同社は2026年3月20日、このページにGoogle-Agentを追加した。Perplexityも自社ドキュメントで、Perplexity-Userについて同じ立場を取っている。

例外はAnthropicだ。同社は自社ボットがrobots.txtの業界標準ディレクティブを尊重すると明言しており、そこにはユーザー起動型のClaude-Userも含まれる。

9月15日、制御の既定値が動く

制御レイヤーは、robots.txtの一段下へ移りつつある。

Cloudflareが7月1日に公表した方針は、クローラーを3つに分類した。Search（後で答えるための収集・索引）、Agent（人の代わりにいま動く自動処理）、Training（モデルの学習・微調整）である。

そして2026年9月15日から、新規にCloudflareへオンボーディングされるドメインでは、広告を表示しているページに限って、TrainingとAgentが既定でブロックされる。Searchは許可のまま残る。広告が載っているということは、サイト運営者が人間の着地を意図したページだという合図になる、という理屈だ。既存ドメインは設定画面から事前に選択できるが、既存アカウント配下の新規サイトや無料プランの既存ゾーンも対象になるとの報道もある。自社が該当するかは確認しておいた方がいい。

見落とされやすいのは、同日施行のもう一点である。SearchとTrainingを兼ねる多目的クローラーは、すべての挙動にもとづいて判定され、最も厳しいルールが適用される。Cloudflareは名指しで、Googlebot、Applebot、BingBotが「Trainingをブロックする選択をした顧客に対してはブロックされる」と書いている。

学習を止めるつもりで設定した結果、検索インデックスまで止まる。9月15日以降の設計で、ここが一番の落とし穴になる。

日本の主要サイトのrobots.txtを実際に見てみた

本誌が8月17日に直接取得して確認したところ、全国紙とIT系メディアで対応が割れていた。

日経・読売・朝日・毎日はいずれもGPTBot、ChatGPT-User、ClaudeBot、PerplexityBotなどを拒否している。ただし全面拒否ではない。朝日は全AIユーザーエージェントに/ads/を、毎日は/sp/を開けている。読売のGoogle-Extended指定もDisallow: /の直後に/newsと/*2026の許可が続く。読売の拒否リストは60エントリに及び、curlやwget、Scrapyまで含む。日経は「機械学習に使いたい場合は連絡を」というコメントとライセンス窓口へのリンクを併記していた。遮断ではなく、値付けの姿勢である。

一方、ITmediaとImpressのrobots.txtにはAIクローラー向けの指定が見当たらない。CDNやWAF層での制御は本稿では確認していないが、公開された意思表示の場では、この問題を継続的に報じている当事者が何も書いていない。

日本新聞協会は2025年6月4日の声明で、robots.txtを「極めて有効性の高い手段」と位置づけ、AI事業者は「学習と利用いずれにおいても順守すべきである」と求めた。読売は2025年8月7日、朝日と日経は8月26日にPerplexityを提訴しており、robots.txtの無視が争点の一つになっている。

ブロックすれば済む話でもない

では全部拒否すればよいのか。ここに厄介なデータがある。

Rutgers Business SchoolとWharton SchoolのZhao・Berman両氏の研究は、robots.txtでAIクローラーをブロックしたニュースパブリッシャーが、6週間以内に週間トラフィックを約7%失ったと報告している。

ただし留保が要る。上位50社の推定値は10%水準でしか有意でなく信頼区間はゼロを跨ぐ。101〜500位帯はマイナスでなくなるが、こちらも有意ではない。人間のブラウジングパネルによる推定も単独では有意でなく、分析期間はAI Overviews登場前を含む。それでも、規模の大きいサイトほどブロックの代償を負いやすいという示唆は残る。

9月15日までに確認すべき3点

ここから先は考察である。Cloudflareの方針変更は7月3日にITmediaやCodeZineが速報しており、報じられていないわけではない。だが確認した限り、9月15日に日本のサイトで何が起きるかを検証した記事は見当たらない。発表の紹介で止まっている。

実務として確認すべきことは3つ。

第一に、自社サイトが9月15日以降にCloudflare上で新規ドメイン扱いになる予定があるか。リニューアルや新規メディアの立ち上げが重なっていれば、意図しない既定値が適用されうる。

第二に、Trainingをブロックする場合、Googlebotが巻き込まれる可能性を理解した上で選ぶこと。SEO担当と情報システム担当が別部署なら、この一点は事前に共有しておいた方がいい。

第三に、robots.txtを「守られる前提」で設計するのをやめること。ユーザー起動型フェッチャーに対しては要求であって命令ではないと、提供元自身が書いている。実効性のある制御が必要なら、レイヤーを一段下げるしかない。

日本の議論は「守るべきだ」で止まっている。守られていない前提で何を設計するか、という問いに進む時期だ。