「Googleは通すが、Braveだけは止める」——この設定は、現在のrobots.txtではそもそも書けない。11月2日に米国で起きた訴訟が、その構造的な問題を表に出した。
NYTがBraveを提訴：争点は「30億ページ」と「名乗らないクローラー」
2026年11月2日、ニューヨーク・タイムズ社がBrave Softwareを南部ニューヨーク連邦地裁に提訴した。訴状は、Braveが30億超のウェブページを複製してAI企業に販売したと主張し、著作権侵害のほか、ブラウザの「ペイウォールブロッカー」に絡むDMCA違反なども訴因に挙げている。Search Engine Journalに掲載された分析によれば、Braveは11月6日時点で公に反論しておらず、これらはすべて原告の主張であって裁判所の判断ではない。
一方、事実として確認できるのはBrave自身が公開している仕様だ。Braveのクローラーに関するヘルプページは、クローラーが独自のユーザーエージェントを名乗らないこと、Googlebotがクロールできないページは取得しないこと、robots.txtはインデックス阻止には使われないこと、削除にはnoindexを使うことを説明している。名乗らない理由は、Googleだけを許可するサイトからの差別を避けるためだという。
何が問題か：robots.txtの前提が崩れる
robots.txtは、クローラーが名前を名乗ることを前提に機能する。Braveの方式では、運営者は「GoogleはOK、BraveはNG」という書き分けができない。唯一のオプトアウトであるnoindexは、Googleの検索結果からもページが消えることを意味する。
しかもBraveの検索インデックスはAPIとして外部に提供されている。先のSEJの分析は、Brave公式ページの記載としてCohere、Mistral、Perplexity、You.comなどが利用していると伝える。訴状はAnthropic、Perplexity、Mistral、xAI、Cohereの5社を供給先として名指ししているが、いずれも被告ではない。
同じ週に出た「共通オプトアウト」とのねじれ
注目したいのは、訴訟の3日前、10月30日の動きだ。SEJのSEO Pulseによると、Google、Microsoft、OpenAIの3社は、IETFのInternet-Draftを土台にした共通のrobots.txtコントロール（トークン名は usage_ai-training）を尊重する計画を表明した。ただし現時点ではいずれも未対応で、Microsoftは2027年3月1日以降、NoArchiveとNoCacheを学習やグラウンディングの意思表示として扱わなくなる。
事実を重ねると構図が見える。大手がrobots.txtでの意思表示を整備しつつある一方で、その仕組みの外側に「名乗らないインデックス供給者」がいる。ここからは筆者の考察だが、大手が足並みを揃えるほど、ルールの外にある供給経路の存在感が相対的に増す可能性がある。ただしBraveが今後クローラーの扱いを変えたり、裁判で別の論点が示されたりすれば、前提は変わる。
日本の運営者にとっての意味（考察）
日本では著作権法30条の4により、AI学習のための複製が広く認められると一般に解釈されている。許諾を取る文化よりも、サイト側が拒否の意思を示す運用が現実的な防衛線になりやすい。だとすれば、拒否の意思をrobots.txtで示せない経路があるという話は他人事ではない。新聞社だけの問題でもなく、会員限定コンテンツや有料レポートを持つBtoBメディア、ECにも関わる。
今週やるべき3点
- 自社ドメインをBraveで確認する：search.brave.com で「site:自社ドメイン」を検索し、インデックスされているページと、古い内容が残っていないかを見る。
- robots.txtを棚卸しする：GPTBotやGoogle-Extendedなど個別ルールの現状を記録し、共通トークンの対応開始時に更新できる状態にしておく。
- 出したくないページの扱いを決める：会員限定や有料領域をnoindexで守るか、検索流入への影響も含めて社内で合意しておく。
Googleのジョン・ミューラー氏は、AIシステムは「SEOの上に成り立つ」と述べ、AIクローラーの扱いも技術SEOの一部になると語った。AI時代の技術SEOとは、誰に何を見せるかを、検証できる形で設計し続けることなのだろう。