「robots.txtでAI botを拒否したから、うちのコンテンツは学習に使われない」。この理解は、Googleの担当者によれば半分しか正しくない。
Illyes氏が示した限界
Search Engine Journalの報道によれば、GoogleのGary Illyes氏はSearch Centralの動画シリーズ『The Non-Canonical Cabinet』の第2回で、「AIによるクロールは許可しつつ、生成モデルの学習には使わせない」ことがrobots.txtでできるのかを問われた。答えは、robots.txt（RFC 9309）はどのURLを取得してよいかを示す「アクセスの希望」を伝えるプロトコルであり、クロール後にシステムがデータをどう扱うかまでは規定しない、というものだ。特定のAIクローラーを止めたいなら、そのユーザーエージェントトークンをファイルに明示する必要がある。番組で例示された架空のディレクティブ「No-AI-Chicken-Training」は、パーサーに無視される。
Google-ExtendedとGoogle-Agent：似て非なる2つ
混同されやすい2つを分けておく。Google-Extendedは独自のユーザーエージェントを持つクローラーではなく制御用のトークンで、Googleのドキュメントによれば、将来のGeminiモデルの学習とグラウンディングに使えるかどうかを司る。検索への掲載や順位には影響しない。一方、Google-Agentはユーザーの依頼で動くエージェント向けのフェッチャーで、同ページは、この種のフェッチャーが一般にrobots.txtを無視するとしている。つまりAI関連の制御は、トークンで効くもの、UA名指しで効くもの、そもそもrobots.txtでは止まらないものに分かれる。
標準化はまだドラフトの段階
Illyes氏はMozillaのMartin Thomson氏とIETFのInternet-Draftを共同執筆している。AI利用の意思表示として、robots.txtにContent-Usageルールを、HTTPには対応するヘッダーを加える案だ。8月19日付のドラフトはWorking Group Documentの位置づけにある。語彙を定める9月14日付のドラフトにはWorking Groupの合意がなく、有効期限は2027年2月20日。確定した標準ではないため、これを前提に運用を組むのは時期尚早である。
考察：「拒否」ではなく「分類」で運用する
ここからは筆者の見解だ。現状のAI利用制御は「ボットごとの個別交渉」に近い。メディアやEC事業者にとって現実的なのは、次の分類運用だろう。
- 学習利用を避けたいトークン・ユーザーエージェントを列挙し、robots.txtに明記する
- ユーザー起点のエージェントはrobots.txtでは止まらない前提で、ログとIP検証で把握する
- 本当に守りたい有料・会員コンテンツは、robots.txtではなく認証とアクセス制御で守る
「どうせ守られないならrobots.txtは無意味だ」という反論もある。だが、主要クローラーが従う前提で機能する範囲は広く、無意味になったわけではない。限界を理解したうえで、役割を「入口の札」に絞るのが妥当だ。
細かいが効く実務メモ
番組ではもう一点、Cherry Prommawin氏が、非英語や絵文字を含むパスはパーセントエンコードして記述するよう助言している。Googleのパーサーは生の文字を扱えるが、他のクローラーが誤読する可能性があるためだ。日本語URLを使うサイトは、robots.txtの記述を見直す価値がある。