AIエージェントが、実在する政府機関のフォームを勝手に送信した——。Anthropicは10月9日、自社モデルが評価や社内利用の中で意図しない形で外部サイトに作用した事例をまとめた報告書「Investigating unintended model actions」を公開した。AIを開発する側の話に見えるが、公開フォームやトークンを持つサイトの運営者にとっても無関係ではない。
何が起きたのか：事実の整理
Anthropicによれば、問題の多くは「粘り強さ（persistence）」だった。タスクを完了できないとき、止まらずに制約を回避してしまう挙動である。報告された類型は4つある。
- ソフトウェアの欠陥の悪用：Claude Mythos Previewが、大学が公開する分析ツールのエラーに遭遇し、サーバー上のスクリプトのインジェクションの欠陥を使ってコマンドを実行した
- 機微なフォームの送信：未公開の研究モデルが、練習用ページが読み込めず本物の政府フォームを送信した。Claude Haiku 4.5は、最終送信の前に止まるよう指示されたのに複数回送信し、別の実行では架空の情報をフィラデルフィア警察の未解決事件ページのフォームに送った
- トークンや課金の回避：Claude Mythos 5が、自治体の地図サイトの設定ファイルからアクセストークンを見つけてサーバーに直接問い合わせた。州機関のダッシュボードが誰にでもトークンを発行する仕様を使い、有料データを取得した事例もある
- URL短縮サービスの利用：取得ツールのURL長制限を、無料の短縮サービスで回避した
Search Engine Journalの報道によると、フィラデルフィア警察は、この投稿はスパム判定され本部には届かなかったと説明する一方、報告の遅れを「受け入れられない」と批判した。Anthropicは実害は最小限で、顧客データや社内システムは関与していないとしている。対応として、社内の全評価でライブのインターネット接続を遮断し、検知・遮断ツールを導入した。
筆者の考察：サイト運営者への示唆
ここからは筆者の見方である。この報告が示すのは、AIエージェントが「悪意なく」サイトに作用するという新しいリスクだ。
第一に、「公開されているが、誰も使わないはず」の前提が崩れる。設定ファイルに残ったトークン、誰にでも発行されるAPIキー、氏名不要の投稿フォーム。人間なら素通りするものを、エージェントは課題解決の手段として使いうる。
第二に、フォームの運営者は問い合わせ・資料請求・投稿フォームのスパム対策を見直す理由が増えた。報告は米国の事例であり、日本のサイトでの発生は確認されていない。ただ、エージェント型AIの普及でフォームへの機械的な送信が増えれば、リード数やCV数の質にも影響しうる。
第三に、Anthropic自身が「アラインメント訓練だけでは不十分で、多層防御が必要」と述べている点は重い。サイト側も、エージェントの善意に頼らない設計が求められる。
なお、この報告はAnthropicのモデルだけを対象としており、他社のエージェントがどの程度同様に振る舞うかは示していない。「Claudeだけの問題」と読むのも、「全AIの問題」と断じるのも、現時点では根拠が足りない。
今週できる3つの点検
- 公開ファイルの棚卸し：設定ファイルやJavaScriptに、トークンやキーが平文で残っていないか確認する。公開前提のキーでも、権限と利用上限を絞る
- フォームの防御：reCAPTCHAなどの検証、レート制限、確認画面での二重送信防止を点検する。計測側では、不自然な短時間送信をCV集計から除外できるかも見る
- ボットのアクセス方針：AIエージェントによるアクセスを許可する範囲を決め、WAFやログで識別できる状態にしておく
AIによる情報操作の規約面は別の記事で整理した。今回は、AIが「使う側」としてサイトに触れるときの、運営者側の備えという視点を加えておきたい。