Googleは11月17日、自社インフラ上で動くAIエージェントの通信を通すための技術ガイド「Allow Google-Agent traffic」を公開した。クロール関連ドキュメントの変更履歴では、目的を「Google-Agentを有効にしたいパブリッシャーを支援するため」と説明している。
短い文書だが、書かれているのはSEOの話ではない。CDN、WAF(Webアプリケーションファイアウォール)、ボット検知サービスの設定の話だ。つまり、検索順位を担当するチームではなく、インフラやセキュリティの担当者が読むべき文書である。
Google-Agentは「クローラー」ではなく「ユーザーの代理人」
Google-Agentは、3月20日にGoogleの「ユーザートリガー型フェッチャー」一覧に追加されたユーザーエージェントだ。Googleの説明では、Googleのインフラ上で動くエージェントが、ユーザーの依頼に応じてWebを移動し、操作を行う際に使う名前である。
重要なのは分類だ。Googleは同じ文書で、ユーザートリガー型フェッチャーは「ユーザーが要求した取得であるため、一般にrobots.txtのルールを無視する」と明記している。IPアドレスも、Googlebotなどとは別のuser-triggered-agents.jsonで公開されている。robots.txtでは制御できず、通すか止めるかはWAFやCDNの層で決まるということだ。
本誌は10月、Googleは「エージェントがWebに来る道は2本ある」と明言したで、ページ閲覧とプロトコル連携という2つの経路を整理した。Google-Agentは前者、つまり「人間と同じようにページを開いて操作する」経路の識別子だと筆者は位置づける。
検証の3段階——UA、IP、そして署名
ガイドが示す確認手順は3つある。ユーザーエージェントに「Google-Agent」が含まれること、送信元IPがuser-triggered-agents.jsonの範囲内であること、そして署名がある場合はWeb Bot Auth方式で検証することだ。
Web Bot Authは、HTTPリクエストに暗号署名を付けて送信者を証明する仕組みで、Googleはhttps://agent.bot.googというIDで試験中だ。署名付きリクエストにはSignature-Agentヘッダーなどが付き、検証用の公開鍵も公開されている。検証できたリクエストについては「ボットチャレンジをスキップする」ようGoogleは求めている。
本当の読みどころは「トラブルシューティング」の6項目
ガイド後半には、許可設定をしても正規のリクエストが止まる場合の確認項目が並ぶ。要約すると次のとおりだ。
- ルールの優先順位:クラウド・データセンターのASN一括遮断、マネージドのボットルール、「AIエージェント」カテゴリの遮断ポリシーより先に、許可ルールが評価されるか
- 対話型チャレンジ:HTTPブロックだけでなく、CAPTCHAやJavaScriptチャレンジ、検索やフォーム送信時のページ内CAPTCHAも回避されるか
- 導線の途中の操作:トップページだけでなく、サイト内検索、絞り込み、詳細ページ、カート投入、予約、その裏側のXHR・GraphQL・api.*エンドポイントまで通るか
- 共有IPのレート制限:複数ユーザーのリクエストが同じ送信元IP群を共有するため、IP単位の制限で止まらないか
- IP範囲の更新:ルールが最新のJSONと同期しているか
- プロキシのヘッダー:ロードバランサーなどが元のIP、UA、署名ヘッダーを保持しているか
ここからは筆者の見立てだが、カート投入や予約、GraphQLまで具体的に挙げている点は、Googleがエージェントに「閲覧」ではなく「取引の手前まで」を担わせる前提で動いていることを示している。また、これほど細かい項目が並ぶのは、実際にこうした箇所で遮断が起きているからだと読むのが自然だろう。
「通すべきか」は別の問題だ
ただし、このガイドは「許可せよ」とは言っていない。あくまで「許可したいなら、こう設定する」という手順書だ。
本誌がChatGPT Walletで「AIが買う」が動き出した週に、ユナイテッドとeBayは扉を閉めたで報じたように、エージェントの受け入れを制限する判断にも合理性はある。限定品の買い占め、在庫確認の過剰なアクセス、不正利用との区別などの懸念は、署名検証だけでは解消しない。共有IPをレート制限から外す設定は、負荷の面でも慎重に扱うべきだろう。
識別の仕組みが変わりうる点にも注意したい。AIエージェント訪問の59%はMetaの「Muse」で触れたとおり、署名の発行元の変更ひとつで「検証済み」扱いが外れることがある。Google-AgentのWeb Bot Authもまだ試験段階である。
年末商戦前に、日本のサイト運営者がやること
日本でGoogleのエージェント機能がどこまで提供されるかは機能ごとに異なる。だが、通信の識別とWAFの設定は、サービスの国内展開を待たずに整えられる。
- ログを確認する:アクセスログにGoogle-Agentが現れているか。UAは偽装できるため、IPの照合を前提にする
- ベンダーの初期設定を確認する:利用中のCDNやボット対策サービスで、「AIエージェント」カテゴリが一括遮断になっていないか
- カート・予約・検索のAPIまで確認する:トップページだけ通しても、エージェントは途中で止まる
- 方針を文書にする:許可、制限付き許可、遮断のどれを選ぶかを、マーケティング・EC・セキュリティの3部門で決めておく
エージェント経由の売上が小さいうちは、設定の不備は数字に表れにくい。だからこそ、気づかないうちに門前払いしている状態は、今のうちに解消しておきたい。