AI検索に載るには、まず「見つけてもらう」必要がある。その発見の仕組みに、CDN大手が関与し始めた。Cloudflareは10月15日、OpenAIとの共同パイロットの初期結果を公表した。
事実：何が発表されたのか
発表によると、パイロットの対象はCloudflareネットワーク全体の約1％の参加サイト群だ。Cloudflareのネットワーク由来のシグナルをOpenAIの検索クローラーに渡した結果、OpenAIは「数億ページ」を新たに発見・索引化したという。Search Engine Journalの報道では、パイロット自体は7月に発表されたものとされる。
使われるシグナルには、ページの更新状況や変更内容の通知、存在しないファイルへの機械的なアクセスやホームへのリダイレクト、重複コンテンツの除外などがある。クローラーが無駄な取得を減らし、再訪すべきページを判断するための材料だ。実験段階では、偽ログインフォームの設置のような有害ページを、ドメイン単位でなくページ単位で検知するシグナルも試されている。
分かっていないこと
重要なのは、公表されていない点の多さである。Cloudflareの投稿は、発見された新ページがChatGPTでどれだけ引用されたか、どれだけ流入を生んだかを報告していない。参加サイトも明らかにされず、現段階は一般提供ではなく研究パイロットだ。発見はクロール増加を一時的に招く可能性があることも、投稿自体が認めている。
OpenAIは索引したページを独自に評価して順位づけるため、「見つかる」ことと「引用される」ことは別問題だ。シグナルはアクセス許可を意味せず、サイト側のクローラー設定は引き続き有効とされる。
考察：リンク頼みの発見が崩れる意味
ここからは筆者の見立てだ。SEJの紹介では、パイロットが拾った例は、洗濯機の取扱説明書、パスポートの手続き、飲食店のメニューなど、他サイトからのリンクが少なくても価値のあるページだった。従来の検索は被リンクを辿る発見が中心だったが、AI検索は「更新されたこと」を直接知る方向へ寄っているように見える。
この構図は、本誌が先日取り上げたGoogleのUGC直送路とも重なる。Webの供給が、クロールに頼る層と、事業者間の仕組みで届ける層に分かれていく流れだ。小規模な専門サイトにとっては追い風になりうる一方、CDNを使わないサイトや、使っていてもシグナルを共有しないサイトは、この経路から外れる可能性がある。この点には異論もあり得る。効果が測定されていない以上、期待を前提にした投資は早計だ。
日本のサイト運営者が今決めること
- OAI-SearchBotとGPTBotを分けて判断する：OpenAIのクローラー文書では、前者が検索用、後者が学習用の収集を担う。SEJによれば、前者を許可して後者を拒否する設定が例示されている。ChatGPTでの露出を望むか、学習利用を許すかを別々に決める。
- サーバーログでクロール量を見る：新たな発見でクロールが増える可能性があるため、OAI-SearchBotの取得状況を月次で確認する。
- 更新日と内容の変化を正確に保つ：変更シグナルが機能するなら、更新日の整合や無意味な再生成を避けることが効く。
- 流入の計測を整える：ChatGPT経由の流入は、タグ欠落の問題が報じられたばかりだ。本誌の計測の記事も参考にしてほしい。
Cloudflareは一般提供を今年後半に目指すとSEJは伝えるが、具体的な日付は未発表だ。日本での扱いも不明である。今できるのは、設定の意思決定と、ログを見る体制づくりだ。