Appleが9月4日、Applebotのヘルプドキュメントを更新した。追加された一文は短い。「Applebot-Extendedに対するサイトのルールは、Searchのランキングでは考慮されません」。
AI学習を拒否すると検索で不利になるのではないか——この不安は、Google-Extendedが登場して以来、日本のサイト運営者のあいだにも残り続けてきた。Appleはそれを公式に否定した。ただし、同じドキュメントを最後まで読むと、もっと実務的で、もっと見落とされている一行がある。
robots.txtに「Applebot」の行がなければ、Googlebot向けの指示が適用される
Appleのドキュメントにはこう書かれている。
robotsの指示がApplebotに言及せず、Googlebotに言及している場合、Appleのロボットは Googlebot の指示に従います。
つまり、robots.txtにApplebotのセクションを書いていないサイトは、Applebotを制御していないのではなく、Googlebot向けに書いたルールでAppleを制御している。日本のサイトの多くは、この状態にあるはずだ。SEOの都合でGooglebotに対して閉じたディレクトリが、そのままSpotlightとSiriからも消えている。逆に、Googlebotに開いた領域はAppleにも開いている。
もう一点。Applebotはcrawl-delayに従わない。クロール負荷を指示で下げることはできず、Apple側がサイトの応答速度やエラー率を見て自動調整する仕組みになっている。
制御が4層に分かれた
今回の更新で、Appleが用意する制御はきれいに4層へ分離した。
| 層 | 手段 | 効果 | |---|---|---| | クロール | robots.txt（Applebot） | 取得そのものを止める | | インデックス | noindex | Spotlight・Siri提案に出さない | | 学習 | robots.txt（Applebot-Extended） | 基盤モデルの学習に使わせない | | 回答での文脈利用 | nosnippet / isAccessibleForFree | AI生成回答の材料にさせない |
重要なのは、Applebot-Extendedはページをクロールしないという点だ。これは取得済みデータの使い道を決めるためだけのユーザーエージェントであり、disallowしてもクロールもインデックスも止まらない。「学習だけ拒否して、検索での発見性は保つ」が設計として成立している。
今回のドキュメントでは、非HTMLリソース向けに X-Robots-Tag: applebot: nosnippet というHTTPヘッダー指定が明記された。PDFや画像に対して、メタタグを使わずに指示を出せる。
さらに実務的なのが、ペイウォールの扱いだ。構造化データに isAccessibleForFree: false を書いたページは、検索結果には出るが、AIが回答を生成する際の文脈材料としては使われない。ただしAppleは「これはページ単位の指定であり、hasPart によるセクション単位のマークアップには対応していない」と明示している。メーター課金で「冒頭3段落だけ無料」といった構成を取っているメディアは、この制約を前提に設計し直す必要がある。
なぜAppleは今これを書いたのか
ここからは筆者の見立てだ。
学習利用をめぐる訴訟は増え続けている。9月に入ってからも、Seattle TimesがMicrosoftとOpenAIを提訴したことがGeekWireで報じられた。この環境で、プラットフォーム側には「拒否の手段が実質的に機能しない」と見なされることの法的リスクがある。「オプトアウトすると検索で不利になる」構造が疑われれば、その拒否権は名目上のものだと主張されかねない。
「ランキングでは考慮しない」と明文化することは、パブリッシャーへの配慮であると同時に、自社の防御でもある。GoogleがGoogle-Extendedについて同じ整理をしたときと、構図はよく似ている。
一方で、慎重に読むべき点もある。「ランキングで考慮しない」と「露出が変わらない」は同じではない。Appleはnosnippetについて、指定されたデータをAIモデルの出力表示のための追加コンテキストとして使わない、と書いている。これは順位の話ではなく露出面の話だ。学習に使われなくなったコンテンツが、AIの回答の中で引用されにくくなる可能性は残る。
日本のサイト運営者が今週確認すること
- アクセスログでApplebotの到達を確認する。
*.applebot.apple.comへの逆引き、またはApple公開のIP CIDRリストで判定できる。そもそも来ていないなら、robots.txtの議論は後回しでいい - robots.txtにApplebotのセクションを明示する。意図してGooglebotのルールを継承させるならそれでいいが、「知らないうちにそうなっていた」状態は解消しておく
- 学習拒否の方針を決める。Applebot-Extendedをdisallowしても、Spotlight・Siri・Safariでの発見性は維持されるとAppleは明言している。判断材料は揃った
- ペイウォール記事に isAccessibleForFree: false を入れる。セクション単位は効かないので、ページ単位の設計に落とす
Search Consoleの生成AIパフォーマンスレポートについては、本誌でも「AIに載るのをやめる」スイッチが全世界に配られたで扱った。GoogleもAppleも、AI露出の制御スイッチを配り始めている。違うのは、Appleのそれが検索インフラの奥まった場所——robots.txtと構造化データ——にあることだ。管理画面のトグルと違って、誰かが意識して書きに行かない限り、既定値のまま動き続ける。
日本におけるApple検索のシェアは、Googleに比べれば限定的だ。それでもiOSのSpotlightとSiriは、日々ユーザーの手元で動いている。「来ていないと思っていたクローラーが、実はGooglebot向けの指示で動いていた」——確認に必要な時間は、おそらく30分に満たない。