Cloudflareは、ウェブサイト所有者が検索エンジンにインデックスされた状態を維持しながら、コンテンツのAIトレーニングをブロックできる新しいDisallow AI Training設定を発表しました。Apple、Google、およびMicrosoftはこの設定を尊重するか、遵守することを約束しています。この機能は、検索とトレーニングの両方に使用される単一のボットである混合使用クローラーによる問題に対処します。以前は、これらのクローラーにより、検出可能性とデータ保護の間で二者択一を迫られていました。

Cloudflareは、トレーニングとAIサマリーのオプトアウトメカニズム、クロールされたページのURLレベルでの可視性、およびオプトアウトが検索ランキングに影響しないことを保証するAccountable designationを導入しました。この要件を満たすボットオペレーターには、Apple、Google、およびMicrosoftが該当します。Cloudflareによると、17%のサイトがトレーニングブロックを有効にしており、検索ボットをブロックしているサイトは1%未満です。

新しいセキュリティコントロールは、ボットを動作に基づいて分類します：検索、トレーニング、およびエージェント。混合使用クローラーは検索とトレーニングを組み合わせます。Cloudflareは、非準拠のクローラーを特定、分類、ブロックし、Radarでオペレーターの動作を報告します。来年初頭までの目標は、Cloudflareで一度設定すればよいAIサマリーの含有の一元管理を実現することです。

主要なエンティティ: 企業: Cloudflare, Apple, Google, Microsoft

よくある質問: CloudflareのDisallow AI Training設定はrobots.txtとどう違いますか？

robots.txtとは異なり、Cloudflareのネットワークレベルの制御は、誰がクロールしているかを特定し、その目的（検索vs.トレーニング）を分類し、準拠していないクローラーをブロックし、Radarでオペレーターのコンプライアンスを報告します。テキストファイルでは実現できない適用を提供します。