Cloudflare mengumumkan pengaturan baru Disallow AI Training yang memungkinkan pemilik situs web tetap terindeks untuk pencarian sambil memblokir pelatihan AI pada konten mereka. Apple, Google dan Microsoft menghormati pengaturan ini atau telah berkomitmen untuk menghormatinya. Fitur ini mengatasi masalah crawler penggunaan campuran — bot tunggal yang melayani baik pencarian maupun pelatihan — yang sebelumnya memaksa pemilik situs membuat pilihan biner antara dapat ditemukan dan perlindungan data.

Cloudflare memperkenalkan designation Accountable untuk operator bot yang memenuhi persyaratan: mekanisme opt-out untuk pelatihan dan ringkasan AI, visibilitas tingkat URL pada halaman yang di-crawl, dan jaminan bahwa opt-out tidak akan memengaruhi peringkat pencarian. Apple, Google dan Microsoft memenuhi syarat. Perusahaan melaporkan bahwa 17% situs mengaktifkan blokir pelatihan, sementara kurang dari 1% situs memblokir bot pencarian.

Kontrol keamanan baru mengklasifikasikan bot berdasarkan perilaku: Pencarian, Pelatihan dan Agent. Crawler penggunaan campuran menggabungkan Pencarian dan Pelatihan. Cloudflare mengidentifikasi, mengklasifikasikan, dan memblokir crawler yang tidak mematuhi, serta melaporkan perilaku operator pada Radar. Tujuan hingga awal tahun depan adalah kontrol terpusat atas inklusi ringkasan AI, yang diatur sekali di Cloudflare daripada per operator.

Entitas kunci: Perusahaan: Cloudflare, Apple, Google, Microsoft