Cloudflare объявила о новой настройке Disallow AI Training, позволяющей владельцам сайтов оставаться индексированными для поиска, блокируя обучение ИИ на их контенте. Apple, Google и Microsoft соблюдают или обязались соблюдать этот контроль. Эта функция решает проблему краулеров смешанного использования — отдельных ботов, обслуживающих как поиск, так и обучение — которые ранее вынуждали делать бинарный выбор между обнаруживаемостью и защитой данных.

Cloudflare ввела обозначение Accountable для операторов ботов, соответствующих требованиям: механизмы отказа от обучения и резюме ИИ, видимость на уровне URL сканируемых страниц, и уверенность, что отказ не повлияет на позиции в поиске. Apple, Google и Microsoft соответствуют требованиям. Компания сообщает, что 17% сайтов включают блокировку обучения, тогда как менее 1% блокируют поисковых ботов.

Новые меры безопасности классифицируют ботов по поведению: Поиск, Обучение и Агент. Краулеры смешанного использования объединяют Поиск и Обучение. Cloudflare идентифицирует, классифицирует и блокирует несоответствующих краулеров, сообщая о поведении операторов на Radar. Цель к началу следующего года — централизованное управление включением резюме ИИ, установленное один раз в Cloudflare, а не для каждого оператора.

Ключевые сущности: Компании: Cloudflare, Apple, Google, Microsoft

Часто задаваемые вопросы: Чем настройка Disallow AI Training от Cloudflare отличается от robots.txt?

В отличие от robots.txt, сетевой уровень контроля Cloudflare определяет, кто сканирует, классифицирует их цель (поиск против обучения), блокирует несоответствующих краулеров и сообщает о соблюдении операторами на Radar — обеспечивая обеспечение, которое текстовый файл не может предоставить.