Cloudflare anunció una nueva configuración Disallow AI Training que permite a los propietarios de sitios web permanecer indexados para búsquedas mientras bloquean el entrenamiento de IA en su contenido. Apple, Google y Microsoft respetan o se han comprometido a respetar este control. La característica aborda el problema de los rastreadores de uso mixto — bots únicos que sirven tanto para búsquedas como para entrenamiento — que anteriormente obligaban a una elección binaria entre descubribilidad y protección de datos.

Cloudflare introdujo una designación Accountable para los operadores de bots que cumplen con los requisitos: mecanismos de exclusión para entrenamiento y resúmenes de IA, visibilidad a nivel de URL de las páginas rastreadas, y la garantía de que excluirse no afectará las clasificaciones de búsqueda. Apple, Google y Microsoft califican. La empresa informa que el 17% de los sitios habilitan el bloqueo de entrenamiento, mientras que menos del 1% bloquea los bots de búsqueda.

Los nuevos controles de seguridad clasifican los bots por comportamiento: Búsqueda, Entrenamiento y Agente. Los rastreadores de uso mixto combinan Búsqueda y Entrenamiento. Cloudflare identifica, clasifica y bloquea rastreadores no conformes, reportando el comportamiento del operador en Radar. El objetivo para principios del próximo año es un control centralizado sobre la inclusión de resúmenes de IA, configurado una vez en Cloudflare en lugar de por operador.

Entidades clave: Empresas: Cloudflare, Apple, Google, Microsoft

Preguntas frecuentes: ¿En qué se diferencia la configuración Disallow AI Training de Cloudflare de robots.txt?

A diferencia de robots.txt, el control a nivel de red de Cloudflare identifica quién está rastreando, clasifica su propósito (búsqueda vs. entrenamiento), bloquea rastreadores no conformes y reporta el cumplimiento del operador en Radar — proporcionando una aplicación que un archivo de texto no puede ofrecer.