Cloudflare anunciou uma nova configuração Disallow AI Training que permite aos proprietários de sites permanecerem indexados para busca enquanto bloqueiam o treinamento de IA em seu conteúdo. Apple, Google e Microsoft respeitam ou se comprometeram a respeitar esse controle. O recurso aborda o problema dos rastreadores de uso misto — bots únicos que servem tanto para busca quanto para treinamento — que anteriormente forçavam uma escolha binária entre descoberta e proteção de dados.

Cloudflare introduziu uma designação Accountable para operadores de bots que atendem aos requisitos: mecanismos de opt-out para treinamento e resumos de IA, visibilidade em nível de URL das páginas rastreadas, e a garantia de que optar por sair não afetará os rankings de busca. Apple, Google e Microsoft se qualificam. A empresa informa que 17% dos sites habilitam o bloqueio de treinamento, enquanto menos de 1% bloqueia os bots de busca.

Os novos controles de segurança classificam os bots por comportamento: Busca, Treinamento e Agente. Os rastreadores de uso misto combinam Busca e Treinamento. Cloudflare identifica, classifica e bloqueia rastreadores não conformes, relatando o comportamento do operador no Radar. O objetivo para início do próximo ano é um controle centralizado sobre a inclusão de resumos de IA, definido uma vez no Cloudflare em vez de por operador.

Entidades-chave: Empresas: Cloudflare, Apple, Google, Microsoft

Perguntas frequentes: Como a configuração Disallow AI Training do Cloudflare difere do robots.txt?

Ao contrário do robots.txt, o controle em nível de rede do Cloudflare identifica quem está rastreando, classifica seu propósito (busca vs. treinamento), bloqueia rastreadores não conformes e relata a conformidade do operador no Radar — fornecendo aplicação que um arquivo de texto não pode oferecer.