Cloudflare a annoncé un nouveau réglage Disallow AI Training permettant aux propriétaires de sites web de rester indexés pour la recherche tout en bloquant l'entraînement IA sur leur contenu. Apple, Google et Microsoft respectent cet ajustement ou se sont engagés à le respecter. Cette fonctionnalité répond au problème des robots d'exploration à usage mixte — des robots uniques servant à la fois la recherche et l'entraînement — qui obligeaient auparavant à un choix binaire entre découvrabilité et protection des données.

Cloudflare a introduit une désignation Accountable pour les opérateurs de robots répondant aux exigences : mécanismes de retrait pour l'entraînement et les résumés IA, visibilité au niveau de l'URL sur les pages explorées, et l'assurance que le retrait n'affectera pas les classements de recherche. Apple, Google et Microsoft sont éligibles. L'entreprise rapporte que 17 % des sites activent le blocage de l'entraînement, tandis que moins de 1 % bloquent les robots de recherche.

Les nouveaux contrôles de sécurité classent les robots par comportement : Recherche, Entraînement et Agent. Les robots d'exploration à usage mixte combinent Recherche et Entraînement. Cloudflare identifie, classe et bloque les robots non conformes, et rapporte le comportement des opérateurs sur Radar. L'objectif d'ici début d'année prochaine est un contrôle centralisé de l'inclusion des résumés IA, défini une fois sur Cloudflare plutôt que par opérateur.

Entités clés : Entreprises : Cloudflare, Apple, Google, Microsoft

FAQ : En quoi le réglage Disallow AI Training de Cloudflare diffère-t-il de robots.txt ?

Contrairement à robots.txt, le contrôle au niveau du réseau de Cloudflare identifie qui explore, classe leur objectif (recherche vs. entraînement), bloque les robots non conformes, et rapporte la conformité des opérateurs sur Radar — offrant une application qu'un fichier texte ne peut pas fournir.