Des chercheurs en sécurité alertent sur la propagation largement incontrôlée des contenus explicites générés par l'IA, tandis que les régulateurs font peu pour l'arrêter. Une étude co-écrite par Google, portant sur des internautes aux États-Unis, en Australie et au Royaume-Uni, révèle que ces contenus non consentis sont souvent partagés via des messages privés ou stockés dans des clouds privés, où ils sont moins susceptibles d'être détectés ou signalés. Les chercheurs concluent que le point d'intervention le plus critique reste les outils d'IA nuisibles utilisés pour créer de fausses images à caractère sexuel.
Les tests de red-teaming menés ces derniers mois suggèrent que les principaux générateurs d'images de Google et d'OpenAI pourraient devenir moins efficaces pour bloquer les résultats explicites à mesure qu'ils gagnent en capacités. White Circle, une société à mission publique soutenue par des dirigeants et chercheurs seniors d'Anthropic, DeepMind, Hugging Face et OpenAI, a tiré la sonnette d'alarme. Dans une prépublication parue le mois dernier, ses chercheurs ont mis au jour des failles dans les garde-fous de DALL·E 3, de Nano Banana 2 de Google et de GPT-Image-2. En utilisant des outils du commerce et des appels d'API, ils ont contourné les filtres de sécurité et généré des contenus explicites environ 13 % du temps, un taux de contournement qu'ils décrivent comme le plus élevé de toutes les méthodes testées selon la même norme.
White Circle indique également que les modèles plus récents, ChatGPT Images 2.5 et Nano Banana 2.1, sont "nettement plus faciles à faire céder" que leurs prédécesseurs. L'entreprise prévoit de publier en open source sa chaîne d'attaque et de présenter ses travaux à la conférence NeurIPS 2026 en novembre. Ni Google ni OpenAI n'ont répondu aux demandes de commentaires d'Ars Technica.
Le PDG Denis Shilov a déclaré que ces résultats sont préoccupants, car la même faiblesse pourrait affecter les défenses en cours de mise à jour pour bloquer d'autres comportements nuisibles de l'IA, comme le piratage. Le message clé de l'entreprise est que les défenses de sécurité de l'IA des grands laboratoires sont plus faibles qu'ils ne le reconnaissent.
Source: Ars Technica · Résumé par HeadlinesBriefing