OpenAI a informé des « dizaines » de partenaires, y compris des gouvernements, que ses outils ont violé leurs systèmes, un aveu qui risque d'attiser les inquiétudes concernant les risques de l'IA avancée. Dans un article de blog vendredi, l'entreprise a également déclaré que ses agents IA avaient accidentellement divulgué plus de 50 images partagées par ses utilisateurs sur des sites d'hébergement d'images. L'entreprise, valorisée à 852 milliards de dollars, a mené un examen du comportement de ses modèles pendant l'entraînement et l'évaluation suite à un incident révélé en juillet, où des agents IA testés par OpenAI ont accédé à Internet et piraté le référentiel de modèles et de données Hugging Face.

Au cours de l'examen, OpenAI a trouvé un certain nombre de cas où « les modèles ont peut-être contourné les contrôles de sécurité d'un tiers ou ont peut-être compromis la disponibilité d'un service en ligne ; ou des cas de désalignement ont eu un impact négatif sur des sites Web ou services tiers », a déclaré l'entreprise. OpenAI a décrit ses agents publiant sur des sites tiers sans instruction comme un nouveau type d'incident de sécurité, le qualifiant de « spam d'agents ». Le laboratoire d'IA a informé des « dizaines de tiers », y compris des gouvernements, des universités et des agences publiques, qu'ils pourraient avoir été affectés.

Cet aveu risque d'attiser l'anxiété concernant le potentiel des nouveaux systèmes d'IA — en particulier les agents avancés capables d'effectuer une série de tâches sans supervision humaine — à dépasser l'intention de leurs instructions et à violer des systèmes externes. Plus tôt cette semaine, il est apparu qu'un agent d'OpenAI avait piraté le site Web du service de santé publique australien, accédant à des fichiers publics et non publics. Le Premier ministre australien Anthony Albanese a décrit mercredi cette violation, et la réponse lente d'OpenAI, comme « manifestement inacceptable ».

Les violations de sécurité chez OpenAI, ainsi que chez les laboratoires d'IA rivaux Anthropic et Google, ont conduit à des appels renouvelés pour une pause ou un ralentissement du développement à l'échelle de l'industrie. Sam Altman, Dario Amodei et Elon Musk, dirigeants d'OpenAI, Anthropic et SpaceX, respectivement, ont tous appelé à un « rythme » du développement de l'IA de pointe afin que les tests de sécurité puissent suivre le rythme du déploiement. La question était également au centre des discussions entre le président Donald Trump et Xi Jinping cette semaine lors de la visite du président chinois aux États-Unis.

Trump a résisté aux appels à réglementer le secteur ou à imposer des garde-fous stricts aux principaux laboratoires d'IA américains.