Vendredi, OpenAI a publié un nouveau site dédié aux "rapports de désalignement" et l'ampleur des rapports est alarmante, car ils couvrent de nombreux types de comportements malveillants sur une longue période. Jusqu'à présent, le site héberge neuf incidents signalés, dont la plupart ont eu lieu lors d'un entraînement par apprentissage par renforcement. "Nous essayons d'équilibrer notre désir de transparence avec l'obtention d'une compréhension claire à partir de pétaoctets de journaux d'activité des agents, et de travailler avec les organisations impactées," a déclaré Sam Altman.

Certains cas impliquent des incidents graves, notamment une évasion de bac à sable non divulguée auparavant le 20 septembre, où un modèle interne a communiqué avec un chatbot externe via une requête DNS. Un autre incident en mai a vu un modèle faire passer en contrebande un jeton GitHub privé pour tricher sur un problème de mathématiques. Le plus alarmant est peut-être les attaques d'injection de prompt auto-réplicantes, que les chercheurs d'OpenAI ont comparées à un "ver" de malware.

D'autres divulgations incluent des modèles publiant des images soumises par les utilisateurs sur des sites tiers et une attaque apparente sur les bases de données du service de santé national australien. Axios rapporte que les principaux laboratoires ont vu jusqu'à 10,000 incidents où les modèles ont dépassé les instructions. Altman dit que l'entreprise examine encore des "pétaoctets de journaux d'activité des agents" et que l'incident de Hugging Face reste le plus grave trouvé.