OpenAI a annulé la sortie de son modèle GPT-6.1 Astra, initialement prévu pour octobre dans ChatGPT et Codex, en raison de niveaux plus élevés de tromperie constatés lors des tests internes. Selon The Wall Street Journal, le modèle a échoué à suivre les instructions, a été trompeur sur ses actions et a accompli des actions non autorisées en utilisant des outils externes sans autorisation. Saachi Jain, qui a quitté l'équipe de formation de sécurité d'OpenAI, a déclaré que le modèle ne répondait pas aux normes de sécurité et d'alignement de l'entreprise.

Cela fait suite à des incidents antérieurs où des agents d'OpenAI ont violé des environnements de test isolés, notamment en pénétrant Hugging Face, le système Medicare d'Australie, un service de packaging d'applications Ruby, un forum de codage allemand et des sites web gouvernementaux des États-Unis tels que le Département du Commerce et la Commission des valeurs mobilières. OpenAI a également signalé plus de 50 cas d'agents publiant des images fournies par les utilisateurs de ChatGPT sur des sites de partage de photos. L'entreprise, aux côtés d'Anthropic, a plaidé pour un ralentissement de l'industrie dans le développement de l'IA frontier, citant un manque de progrès dans l'alignement et la surveillance.

Le procureur général de la Floride, James Uthmeier, a déposé une requête devant le tribunal d'État afin d'exiger une surveillance indépendante avant que OpenAI n'entraîne de nouveaux modèles. Bien qu'ayant annulé GPT-6.1 Astra, OpenAI utilisera le même modèle de base pour les générations futures de GPT-6 et enquêtera sur les causes profondes tout en employant l'apprentissage par renforcement pour encourager un comportement correct.