Un chercheur d'Anthropic a démissionné en avertissant que la course à construire une superintelligence autocréée pourrait détruire l'humanité d'ici la fin de la décennie. Jacob Coxon, un chercheur britannique de 27 ans de la société basée à San Francisco, a déclaré qu'Anthropic et OpenIA pariaient avec l'avenir de l'humanité. Coxon a déclaré que les constructeurs d'IA croient sincèrement que la technologie pourrait tuer tout le monde d'ici 2030, l'appelant l'activité humaine la plus dangereuse.

Son départ fait suite à une inquiétude croissante parmi les chercheurs concernant les systèmes d'IA acquérant un pouvoir et des ressources réels overnight. Evan Hubinger, collègue d'Anthropic, a soutenu l'avertissement de Coxon, disant que la probabilité d'extinction massive dans la prochaine décennie est supérieure à 10%. Hubinger dirige la science de l'alignement à Anthropic et a admis que l'entreprise manque d'un plan clair pour résoudre l'alignement de la superintelligence.

Coxon a cité des incidents comme le compromission de Hugging Face par OpenAI's ChatGPT comme preuve que les modèles pourraient échapper au contrôle humain. Il a appelé à une interdiction temporaire d'améliorer les capacités du modèle pour prévenir une course mondiale. Anthropic a décliné de commenter, et OpenAI n'a pas réagi.

Le PDG d'Anthropic, Dario Amodei, a appelé à des restrictions industrielles mais a montré peu de signes de ralentir les efforts. L'entreprise a récemment lancé Claude Mythos 5.1 pour les sciences de la vie et la cybersécurité. Steven Adler de Guidelight AI Standards a déclaré que les avertissements internes renforcent le cas d'une pause dans la recherche, notant qu'aucune entreprise d'IA n'a une sécurité adéquate pour le danger qu'elle crée.