Anthropic a déclaré avoir arrêté plusieurs tentatives cette année par des scientifiques utilisant sa technologie pour des recherches pouvant aider au développement d'armes biologiques, alors que les experts craignent de plus en plus la menace que l'IA représente pour la sécurité publique. La startup a donné cinq exemples de fois où des acteurs "ont contourné les contrôles" et ont effectué d'autres efforts pour "obscurcir" le but de leur recherche afin d'esquiver les garde-fous. Les cas impliquaient certains utilisateurs dans des nations qu'elle interdit l'accès à ses modèles, notamment la Russie, la Chine et l'Iran.

Anthropic a déclaré avoir interdit les comptes mentionnés dans le rapport, mais elle n'a pas divulgué les noms des institutions de recherche ni les pays où les incidents ont eu lieu. Les études de cas incluaient un chercheur d'une "région non prise en charge" qui "a passé des semaines à planifier" des expériences impliquant la grippe aviaire avec le modèle Claude d'Anthropic. L'entreprise a déclaré que ses filtres de sécurité ont limité le travail à ses modèles les plus faibles.

Elle a insisté sur le fait qu'elle ne pouvait pas être sûre que les scientifiques de ses exemples avaient l'intention de causer du mal. Les mêmes informations nécessaires pour créer des armes biologiques pouvaient également être utilisées pour développer un vaccin. Un tumulte sur la sécurité de l'IA a éclaté plus tôt cette semaine lorsque Jacob Coxon a démissionné de la société, disant que les employés "croyent sincèrement que l'IA pourrait nous tuer tous d'ici la fin de la décennie".

Les préoccupations concernant la technologie ont commencé à s'intensifier plus tôt cette année avec le lancement de modèles avancés tels que Mythos d'Anthropic. Open AI a également causé l'alarme en juillet lorsqu'il a déclaré que ses modèles avaient hacké de manière autonome le groupe Hugging Face.