Les dirigeants des grandes entreprises d'IA tirent la sonnette d'alarme sur les dangers de leur technologie. Le PDG d'Anthropic, Dario Amodei, a mis en garde contre de graves risques et appelé à un progrès plus lent, tandis que le PDG d'OpenAI, Sam Altman, a fait écho à la nécessité de "ralentir la frontière". L'ancien chercheur d'Anthropic, Jacob Coxon, et son collègue Evan Hubinger ont averti publiquement que l'IA pourrait permettre la création d'armes biologiques mortelles, notamment des virus ciblant des gènes, des champignons détruisant les cultures et des toxines indétectables.

Une étude de 2022 de Collaborations Pharmaceuticals a montré comment un générateur de molécules par IA a produit 40 000 agents potentiels de guerre chimique en moins de six heures, certains plus toxiques que les agents neurotoxiques connus. Le professeur de bioéthique de Stanford, David Magnus, qui suit les abus biotechnologiques depuis les années 1990, affirme que la menace a considérablement augmenté. Les grands modèles de langage fournissent désormais des guides expérimentaux détaillés, et la biotechnologie DIY a abaissé les barrières à l'entrée.

Les garde-fous existants — filtrage des fournisseurs d'ADN, revues red-teaming et blue-teaming, ajustements d'outils IA — ne sont pas infaillibles. Anthropic a récemment signalé des tentatives d'utilisation abusive de ses modèles pour améliorer des virus, la grippe aviaire et des atlas de toxines, soulignant le jeu du chat et de la souris continu entre développeurs et acteurs malveillants.