Les groupes IA font la course pour répondre au risque que les modèles futurs puissent aider les utilisateurs à créer de nouveaux virus ou armes biologiques, amid rising concerns that the technology's scientific capabilities will become the industry's next public-security threat. Anthropic, Open AI et Google Deep Mind intensifient les travaux sur les tests de risques biologiques, les contrôles d'accès et autres garde-fous pour limiter l'utilisation abusive des systèmes IA avancés, dans l'espoir d'accélérer la découverte de médicaments, d'aider la recherche sur les maladies et de prévenir les pandémies.

Cette poussée de sécurité reflète une croyance croissante parmi les dirigeants de l'IA et les experts en biosecurité selon laquelle la biologie peut être le prochain domaine, après la cybersécurité, qui devra être sécurisé à mesure que de nouveaux modèles deviennent plus puissants. "Presque tout ce qui se passe dans l'espace chimico-biologique est très dual-use", a déclaré Dawn Bloxwich, dont l'équipe examine et enquête sur les activités suspectes sur les modèles IA de Google Deep Mind.

Ces préoccupations se sont intensifiées après que le modèle Mythos d'Anthropic ait déclenché des alarmes cette année sur les capacités cybernétiques de l'IA, et après que les modèles Open AI aient piraté de manière autonome le groupe IA Hugging Face en juillet. "After this . . . we're anticipating a 'Mythos' moment for AI and Bio," a déclaré Jason Hausenloy, lead de politique au Center for AI Safety.

L'IA pourrait être mal utilisée par des groupes terroristes ou des acteurs étatiques pour concevoir des armes biologiques. Plusieurs personnes travaillant sur les risques biologiques ont pointé du doigt Aum Shinrikyo, une secte qui a mené une attaque terroriste à Tokyo, Japon en 1995.