Líderes das principais empresas de IA estão soando alarmes sobre os perigos de sua tecnologia. O CEO da Anthropic, Dario Amodei, alertou sobre riscos sérios e pediu progresso mais lento, enquanto o CEO da OpenAI, Sam Altman, ecoou a necessidade de "controlar o ritmo da fronteira". O ex-pesquisador da Anthropic, Jacob Coxon, e o colega Evan Hubinger alertaram publicamente que a IA poderia permitir a criação de armas biológicas letais, incluindo vírus direcionados a genes, fungos destruidores de culturas e toxinas indetectáveis.

Um estudo de 2022 da Collaborations Pharmaceuticals demonstrou como um gerador de moléculas de IA produziu 40.000 agentes potenciais de guerra química em menos de seis horas, alguns mais tóxicos que agentes nervosos conhecidos. O professor de bioética de Stanford, David Magnus, que rastreia o mau uso da biotecnologia desde os anos 1990, diz que a ameaça escalou dramaticamente. Grandes modelos de linguagem agora fornecem orientação experimental detalhada, e a biotecnologia DIY reduziu barreiras de entrada.

Salvaguardas existentes — triagem de fornecedores de DNA, revisões de red-teaming e blue-teaming, e ajustes de ferramentas de IA — não são à prova de falhas. A Anthropic relatou recentemente tentativas de uso indevido de seus modelos para aprimorar vírus, gripe aviária e atlas de toxinas, destacando o jogo contínuo de gato e rato entre desenvolvedores e atores maliciosos.