Los líderes de las principales empresas de IA están sonando la alarma sobre los peligros de su tecnología. El CEO de Anthropic, Dario Amodei, advirtió sobre riesgos graves y pidió un progreso más lento, mientras que el CEO de OpenAI, Sam Altman, hizo eco de la necesidad de "regular el ritmo de la frontera". El ex investigador de Anthropic, Jacob Coxon, y su colega Evan Hubinger advirtieron públicamente que la IA podría permitir la creación de bioweapons mortales, incluyendo virus dirigidos a genes, hongos destructores de cultivos y toxinas indetectables.

Un estudio de 2022 de Collaborations Pharmaceuticals demostró cómo un generador de moléculas de IA produjo 40,000 agentes potenciales de guerra química en menos de seis horas, algunos más tóxicos que los agentes nerviosos conocidos. El profesor de bioética de Stanford, David Magnus, quien ha rastreado el mal uso de la biotecnología desde los años 1990, dice que la amenaza ha escalado dramáticamente. Los grandes modelos de lenguaje ahora proporcionan orientación experimental detallada, y la biotecnología DIY ha reducido las barreras de entrada.

Las salvaguardas existentes —examen de proveedores de ADN, revisiones de red-teaming y blue-teaming, y ajustes de herramientas de IA— no son infalibles. Anthropic informó recientemente intentos de usar maliciosamente sus modelos para mejorar virus, gripe aviar y atlas de toxinas, destacando el juego continuo del gato y el ratón entre desarrolladores y actores maliciosos.