Los grupos de IA compiten por abordar el riesgo de que modelos futuros puedan ayudar a los usuarios a crear virus novedosos o armas biológicas, amid crecientes preocupaciones de que las capacidades científicas de la tecnología se convertirán en la próxima amenaza de seguridad pública para la industria. Anthropic, Open AI y Google Deep Mind están intensificando el trabajo en pruebas de riesgos biológicos, controles de acceso y otras salvaguardas para limitar el uso indebido de sistemas de IA avanzados, con la esperanza de acelerar el descubrimiento de fármacos, ayudar en la investigación de enfermedades y prevenir pandemias.

El impulso de seguridad refleja una creencia cada vez mayor entre ejecutivos de IA y expertos en bioseguridad de que la biología puede ser el próximo campo, después de la ciberseguridad, que necesite ser asegurado a medida que nuevos modelos se vuelvan más poderosos. "Casi cualquier cosa que suceda en el espacio químico bio es muy de doble uso", dijo Dawn Bloxwich, cuyo equipo revisa e investiga actividades sospechosas en los modelos de IA de Google Deep Mind.

Estas preocupaciones se intensificaron después de que el modelo Mythos de Anthropic generara alarmas este año sobre las capacidades cibernéticas de la IA, y después de que los modelos de Open AI se infiltraran de forma autónoma en el grupo de IA Hugging Face en julio. "After this . . . we're anticipating a 'Mythos' moment for AI and Bio," dijo Jason Hausenloy, lead de políticas en el Center for AI Safety.

La IA podría ser mal utilizada por grupos terroristas o actores estatales para diseñar armas biológicas. Varios trabajadores de riesgos biológicos señalaron a Aum Shinrikyo, una secta que realizó un ataque terrorista en Tokio, Japón, en 1995.