Algunas investigaciones biológicas peligrosas se parecen mucho a la investigación legítima, lo que complica las salvaguardas de IA.

Un torbellino en torno a la seguridad de la IA se desató a principios de esta semana cuando Jacob Coxon renunció a la empresa, diciendo que los empleados "creen sinceramente que [la IA] podría matarnos a todos para el final de la década". Las preocupaciones aumentaron a principios de este año con el lanzamiento de modelos avanzados como Mythos de Anthropic. Open AI también causó alarma en julio cuando dijo que sus modelos habían hackeado autónomamente al grupo de IA Hugging Face.

Existe un consenso creciente entre ejecutivos de IA e investigadores de bioseguridad de que el uso de la tecnología en biología necesita ser asegurado y regulado a medida que los modelos se vuelven más avanzados. Los expertos temen cada vez más que la IA pueda ser utilizada por grupos terroristas, actores estatales o atacantes solitarios para fabricar armas biológicas, crear virus o desatar patógenos dañinos existentes. Pero incluso si la IA puede usarse para diseñar un arma biológica teórica, persisten obstáculos potenciales, como la capacidad de fabricarla en la práctica y los recursos necesarios para hacerlo.

La ciberseguridad ha sido una de las mayores preocupaciones para los defensores de la seguridad. El informe de Anthropic sobre los usos indebidos de su tecnología detalló incidentes que incluyen "una red de aplicaciones de citas falsas diseñadas para defraudar a usuarios hasta sistemas de vigilancia construidos para identificar y monitorear a disidentes". El laboratorio también expuso nuevos detalles de las afirmaciones de que siete laboratorios con sede en China, incluidos Moonshot y Deep Seek, intentaron replicar su tecnología mediante un proceso conocido como destilación. Anthropic dijo que había detectado "métodos cada vez más sofisticados para eludir nuestras defensas y cosechar las capacidades de los modelos fronterizos de EE. UU."

Entidades clave: Empresas: Anthropic, Open AI, Hugging Face, Moonshot, Deep Seek, The Financial Times Ltd. | Personas: Jacob Coxon, Michael Peel | Ubicaciones: China, Londres