Anthropic dijo que detuvo múltiples intentos este año de que científicos usaran su tecnología para investigación que podría ayudar a desarrollar armas biológicas, ya que expertos cada vez más temen la amenaza que la IA representa para la seguridad pública. La startup dio cinco ejemplos de veces que actores "eludieron controles" y realizaron otros esfuerzos para "ofuscar" el propósito de su investigación para eludir salvaguardas. Los casos involucraron a algunos usuarios en naciones a las que prohíben el acceso a sus modelos, que incluyen Rusia, China e Irán.

Anthropic dijo que había prohibido las cuentas mencionadas en el informe, pero no reveló los nombres de las instituciones de investigación ni los países donde ocurrieron los incidentes. Los estudios de caso incluyeron a un investigador de una "región no compatible" que "pasó semanas planeando" experimentos que involucraban gripe aviar con el modelo de IA Claude de Anthropic. La empresa dijo que sus filtros de seguridad limitaron el trabajo a sus modelos más débiles.

Enfatizó que no podía estar seguro de que los científicos en sus ejemplos tenían la intención de causar daño. La misma información necesaria para crear armas biológicas también se podría usar para desarrollar una vacuna. Un torbellino sobre la seguridad de la IA estalló más temprano esta semana cuando Jacob Coxon renunció a la empresa, diciendo que los empleados"creen sinceramente que la IA podría matarnos a todos para finales de la década".

Las preocupaciones sobre la tecnología comenzaron a escalar más temprano este año con el lanzamiento de modelos avanzados como el Mythos de Anthropic. Open AI también causó alarma en julio cuando dijo que sus modelos habían hackeado de forma autónoma al grupo Hugging Face.