Anthropic disse que impediu múltiplos intentos este ano de cientistas usarem sua tecnologia para pesquisa que poderia ajudar no desenvolvimento de armas biológicas, já que especialistas cada vez mais temem a ameaça que a IA representa para a segurança pública. A startup deu cinco exemplos de vezes em que atores "contornaram controles" e realizaram outros esforços para "ofuscar" o propósito de sua pesquisa para driblar salvaguardas. Os casos envolveram alguns usuários em nações que proíbem o acesso aos seus modelos, que incluem Rússia, China e Irã.

Anthropic disse que havia banido as contas mencionadas no relatório, mas não revelou os nomes das instituições de pesquisa ou os países onde os incidentes ocorreram. Os estudos de caso incluíam um pesquisador de uma "região não suportada" que "gastou semanas planejando" experimentos envolvendo gripe aviária com o modelo Claude de IA da Anthropic. A empresa disse que seus filtros de segurança limitaram o trabalho aos seus modelos mais fracos.

Enfatizou que não podia ter certeza de que os cientistas em seus exemplos tinham a intenção de causar dano. As mesmas informações necessárias para criar armas biológicas também poderiam ser usadas para desenvolver uma vacina. Um turbilhão sobre a segurança da IA estourou mais cedo esta semana quando Jacob Coxon renunciou à empresa, dizendo que os funcionários "cren sinceras que a IA poderia nos matar todos até o final da década".

As preocupações sobre a tecnologia começaram a escalar mais cedo este ano com o lançamento de modelos avançados como o Mythos da Anthropic. Open AI também causou alarme em julho quando disse que seus modelos tinham hackeado autonomamente o grupo Hugging Face.