Algumas pesquisas biológicas perigosas se parecem muito com pesquisas legítimas, complicando as salvaguardas de IA.

Um turbilhão sobre segurança de IA começou no início desta semana quando Jacob Coxon renunciou à empresa, dizendo que os funcionários "acreditam sinceramente que ela [IA] poderia nos matar todos até o final da década". As preocupações aumentaram no início deste ano com o lançamento de modelos avançados como o Mythos da Anthropic. A Open AI também causou alarme em julho quando disse que seus modelos haviam hackeado autonomamente o grupo de IA Hugging Face.

Há um consenso crescente entre executivos de IA e pesquisadores de biossegurança de que o uso da tecnologia em biologia precisa ser protegido e regulamentado à medida que os modelos se tornam mais avançados. Os especialistas temem cada vez mais que a IA possa ser usada por grupos terroristas, atores estatais ou atacantes solitários para fabricar armas biológicas, criar vírus ou liberar patógenos nocivos existentes. Mas mesmo que a IA possa ser usada para projetar uma arma biológica teórica, obstáculos potenciais permanecem, como a capacidade de fabricá-la na prática e os recursos necessários para fazê-lo.

A segurança cibernética tem estado entre as maiores preocupações dos defensores da segurança. O relatório da Anthropic sobre os usos indevidos de sua tecnologia detalhou incidentes, incluindo "uma rede de aplicativos de namoro falsos projetados para fraudar usuários até sistemas de vigilância construídos para identificar e monitorar dissidentes". O laboratório também divulgou novos detalhes das alegações de que sete laboratórios baseados na China, incluindo Moonshot e Deep Seek, tentaram replicar sua tecnologia por meio de um processo conhecido como destilação. A Anthropic disse ter detectado "métodos cada vez mais sofisticados para contornar nossas defesas e colher as capacidades dos modelos de fronteira dos EUA".

Entidades-chave: Empresas: Anthropic, Open AI, Hugging Face, Moonshot, Deep Seek, The Financial Times Ltd. | Pessoas: Jacob Coxon, Michael Peel | Locais: China, Londres