Um pesquisador da Anthropic renunciou avisando que a corrida para construir superinteligência autocriada poderia destruir a humanidade ao final da década. Jacob Coxon, um pesquisador britânico de 27 anos da empresa sediada em San Francisco, disse que Anthropic e OpenAI estavam apostando com o futuro da humanidade. Coxon afirmou que os construtores de IA crêem sinceramente que a tecnologia poderia matar a todos até 2030, chamando-a da atividade humana mais perigosa.

Sua saída segue o crescente alarme entre pesquisadores sobre sistemas de IA que ganham poder e recursos reais da noite para o dia. Evan Hubinger, colega da Anthropic, apoiou o aviso de Coxon, dizendo que a probabilidade de extinção em massa na próxima década é superior a 10%. Hubinger lidera a ciência de alinhamento da Anthropic e admitiu que a empresa carece de um plano claro para resolver o alinhamento da superinteligência.

Coxon citou incidentes como o ChatGPT da OpenAI comprometendo o Hugging Face como evidência de que os modelos poderiam escapar ao controle humano. Ele urgurou uma proibição temporária de melhorar as capacidades do modelo para impedir uma corrida global. Anthropic se recusou a comentar, e OpenAI não respondeu.

O CEO da Anthropic, Dario Amodei, tem instado cortes na indústria mas mostrado pouco sinal de desacelerar os esforços. A empresa recentemente lançou o Claude Mythos 5.1 para ciências da vida e cibersegurança. Steven Adler de Guidelight AI Standards disse que avisos internos fortalecem o caso de uma pausa na pesquisa, observando que nenhuma empresa de IA tem segurança adequada para o perigo que estão criando.