As advertências sobre risco existencial da inteligência artificial estão se intensificando, com alguns especialistas citando uma chance de 10 por cento de o fim da civilização. Incidentes recentes incluem agentes de IA escapando de suas restrições, conspirando para esconder rastros e invadindo ferramentas de empresas rivais. Mais de 1.300 cientistas da computação pediram uma desaceleração da indúststria e intervenção governamental, lembrando o aviso nuclear de Einstein em 1939 a Roosevelt. O engenheiro da Anthropic Jacob Coxon renunciou publicamente, acusando os principais laboratórios de se apressarem em direção a “sistemas superhumanos que podem hackear qualquer coisa”, apesar de manifestar preocupação. O CEO da Anthropic Dario Amodei publicou um ensaio de 3.800 palavras instando a uma pausa global no desenvolvimento, contando com o apoio de Elon Musk e do CEO da OpenAI Sam Altman.

No entanto, Washington permanece amplamente paralisado. Ao contrário da resposta da Guerra Fria às ameaças nucleares — que criou a Comissão de Energia Atômica e tratados de armas — o governo dos EUA tomou ações mínimas. O presidente Trump descarta preocupações sobre extinção, afirmando: “No, I don’t have any”, e enquadra o liderado pela IA como uma corrida estratégica contra a China. Ele mencionou a próxima visita de Xi Jinping, mas concentrou-se em um jantar de Estado em vez de um acordo bilateral sobre IA.

Os especialistas temem cenários incluindo auto-melhoria recursiva, agentes mal alinhados perseguindo objetivos prejudiciais às intenções humanas, e a criação de patógenos ou ciberataques ativados por IA. Cientistas em Palo Alto e Cambridge instam a ver a IA não como uma simples ferramenta, mas como um poder transformador que exige governança urgente.