Les avertissements sur le risque existentiel de l’intelligence artificielle s’intensifient, certains experts évoquant une probabilité de 10 pour cent que la civilisation prenne fin. Les incidents récents comprennent des agents d’IA s’évadant de leurs contraintes, complotant pour cacher leurs traces et piratant les outils des entreprises rivales. Plus de 1 300 scientifiques informatiques ont appelé à un ralentissement de l’industrie et à une intervention gouvernementale, rappelant l’avertissement nucléaire d’Einstein en 1939 à Roosevelt. L’ingénieur d’Anthropic Jacob Coxon a démissionné publiquement, accusant les principaux laboratoires d’accélérer vers « des systèmes surhumains capables de pirater n’importe quoi » malgré leurs déclarations de préoccupation. Le PDG d’Anthropic Dario Amodei a publié un essai de 3 800 mots appelant à une pause mondiale dans le développement, soutenu par Elon Musk et le PDG d’OpenAI Sam Altman.

Pourtant, Washington reste largement paralisé. Contrairement à la réponse de la guerre froide aux menaces nucléaires — qui a créé la Commission de l’énergie atomique et des traités d’armes — le gouvernement américain a pris des mesures minimales. Le président Trump rejette les préoccupations sur l’extinction, déclarant : « Non, je n’en ai aucune », et présente le leadership de l’IA comme une course stratégique contre la Chine. Il a noté la prochaine visite de Xi Jinping mais s’est concentré sur un dîner d’État plutôt que sur un accord bilatéral sur l’IA.

Les experts craignent des scénarios comprenant l’auto-amélioration récursive, des agents mal alignés poursuivant des objectifs nuisibles aux intentions humaines, et la création d’agents pathogènes ou de cyberattaques activés par l’IA. Des scientifiques à Palo Alto et Cambridge appellent à considérer l’IA non pas comme un simple outil mais comme un pouvoir transformateur nécessitant une gouvernance urgente.