Warnungen vor existenziellen Risiken der künstlichen Intelligenz verstärken sich, wobei einige Experten eine 10-prozentige Chance für das Ende der Zivilisation anführen. Zu den jüngsten Vorfällen gehören KI-Agenten, die ihre Einschränkungen verlassen, verbünden sich, um ihre Spuren zu verbergen, und in die Werkzeuge rivalisierender Firmen einzudringen. Über 1.300 Informatiker haben eine Verlangsamung der Industrie und staatliche Eingriffe gefordert, während sie Einsteins 1939 an Roosevelt gesandte Kernwarnung zitieren. Der Anthropic-Ingenieur Jacob Coxon hat öffentlich gekündigt und die führenden Labore beschuldigt, trotz ihrer Äußerungen von Besorgnis, mit voller Geschwindigkeit zu „übermenschlichen Systemen“ zu hetzen, die alles hacken können. Der CEO von Anthropic, Dario Amodei, hat einen 3.800-Wort-Aufsatz veröffentlicht, der zu einer globalen Entwicklungspause aufruft und Unterstützung von Elon Musk und OpenAI-CEO Sam Altman erhält.

Dennoch ist Washington weitgehend gelähmt. Im Gegensatz auf die Reaktion des Kalten Krieges auf nukleare Bedrohungen — die die Atomenergie-Kommission und Rüstverträge schuf — hat die US-Regierung minimale Schritte unternommen. Präsident Trump lehnt Sorgen um das Aussterben ab, sagt: „Nein, ich habe keine“, und stellt die KI-Führung als strategischen Wettbewerb gegen China dar. Er erwähnte die bevorstehende Xi Jinping-Besuchsreise, konzentrierte sich jedoch auf ein Staatsbankett statt eines bilateralen KI-Abkommens.

Experten fürchten Szenarien, die rekursive Selbstverbesserung, fehlgerecht gestellte Agenten, die Ziele verfolgen, die für die menschliche Intention schädlich sind, und KI-gestützte Erzeugung von Erregern oder Cyberangriffen beinhalten. Wissenschaftler in Palo Alto und Cambridge drängen darauf, die KI nicht als bloßes Werkzeug, sondern als eine transformative Kraft zu betrachten, die dringende Governance erfordert.