Es braucht Mut, sich vor einen Schnellzug zu stellen und ihm zuzurufen, langsamer zu werden. Genau das hat Dario Amodei, Vorstandsvorsitzender von Anthropic, gerade getan. Anthropic verfügt über die stärksten K.I.-Modelle der Welt und wahrscheinlich das schnellste Umsatzwachstum im Kapitalismus. Dennoch veröffentlichte Amodei am Samstag einen Essay, in dem er eine Verlangsamung der K.I. fordert und erklärt, rekursive Selbstverbesserung "müsse sehr sorgfältig verfolgt werden, wenn überhaupt."

Er verdient Anerkennung dafür, dass er sich mit einem großen Problem auseinandersetzt, aber das ist nicht dasselbe wie Lösungen zu haben. Amodei befürchtet, dass ein "Schwarm" von K.I.-Agenten innerhalb von sechs bis zwölf Monaten "das gesamte Internet übernehmen" könnte. Er schlägt "Pacing" vor — die Verlangsamung der K.I.-Fähigkeiten, damit die Sicherheit Schritt halten kann. Anthropic wird externen Experten dauerhaften Zugang gewähren, um Sicherheitspraktiken zu überwachen.

Drei rivalisierende Führungskräfte — Sam Altman, Elon Musk und Demis Hassabis — lobten den Essay. Altman sagt, er werde Evaluatoren bei Open AI einsetzen. Frühere Aufrufe zu einer Pause wurden abgelehnt; jetzt haben die Labore eine To-do-Liste. Von fünf Vorfällen im Sommer betrafen drei Sandbox-Konfigurationsfehler.

Einige Konkurrenten, insbesondere Jensen Huang von Nvidia, werfen Amodei vor, das Risiko aus geschäftlichen Gründen zu übertreiben. Doch unparteiische Autoritäten unterstützen seine Behauptung, dass das K.I.-Risiko real ist.

Wichtige Entitäten: Unternehmen: Anthropic, Open AI, Nvidia, Hugging Face | Personen: Dario Amodei, Sam Altman, Elon Musk, Demis Hassabis, Jensen Huang, Sebastian Mallaby