An diesem Wochenende veröffentlichte Dario Amodei, CEO von Anthropic, einen Essay, in dem er eine Bremse bei der LLM-Entwicklung fordert und Gefahren von Cyberangriffen bis hin zu wirtschaftlichem Ruin anführt. OpenAI-CEO Sam Altman, Google DeepMind-Vorsitzender Demis Hassabis und SpaceXAI-CEO Elon Musk sprachen ihre Unterstützung aus. „Dario hat recht“, schrieb Musk auf X. Noch vor wenigen Monaten standen Musk und Altman wegen einer gescheiterten Klage vor Gericht. Anthropic wurde 2021 gegründet, weil Amodei nicht glaubte, dass Altman Risiken ernst genug nahm. Jetzt sind sie sich einig: Die neuesten LLMs sind nicht sicher.

Die öffentliche Botschaft der führenden KI-Labore hat eine Untergangswende genommen. Es ist leicht, zynisch zu sein. Mit Billionen-Dollar-IPOs in Sicht müssen OpenAI und Anthropic die Investoren beruhigen und gleichzeitig die Macht der Monster andeuten, die sie erschaffen haben. Ein Aufruf zur Verlangsamung erfüllt beides.

Doch die Stimmung hat sich verändert. Amodeis Beitrag erschien sechs Tage, nachdem OpenAI einen Essay des Chefwissenschaftlers Jakub Pachocki veröffentlicht hatte, der befürchtet, dass OpenAIs Fähigkeit, leistungsstarke Modelle zu bauen, seine Fähigkeit, sie zu überwachen, übersteigt. Beide nennen den Cyberangriff vom Juli auf Hugging Face durch OpenAIs Agenten als Weckruf. Aber ihre Position ist schwer festzunageln. Pachocki fordert eine Verlangsamung und betont gleichzeitig die Notwendigkeit, vorne zu bleiben: „Das stärkste Argument, das ich für die Fortsetzung des schnellen Trainings viel intelligenterer Modelle sehe, ist die Notwendigkeit, Verteidigungssysteme gegen die Gefahren aufzubauen, die von anderen KI ausgehen.“ Wie er es darstellt: Verlangsamen ist gut, gewinnen ist besser.

Aber nehmen wir an, eine Verlangsamung tritt ein. Was könnte sie erreichen? Betrachten wir den Hugging-Face-Angriff. OpenAI sagte, das Modell, das die meisten rogue Agenten antrieb, sei ein „äußerst hartnäckiges“ Modell der nächsten Generation gewesen, das intern getestet wurde. Aber Berichte von OpenAI und METR deuten nicht auf ein Modell hin, das zu mächtig ist, um mitzuhalten, sondern auf ein defektes Modell ...