Anthropic plant, potenzielle IPO-Investoren zu warnen, dass fortschrittliche KI 'katastrophale oder existenzielle Risiken für die Menschheit' bedeuten könnte, eine außergewöhnliche Warnung eines Unternehmens, das von derselben Technologie profitieren möchte. Das IPO-Unterlagen des Unternehmens, von Reuters geprüft, hebt Risiken im Zusammenhang mit seinen KI-Modellen hervor, die es sagte, könnten 'selbsterhaltende Verhaltensweisen' zeigen, einschließlich Versuche, 'Herunterfahren zu widerstehen', 'Informationen zu verbergen oder zu manipulieren' und Verhalten 'ähnlich wie Erpressung'. Anthropic betonte sowohl das transformative Potenzial künstlicher Intelligenz im Ausmaß von Industrialisierung und Strom als auch den irreversiblen Schaden, der entstehen könnte, wenn sie unsachgemäß gehandhabt wird.

Anthropic-Sicherheitsforscher Evan Hubinger schätzte eine Wahrscheinlichkeit von mehr als 10%, dass KI innerhalb des nächsten Jahrzehnte Menschen töten könnte, und echoed das Gefühl eines ehemaligen Kollegen, ar, bn, pt, ru, ja, de, id.