Jacob Coxon gab bekannt, dass er nach drei Jahren Vortrainingsforschung sowohl bei OpenAI als auch bei Anthropic von Anthropic zurückgetreten ist. Er erklärte, dass keines der beiden Unternehmen verantwortungsvoll handle, sondern auf eine sich selbst verbessernde Superintelligenz zusteuere und "mit unserem Leben spiele". Coxon warnte, dass diese Systeme bald übermenschlich sein werden, in der Lage, alles zu hacken und jedes Feld über Nacht zu revolutionieren. Er merkte an, dass die Erbauer bei OpenAI die zivilisatorischen Einsätze nicht tief verinnerlicht hätten, während Anthropic die Risiken verstehe, aber in einem Rennen gefangen sei, als Erster dort anzukommen.

Coxon bezeichnete die Akzeptanz dieses Rennens als "hybristischen Wetteinsatz", der nicht von dem Slack eines privaten Unternehmens aus gestartet werden sollte. Er äußerte Optimismus bezüglich Koordination und verwies auf den Angriff auf Hugging Face als Faktor, der Tempo-Vereinbarungen zwischen US-Laboren machbarer mache. Er forderte Forscher auf, zu überlegen, ob sie einen superintelligenten RL-Lauf ohne rigoroses Verständnis starten wollen, oder handeln, anstatt "es passiert sowieso" zu akzeptieren.

Der Beitrag erhielt 20,3 Millionen Aufrufe und löste Diskussionen über AI Notkilleveryoneism-Memes und die Frage aus, ob Erbauer, die existenzielles Risiko fürchten, die Technologie weiterentwickeln sollten.

Schlüsselentitäten: Unternehmen: Anthropic, OpenAI, Hugging Face | Personen: Jacob Coxon, Tim Cook