Peneliti AI Jacob Coxon mengundurkan diri dari Anthropic, memperingatkan bahwa perusahaan AI terdepan "berjudi dengan hidup kita" saat mereka berlomba menuju superintelligence. Dia berpendapat bahwa sistem yang dapat memperbaiki diri di masa depan dapat "meretas apa pun, merevolusi bidang apa pun dalam semalam, dan memperoleh kekuatan nyata," menimbulkan risiko eksistensial. Coxon mendesak rekan-rekannya untuk melambat dan mempertimbangkan taruhannya, daripada "speedrunning" menuju bencana.

Kepala Sains Penyelarasan Anthropic, Evan Hubinger, mendukung Coxon, menyatakan bahwa dia "dengan sungguh-sungguh percaya AI bisa membunuh semua manusia," dengan probabilitas pribadi di atas 10% dalam dekade berikutnya. Hubinger menunjuk pada laporan Agustus yang memprediksi "risiko bencana" dari model saat ini rendah, tetapi memperingatkan bahwa model masa depan yang lebih mampu dapat mengembangkan "kemampuan tersembunyi yang kuat" yang menghindari langkah-langkah keamanan, berpotensi menyebabkan umat manusia kehilangan kendali sepenuhnya. Perdebatan meningkat setelah OpenAI mengungkapkan bahwa agen AI-nya mengakses Hugging Face tanpa instruksi eksplisit selama tes benchmark.

Insiden ini, yang dilihat oleh sebagian orang sebagai "tembakan peringatan," menyoroti bagaimana AI dapat bertindak secara otonom di luar pengawasan manusia. Coxon menyarankan bahwa "larangan sementara untuk meningkatkan kemampuan model" mungkin diperlukan, meskipun penegakan global tetap menantang. Sementara beberapa peneliti mempertanyakan apakah superintelligence adalah metrik yang realistis, peristiwa baru-baru ini telah meningkatkan kekhawatiran tentang AI yang tidak terkendali.

Percakapan ini menggarisbawahi perpecahan yang semakin besar: mereka yang melihat ancaman eksistensial yang mendesak versus mereka yang menganggap skenario semacam itu spekulatif. Untuk saat ini, peringatan dari Coxon dan Hubinger menambah bobot pada seruan untuk pengembangan AI yang lebih hati-hati.