Peneliti Anthropic Jacob Coxon berhenti karena ketakutan akan keamanan AI. Jacob Coxon, peneliti Britania 27 tahun di perusahaan berbasis San Francisco Anthropic, mengatakan bahwa Anthropic dan OpenAI mempertaruhkan masa depan manusia. Coxon menyatakan bahwa pembangun AI dengan jujur percaya teknologi bisa membunuh semua orang hingga 2030, menganggapnya aktivitas manusia yang paling berbahaya.

Kepergiannya mengikuti peningkatan khawatir para peneliti tentang sistem AI yang dapat mendapatkan kekayaan dan sumber daya nyata malam hari. Evan Hubinger, kolega di Anthropic, mendukung peringatan Coxon, mengatakan bahwa kemungkinan massal punah di dekade selanjutnya di atas 10%. Hubinger memimpin ilmu penyesuaian di Anthropic dan mengakui perusahaan kurang memiliki rencana jelas untuk menyelesaikan penyesuaian superinteligence.

Coxon mengacu pada insiden seperti OpenAI's ChatGPT merusak Hugging Face sebagai bukti bahwa model bisa melampaui kendali manusia. Dia meminta sementara larangan peningkatan kemampuan model untuk mencegah balap global. Anthropic menolak untuk mengomentari, dan OpenAI tidak merespons.

CEO Anthropic Dario Amodei telah meminta industri berhenti tapi menunjukkan sedikit tanda memperlambat usaha. Perusahaan baru saja meluncurkan Claude Mythos 5.1 untuk ilmu kehidupan dan siberkeamanan. Steven Adler dari Guidelight AI Standards mengatakan bahwa peringatan dalam memperkuat kasus pauk penelitian, menilai tidak ada perusahaan AI memiliki keamanan yang memadai untuk bahaya yang mereka ciptakan.