Jacob Coxon mengumumkan bahwa ia mundur dari Anthropic setelah tiga tahun melakukan penelitian pra-pelatihan di OpenAI dan Anthropic. Ia menyatakan bahwa tidak satu pun perusahaan yang bertindak secara bertanggung jawab, berdua berbalapan menuju superintelligence yang自我-meningkatkan dan "berjudi dengan nyawa kita". Coxon memperingatkan bahwa sistem-sistem ini segera akan menjadi superhuman, mampu meretas apa pun dan merevolusi bidang apa pun dalam semalam. Ia mencatat bahwa pembangun di OpenAI belum mendalami secara mendalam taruhan peradaban, sementara Anthropic memahami risikonya namun terjebak dalam balapan untuk sampai di sana lebih dulu.

Coxon menyebut menerima balapan ini sebagai "taruhan congkak" yang seharusnya tidak diluncurkan dari Slack perusahaan swasta. Ia mengungkapkan optimisme tentang koordinasi, mengutip serangan Hugging Face sebagai membuat kesepakatan pacing antara lab AS lebih layak. Ia mendesak peneliti untuk mempertimbangkan apakah mereka ingin memulai jalankan RL superintelligence tanpa pemahaman yang ketat, atau bertindak daripada menerima "terjadi saja".

Postingan ini mendapatkan 20,3 juta tayangan dan memicu diskusi tentang meme AI Notkilleveryoneism dan apakah pembangun yang takut pada risiko eksistensial harus terus mengembangkan teknologi.

Entitas Kunci: Perusahaan: Anthropic, OpenAI, Hugging Face | Orang: Jacob Coxon, Tim Cook