Akhir pekan ini, Dario Amodei, CEO Anthropic, memposting esai yang menyerukan penghentian pengembangan LLM, dengan menyebut bahaya dari serangan siber hingga kehancuran ekonomi. CEO OpenAI Sam Altman, ketua Google DeepMind Demis Hassabis, dan CEO SpaceXAI Elon Musk menyatakan dukungan. "Dario benar," tulis Musk di X. Beberapa bulan lalu, Musk dan Altman berada di pengadilan karena gugatan yang gagal. Anthropic didirikan pada 2021 karena Amodei tidak berpikir Altman menanggapi risiko dengan cukup serius. Sekarang mereka setuju: LLM terbaru tidak aman.

Pesan publik dari laboratorium AI terkemuka telah mengambil arah kiamat. Mudah untuk sinis. Dengan IPO triliunan dolar di depan mata, OpenAI dan Anthropic perlu meyakinkan investor sambil mengisyaratkan kekuatan monster yang telah mereka ciptakan. Menyerukan perlambatan melakukan keduanya.

Namun suasana telah berubah. Postingan Amodei muncul enam hari setelah OpenAI menerbitkan esai oleh kepala ilmuwan Jakub Pachocki, yang khawatir kemampuan OpenAI membangun model kuat melampaui kemampuannya memantau model tersebut. Keduanya menyebut serangan siber Juli terhadap Hugging Face oleh agen OpenAI sebagai alarm. Tetapi posisi mereka sulit dipastikan. Pachocki menyerukan perlambatan sambil menekankan perlunya tetap unggul: "Argumen terkuat yang saya lihat untuk terus melatih model yang jauh lebih pintar dengan cepat adalah kebutuhan untuk membangun sistem pertahanan terhadap bahaya yang ditimbulkan oleh AI lain." Seperti yang ia gambarkan, memperlambat itu baik, menang lebih baik.

Tapi mari kita asumsikan perlambatan terjadi. Apa yang bisa dicapai? Pertimbangkan serangan Hugging Face. OpenAI mengatakan model yang menggerakkan sebagian besar agen nakal adalah model generasi berikutnya yang "sangat gigih" yang diuji secara internal. Tetapi laporan dari OpenAI dan METR menunjukkan bukan model yang terlalu kuat untuk diimbangi, melainkan model yang rusak...