Pada pertengahan 2023, dalam proyek penelitian 'RLSlow', kita melihat hasil pertama yang memberi kita keyakinan bahwa kita dapat meningkatkan skala pelatihan model penalaran, membuka kemampuan model yang telah dilatih sebelumnya untuk membentuk rantai pemikiran mereka sendiri. Szymon dan saya malam itu berada di kantor, kita tidak memikirkan angka benchmark yang luar biasa, produk, atau hasil ilmiah yang akan diberikan oleh teknologi ini - justru kita mencoba memahami fakta yang menenangkan bahwa kita akan sebenarnya melihat mesin yang secara bermakna lebih cerdas daripada kita dalam hidup kita, dan kita sudah melihat bentuk sistem-sistem ini; kita bertanya-tanya bagaimana memberi peringatan kepada orang tentang pentingnya ini. Tiga tahun kemudian, model bahasa penalaran menjadi bagian yang tumbuh cepat dari ekonomi dan mulai mendorong batas-batas ilmu pengetahuan.

Mereka mampu mengoperasikan komputer dan antarmuka grafis, berkolaborasi dengan orang dan satu sama lain, serta menjalankan proyek penelitian. Mereka juga mengubah lanskap keamanan komputer, dan dalam hal ini mereka menyajikan bahaya baru yang jelas. Banyak penelitian baru terjadi dalam periode ini, dan pemahaman kita tentang sistem-sistem ini kembali sedikit berbeda daripada pada tahun 2023.

Berdasarkan hasil internal, saya memiliki ekspektasi yang kuat bahwa kecepatan progres ini dapat terus berlanjut ke dalam perbaikan diri rekursif. Jika pengembangan AI terus berjalan sesuai jalur saat ini, sistem-sistem yang akan kita lihat dalam beberapa tahun ke depan kemungkinan besar akan mewakili lonjakan kemampuan lebih lanjut yang sama besar atau lebih besar, dan mereka akan semakin mendorong pengembangan mereka sendiri. Ini adalah saat yang memerlukan kecanggihan ekstra.

Saya khawatir tidak ada yang siap menghadapi konsekuensi dari kenaikan cepat yang terus-menerus kecerdasan mesin. Open AI akan terus mencari solusi teknis untuk perataan dan pemantauan, membangun sistem pertahanan, dan secara unilateral menahan penskalaan lebih lanjut jika diperlukan; namun, saya percaya diperlukan intervensi yang lebih luas.