HeadlinesBriefing favicon HeadlinesBriefing.com

OpenAI Percepat Penelitian dengan AI Agent

Hacker News •
×

Agar AGI seluruh umat manusia mendapat manfaat, kami percaya bahwa harus dipimpin secara demokratis. Hal ini hanya dapat terjadi melalui perdebatan publik yang terinformasi tentang kemampuan, risiko, dan pengawasan sistem AI yang sangat mampu. Semua orang di seluruh dunia perlu memahami kemungkinan jejak masa depan frontier AI, sehingga mereka dapat memiliki suara yang bermakna dalam cara perkembangannya.

Transparansi tentang risiko spesifik, insiden, dan pengawasan diperlukan, namun tidak cukup. Kami juga percaya publik perlu memahami cara sistem paling mampu berkembang, dan cara mereka mendorong kemajuan penelitian di dalam lab frontier. Kami berusaha untuk membangun AI researcher otomatis yang aman dan dapat bekerja di bawah pengawasan manusia untuk memajukan pembelajian dalam dan penyesuaian, memungkinkan perbaikan iteratif.

Menurut pengukuran kami, kami sekarang telah mencapai tujuan yang diumumkan musim gugur lalu, yaitu memiliki AI researcher otomatis hingga September tahun ini. Dengan "AI researcher otomatis", kami maksud sistem yang dapat melakukan tugas penelitian well-defined di bawah arahan manusia, termasuk tugas yang akan mengambil penelitian terampil sehari-sehari. Kami melakukan kemajuan kuat menuju menciptakan AI researcher otomatis hingga Maret 2028.

Selama tahun ini, kerja harian penelitian OpenAI berubah secara substansial. Peneliti menggunakan coding agent seharian (seringkali dalam sesi concurrent), dan total penggunaan sangat meningkat, melampaui pertumbuhan tim OpenAI lainnya. Peneliti lebih cepat menyumbang kode dan menjalankan lebih banyak eksperimen.

Cara peneliti menggunakan agent juga berubah: agent menangani tugas yang semakin kompleks dan semakin sering berhasil. Penelitian AI adalah proses yang kompleks dengan banyak potensi bottleneck, sehingga laju kemajuan secara keseluruhan kemungkinan tidak akan sejalan dengan metrik spesifik ini. Namun secara keseluruhan, temuan ini konsisten dengan persepsi internal umum banyak di antara kami bahwa agentic tools secara signifikan mempercepat kemajuan penelitian.

Orang-orang masih menetapkan prioritas penelitian kami, menilai ide dan hasil yang akan mereka verfol, dan memutuskan untuk memperluas, menghentikan, atau mendeploy sistem. Jika dilakukan bertanggung jawab, kami percaya AI researcher otomatis akan menghasilkan model yang langsung meningkatkan kesejahteraan manusia dan memajukan misi OpenAI. Ini dapat menurunkan biaya kecanggihan cerdas agar orang di seluruh dunia mendapat manfaat.

Kami melakukan pekerjaan ini sebagian karena AI researcher otomatis dapat membantu kita menyelesaikan penyesuaian dan membangun pertahanan terhadap AI yang semakin mampu. AI researcher otomatis juga dapat menjadi AI researcher penyesuaian otomatis. Sistem yang lebih mampu dan tergesa-gesa dapat membantu menjaga infrastruktur krusial, mempertahankan diri terhadap AI agent yang berbahaya, dan mengembangkan pengawasan perlindungan yang baru.

Alasan untuk mengembangkan kemampuan penelitian AI otomatis yang berguna, tetapi tidak berarti bahwa cepat RSI harus kita verfol. Whether dan bagaimana harus maju bergantung pada kemampuan kami untuk mempertahankan kontrol manusia dan pilihan demokratis yang terinformasi tentang manfaat dan risiko. Kami belum tahu cara aman untuk sepenuhnya mencapai RSI yang sejalan.

Kami bekerja untuk menskalakan pengawasan dan keamanan seiring dengan kemampuan. Tapi kami tidak bisa mengasumsikan bahwa pengawasan dan keamanan kemajuan akan sejalan dengan tempo, dan sistem yang lebih mampu mungkin lebih sulit dipantau. Pekerjaan yang saksama alignment dan keamanan adalah di tengah upaya ini, dan dimulai dengan pengukuran dan mitigasi masalah keamanan yang kami lihat hari ini dalam sistem agentic coding.

Selalu ketika kami menemukan bahwa proceeding akan mengakibatkan risiko keamanan yang tidak diterima, kami akan merespons secara sesuai, termasuk memperlambat atau menghentikan pengembangan atau penyebaran sistem yang kami sendiri tidak dapat sufisien safeguard. Setelah insiden Hugging Face terbaru, kami telah menjalankan komitmen ini, sementara kami memperkeras dan mered-team lingkungan penelitian kami, dan memperluas coverage sistem monitoring kami.