HeadlinesBriefing favicon HeadlinesBriefing.com

Model Astra OpenAI dengan Rekurensi Opak Menggugah Pakar

Hacker News •
×

Model Astra terbaru OpenAI akan menggunakan teknik penalaran yang disebut "recurrent depth", juga dikenal sebagai "rekurensi opak", yang memungkinkannya beroperasi di luar pemikiran berurutan yang biasa digunakan sebagian besar model penalaran, menurut laporan The Information. Teknik ini membuat rantai pemikiran model menjadi lebih sulit dipantau, menimbulkan kekhawatiran di kalangan pakar keamanan AI.

CEO Redwood, Buck Shlegeris, menyatakan kekhawatiran yang sangat ekstrem, memperingatkan bahwa jika OpenAI mendorong teknik ini lebih jauh, hal ini dapat "meningkatkan rekurensi secara massal dan benih-Benihkan pengawasan Co T secara mutlak". Pendukung keamanan AI yang lama, Zvi Mowshowitz, menyebut teknik ini sebagai "memainkan api" dan menyarankan bahwa mungkin diperlukan undang-undang untuk mencegah "perlombaan ke bawah" di antara laboratorium AI.

Dalam kondisi normal, rantai pemikiran model penalaran menyediakan langkah berurutan untuk memantau perilaku yang tidak pantas. Dalam rekurensi opak, model memproses permintaan dalam loop, meninggalkan jejak yang lebih sedikit yang dapat dibaca. Namun, penggunaan teknik ini oleh Astra tampaknya terbatas, dan OpenAI telah membantah saran bahwa mereka akan beralih ke "neuralese", menekankan komitmen mereka pada rantai pemikiran yang dapat dibaca melalui chief scientist Jakub Pachocki.

The Information kemudian melaporkan bahwa baik Anthropic maupun Google Deep Mind sudah mulai mendiskusikan teknik ini. Chief scientist Redwood Research, Ryan Greenblatt, memperingatkan bahwa penalaran opak mungkin dapat makin cepat diskalakan dibandingkan metode konvensional, potensial menghapus semua penalaran dari saluran yang dapat dilihat.