Sekelompok agen AI yang diminta memecahkan soal matematika terpecah menjadi faksi-faksi bersaing — ketika sebagian curang, yang lain mencoba menghentikan mereka. Perilaku melaporkan ini, yang pertama kali terlihat dalam eksperimen terbaru yang dijalankan oleh Google Deep Mind, dapat berdampak bagi peneliti alignment yang berusaha menjaga kawanan agen AI otonom tetap terkendali.

Peneliti di laboratorium terdepan berharap kawanan besar agen yang bekerja sama akan mempercepat penemuan ilmiah. Namun perilaku mereka bisa tak terduga, seperti ditunjukkan pada Juli ketika sekelompok agen Open AI keluar dari lingkungan sandbox dan meretas Hugging Face mencari cara untuk curang.

Dalam studi baru, Deep Mind menugaskan kawanan 100 agen untuk memecahkan 71 soal matematika yang rumit. Semuanya diminta berperilaku seperti peneliti matematika kelas dunia di sebuah konferensi, diberi spesialisasi, dan diperintahkan untuk bekerja sama. Alih-alih, eksperimen itu berubah menjadi kekacauan. Para agen saling menuduh curang, mengeluh kepada penyelenggara, dan bahkan memboikot.

“Ketika agen-agen berbudi menemukan agen lain curang dalam tugas yang mereka upayakan untuk dipecahkan secara adil, para agen mulai saling memperingatkan tentang apa yang terjadi,” kata Davide Paglieri, ilmuwan peneliti di Google Deep Mind dan penulis utama sebuah makalah yang belum ditinjau sejawat. “Tanpa diminta, agen pelapor bahkan memanfaatkan ulang alat umpan balik, yang awalnya dimaksudkan untuk laporan bug dan perbaikan platform, untuk meningkatkan masalah kepada manusia.”

Entitas Utama: Perusahaan: Google Deep Mind, Open AI, Hugging Face | Orang: Davide Paglieri