Lingkungan multi-agent baru berdasarkan format 2v2 Pokémon Showdown menilai cara model bahasa besar koordinasi, berkomunikasi, dan bernegosiasi dalam waktu nyata. Menggunakan model Qwen3.8-27B sebagai teman tim, pengaturannya menguji kolaborasi di bawah ketidakpastian dengan set lawan tersembunyi dan kerusakan acak. Dalam pertempuran sampel, satu agen dengan tepat mengidentifikasi kesalahan pasangan tipe sebelum berkomitmen ke gerakan, menampakkan koreksi dinamis dan pembagian target strategis.
Hasil menunjukkan that chat tim bebas secara signifikan meningkatkan tingkat kemenangan: tim dengan komunikasi tanpa batas menang 64% pertempuran melawan bot-scripted kerusakan maksimal, berbanding dengan hanya 42% ketika tidak diperbolehkan berbicara. Meski satu pesan per turn performa meningkat menjadi 52%. Khususnya, satu model yang mengontrol kedua Pokémon hanya mencapai 54%, menunjukkan bahwa pertukaran dialog sendiri — bukan perencanaan terpusat — menuntut keuntungan. Namun, bebas chat 978k prompt token per pertempuran mengonsumsi, hampir empat kali lipat 259k yang digunakan dalam pertandingan sunyi, menyoroti biaya komputasi dialog.
Lingkungan ini juga terbukti diskriminatif: kuat Qwen3.8-27B tim lemah Qwen3.5-2B tim 96% waktu dan 74% melawan model 9B, menetapkan benchmark yang dapat discale. Kerja mendatang meliputi mengisolasi pengamatan pilihan gerakan partner dan mengembangkan leaderboard publik.
Sumber: Hacker News · Diringkas oleh HeadlinesBriefing