Pada 9 Oktober, Vals AI menguji apakah tim agen pengodean sepadan dengan harganya. GPT 6 Sol dan Claude Opus 5.5 membangun 50 aplikasi web, masing-masing sendiri dan sebagai tim dengan subagen, pada tingkat usaha penalaran menengah dan maksimum. Tim memakan biaya 1,8 hingga 5,1 kali lipat. Dari empat perbandingan tim dengan agen tunggal, hanya satu yang signifikan secara statistik: Sol pada usaha menengah, yang meraih tambahan 7,3 poin. Untuk Sol, menaikkan usaha penalaran agen tunggal dari menengah ke maksimum menambah 11,4 poin, lebih banyak daripada yang ditambahkan oleh tim pada usaha menengah.
Studi tersebut berkaitan dengan pembagian pekerjaan, bukan apakah agen membuat kesalahan yang sama. Meski begitu, studi ini memunculkan pertanyaan: ketika Anda menambahkan model lain ke dalam voting, berapa banyak opini independen yang sebenarnya Anda tambahkan? Teorema juri Condorcet dari 1785 menyiratkan bahwa akurasi mayoritas meningkat mendekati 1 seiring bertambahnya pemilih, tetapi hanya jika setiap pemilih benar lebih dari separuh waktu dan penilaian mereka independen. Dengan p = 0,7, tiga pemilih benar 78,4% waktu, lima pemilih 83,7%, sembilan pemilih 90,1%, dan dua puluh lima pemilih 98,3%.
Independensi adalah asumsi yang rapuh. Lima teman yang belajar dari catatan yang sama-sama keliru akan mengulangi kesalahan yang sama, sehingga mayoritas dengan yakin keliru. Model bahasa yang dilatih pada teks yang tumpang tindih dan desain yang serupa sangat mungkin memiliki titik buta yang sama. Sebuah simulasi menggambarkan kesenjangannya: dengan kesalahan independen, mayoritas lima model benar 83,8% waktu, tetapi dengan kesalahan yang tumpang tindih hanya benar 74,4% waktu, meskipun akurasi individual setiap model tidak berubah.
Artikel ini bertujuan mengukur efek tersebut secara langsung pada enam model terbuka sungguhan melalui 1.500 soal ujian, dengan menerapkan rumus untuk memperkirakan berapa banyak opini independen yang sebenarnya diberikan oleh sebuah panel.
Sumber: Towards Data Science · Diringkas oleh HeadlinesBriefing