Bayangkan mengevaluasi sistem generasi yang ditambah dengan pengambilan di mana beberapa hakim LLM mengevaluasi passage yang sama. Delapan berkata 'relevan'; dua berkata 'tidak relevan'. Delapan dari sepuluh terlihat meyakinkan, tapi kekuatan kesepakatan bergantung pada independensi hakim.

Jika hakim berbagi template prompt, garis keturunan pelatihan, keluarga model, atau buta mata, mereka mungkin mengulang kesalahan yang sama, membuat hitungan suara menyesatkan secara kuat. Paper 'Dependence-aware label aggregation for LLM-as-a-judge via Ising models', ditulis bersama dengan Shiva Kasiviswanathan dan disajikan di ICML, menyajikan metode untuk menilai korelasi antara output hakim dan menyesuaikan skor teragregasi untuk memastikan keragaman pendapat. Dalam tes pada tiga tugas, metode ini mengungguli baseline terbaik — panel yang dibobotkan oleh akurasi historis — sebesar 9% hingga 14% pada metrik standar.

Pemungutan suara mayoritas mengasumsikan hakim membuat kesalahan secara independen, yang sering terlalu optimis untuk sistem LLM-as-a-judge. Dua hakim bisa gagal bersama karena interpretasi rubrik yang serupa, contoh prompt bersama, atau sensitivitas model bersama. Agregator memodelkan panel sebagai jaringan di mana setiap hakim memiliki profil keandalan dan pasangan memiliki hubungan, setuju lebih sering dari yang diprediksi atau memberikan perspektif komplementer.

Metode ini memodelkan keterampilan dan kesamaan hakim menggunakan model Ising, model statistik yang merepresentasikan ketergantungan pasangan antara variabel biner. Ada dua varian pemodelan: satu memperlakukan pola hubungan sebagai konsisten di seluruh label positif dan negatif, menyesuaikan bobot untuk korelasi; yang lain, model bergantung-kelas, memungkinkan pola hubungan berubah dengan label, berguna ketika hakim setuju pada item yang jelas tapi mengelompok pada item yang ambigu. Metode unsupervised belajar dari output hakim tanpa label referensi manusia, memperlakukan label sebenarnya sebagai variabel laten untuk secara bersama-sama menyimpulkan keandalan dan ketergantungan hakim.