Stellen Sie sich die Bewertung eines Retrieval-Augmented-Generation-Systems vor, bei der mehrere LLM-Richter denselben Textabschnitt bewerten. Acht sagen „relevant“; zwei sagen „nicht relevant“. Acht von zehn wirkt überzeugend, aber die Stärke der Übereinstimmung hängt von der Unabhängigkeit der Richter ab.

Wenn Richter Prompt-Vorlagen, Trainingslinien, Modelfamilien oder blinde Flecken teilen, können sie denselben Fehler wiederholen, was Stimmzahlen irreführend stark erscheinen lässt. Der Artikel „Dependence-aware label aggregation for LLM-as-a-judge via Ising models“, mitverfasst von Shiva Kasiviswanathan und auf der ICML vorgestellt, stellt eine Methode vor, um Korrelationen zwischen den Ausgaben der Richter zu bewerten und aggregierte Scores anzupassen, um Meinungsvielfalt zu gewährleisten. In Tests an drei Aufgaben übertraf die Methode die beste Baseline — ein Panel, gewichtet nach historischer Genauigkeit — um 9% bis 14% bei Standardmetriken.

Die Mehrheitsentscheidung geht davon aus, dass Richter unabhängig Fehler machen, was für LLM-as-a-judge-Systeme oft zu optimistisch ist. Zwei Richter können gemeinsam scheitern aufgrund ähnlicher Rubrik-Interpretation, geteilter Prompt-Beispiele oder geteilter Modellsensitivität. Der Aggregator modelliert das Panel als Netzwerk, in dem jeder Richter ein Zuverlässigkeitsprofil hat und Paare Beziehungen haben, die häufiger übereinstimmen als vorhergesagt oder komplementäre Perspektiven bieten.

Die Methode modelliert Richterfähigkeit und -ähnlichkeit mit einem Ising-Modell, einem statistischen Modell, das paarweise Abhängigkeit zwischen binären Variablen darstellt. Es gibt zwei Modellierungsvarianten: Eine behandelt Beziehungsmuster als konsistent über positive und negative Labels hinweg, justiert Gewichte für Korrelation; die andere, ein klassenabhängiges Modell, lässt Beziehungsmuster mit Labels variieren, nützlich wenn Richter bei klaren Items übereinstimmen, sich aber bei mehrdeutigen clustern. Die unüberwachte Methode lernt aus Richterausgaben ohne menschliche Referenzlabels, behandelt wahre Labels als latente Variablen, um Richterzuverlässigkeit und -abhängigkeit gemeinsam zu inferieren.