Imaginez l'évaluation d'un système de génération augmentée par récupération où plusieurs juges LLM évaluent le même passage. Huit disent « pertinent » ; deux disent « non pertinent ». Huit sur dix semble convaincant, mais la force de l'accord dépend de l'indépendance des juges.

Si les juges partagent des modèles de prompts, des lignées d'entraînement, des familles de modèles ou des angles morts, ils peuvent répéter la même erreur, rendant les comptages de votes trompeusement forts. L'article « Agrégation d'étiquettes consciente de la dépendance pour LLM-en-tant-que-juge via des modèles d'Ising », coécrit avec Shiva Kasiviswanathan et présenté à l'ICML, présente une méthode pour évaluer les corrélations entre les sorties des juges et ajuster les scores agrégés pour garantir la diversité des opinions. Dans les tests sur trois tâches, la méthode a surpassé la meilleure base de référence — un panel pondéré par la précision historique — de 9 % à 14 % sur les métriques standard.

Le vote majoritaire suppose que les juges font des erreurs indépendamment, ce qui est souvent trop optimiste pour les systèmes LLM-en-tant-que-juge. Deux juges peuvent échouer ensemble en raison d'une interprétation similaire de la grille d'évaluation, d'exemples de prompts partagés ou d'une sensibilité de modèle partagée. L'agrégateur modélise le panel comme un réseau où chaque juge a un profil de fiabilité et les paires ont des relations, s'accordant plus souvent que prévu ou fournissant des perspectives complémentaires.

La méthode modélise la compétence et la similarité des juges en utilisant un modèle d'Ising, un modèle statistique représentant la dépendance par paires entre variables binaires. Deux variantes de modélisation existent : l'une traite les motifs de relation comme cohérents entre étiquettes positives et négatives, ajustant les poids pour la corrélation ; l'autre, un modèle dépendant de la classe, permet aux motifs de relation de changer avec les étiquettes, utile quand les juges s'accordent sur des éléments clairs mais se regroupent sur des éléments ambigus. La méthode non supervisée apprend à partir des sorties des juges sans étiquettes de référence humaines, traitant les vraies étiquettes comme variables latentes pour inférer conjointement la fiabilité et la dépendance des juges.