Imagina evaluar un sistema de generación aumentada por recuperación donde múltiples jueces LLM evalúan el mismo pasaje. Ocho dicen 'relevante'; dos dicen 'no relevante'. Ocho de diez parece convincente, pero la fuerza del acuerdo depende de la independencia de los jueces.

Si los jueces comparten plantillas de instrucciones, linaje de entrenamiento, familias de modelos o puntos ciegos, pueden repetir el mismo error, haciendo que los conteos de votos sean engañosamente fuertes. El artículo 'Agregación de etiquetas consciente de la dependencia para LLM-como-juez mediante modelos Ising', coescrito con Shiva Kasiviswanathan y presentado en ICML, presenta un método para evaluar correlaciones entre las salidas de los jueces y ajustar puntuaciones agregadas para garantizar diversidad de opiniones. En pruebas en tres tareas, el método superó a la mejor línea base — un panel ponderado por precisión histórica — en un 9% a 14% en métricas estándar.

La votación mayoritaria asume que los jueces cometen errores independientemente, lo cual es a menudo demasiado optimista para sistemas LLM-como-juez. Dos jueces pueden fallar juntos debido a interpretaciones similares de rúbricas, ejemplos de instrucciones compartidos o sensibilidad de modelo compartida. El agregador modela el panel como una red donde cada juez tiene un perfil de fiabilidad y los pares tienen relaciones, acordando más a menudo de lo predicho o proporcionando perspectivas complementarias.

El método modela la habilidad y similitud del juez usando un modelo Ising, un modelo estadístico que representa dependencia por pares entre variables binarias. Existen dos variantes de modelado: una trata los patrones de relación como consistentes entre etiquetas positivas y negativas, ajustando pesos para correlación; la otra, un modelo dependiente de la clase, permite que los patrones de relación cambien con las etiquetas, útil cuando los jueces acuerdan en elementos claros pero se agrupan en los ambiguos. El método no supervisado aprende de las salidas de los jueces sin etiquetas de referencia humanas, tratando las etiquetas verdaderas como variables latentes para inferir conjuntamente la fiabilidad y dependencia de los jueces.