Представьте оценку системы генерации с дополнением поиска, где несколько судей LLM оценивают один и тот же фрагмент. Восемь говорят «релевантно»; два — «нерелевантно». Восемь из десяти звучит убедительно, но сила согласия зависит от независимости судей. Если судьи используют общие шаблоны промптов, линию обучения, семейства моделей или слепые зоны, они могут повторять одну и ту же ошибку, делая подсчет голосов вводчиво сильным. Статья «Агрегация меток с учетом зависимости для LLM-как-судья через модели Изинга», написанная совместно с Shiva Kasiviswanathan и представленная на ICML, предлагает метод оценки корреляций между выходами судей и корректировки агрегированных оценок для обеспечения разнообразия мнений. В тестах на трех задачах метод превзошел лучший базовый вариант — панель, взвешенную по исторической точности — на 9%–14% по стандартным метрикам. Голосование большинства предполагает, что судьи ошибаются независимо, что часто слишком оптимистично для систем LLM-как-судья. Два судьи могут ошибиться вместе из-за похожей интерпретации рубрики, общих примеров промптов или общей чувствительности модели. Агрегатор моделирует панель как сеть, где у каждого судьи есть профиль надежности, а у пар — отношения, соглашаясь чаще, чем предсказано, или предоставляя дополнительные перспективы. Метод моделирует мастерство и сходство судей с помощью модели Изинга, статистической модели, представляющей попарную зависимость между бинарными переменными. Существует два варианта моделирования: один считает паттерны отношений согласованными для положительных и отрицательных меток, корректируя веса для корреляции; другой, зависящий от класса, позволяет паттернам отношений меняться с метками, полезно, когда судьи соглашаются на явных элементах, но кластеризуются на неоднозначных. Неконтролируемый метод обучается на выходах судей без человеческих эталонных меток, рассматривая истинные метки как латентные переменные для совместного вывода надежности и зависимости судей.