Imagine avaliar um sistema de geração aumentada por recuperação onde vários juízes LLM avaliam a mesma passagem. Oito dizem 'relevante'; dois dizem 'não relevante'. Oito de dez parece convincente, mas a força do acordo depende da independência dos juízes.

Se os juízes compartilharem templates de prompt, linhagem de treinamento, famílias de modelos ou pontos cegos, eles podem repetir o mesmo erro, tornando as contagens de votos enganosamente fortes. O artigo 'Agregação de rótulos consciente de dependência para LLM-como-juiz via modelos Ising', coescrito com Shiva Kasiviswanathan e apresentado no ICML, apresenta um método para avaliar correlações entre as saídas dos juízes e ajustar pontuações agregadas para garantir diversidade de opiniões. Em testes em três tarefas, o método superou a melhor baseline — um painel ponderado por precisão histórica — em 9% a 14% em métricas padrão.

O voto majoritário assume que juízes cometem erros independentemente, o que é frequentemente otimista demais para sistemas LLM-como-juiz. Dois juízes podem falhar juntos devido a interpretação similar de rubrica, exemplos de prompt compartilhados ou sensibilidade de modelo compartilhada. O agregador modela o painel como uma rede onde cada juiz tem um perfil de confiabilidade e pares têm relacionamentos, concordando mais frequentemente que o previsto ou fornecendo perspectivas complementares.

O método modela a habilidade e similaridade do juiz usando um modelo Ising, um modelo estatístico representando dependência par a par entre variáveis binárias. Existem duas variantes de modelagem: uma trata padrões de relacionamento como consistentes entre rótulos positivos e negativos, ajustando pesos para correlação; a outra, um modelo dependente de classe, permite que padrões de relacionamento mudem com rótulos, útil quando juízes concordam em itens claros mas se agrupam em ambíguos. O método não supervisionado aprende com as saídas dos juízes sem rótulos de referência humanos, tratando rótulos verdadeiros como variáveis latentes para inferir conjuntamente a confiabilidade e dependência dos juízes.