検索拡張生成システムを評価する際、複数のLLM判定者が同じ文章を評価すると想像してください。8つが「関連あり」、2つが「関連なし」と言います。10中8が一致すれば説得力がありますが、合意の強さは判定者の独立性に依存します。判定者がプロンプトテンプレート、訓練系統、モデルファミリー、盲点を共有している場合、同じ間違いを繰り返す可能性があり、投票数が誤って強力に見えます。Shiva Kasiviswanathanとの共著でICMLで発表された論文「イジングモデルによるLLM-as-a-judgeの依存性考慮ラベル集約」は、判定者出力間の相関を評価し、意見の多様性を確保するために集約スコアを調整する手法を提示します。3つのタスクでのテストで、この手法は過去の精度で重み付けされたパネルという最高性能のベースラインを、標準指標で9%〜14%上回りました。多数決は判定者が独立して誤ると仮定しますが、これはLLM-as-a-judgeシステムでは楽観的すぎることが多いです。2人の判定者が、類似のルーブリック解釈、共有プロンプト例、共有モデル感度により共に失敗する可能性があります。集約器はパネルをネットワークとしてモデル化し、各判定者に信頼性プロファイル、ペア間に関係を持たせ、予測以上に頻繁に同意するか補完的視点を提供します。この手法はイジングモデルを用いて判定者のスキルと類似性をモデル化します。これは二値変数間の対ごとの依存性を表す統計モデルです。2つのモデリング変種があります：1つは関係パターンを正負ラベル間で一貫したものとして扱い、相関の重みを調整します；もう1つはクラス依存モデルで、関係パターンをラベルに応じて変化させ、判定者が明確な項目で同意するが曖昧な項目でクラスタリングする場合に有用です。教師なし手法は人間の参照ラベルなしで判定者出力から学習し、真のラベルを潜在変数として扱い、判定者の信頼性と依存性を共同で推論します。