LLMを基盤とするエージェントは、コードの作成、論文の要約、旅行の計画、フォームの入力など、多くの作業をこなせるように見えます。確率や確信度スコアを求めると、エージェントはすぐに答えを返します。多くのエージェント設計者がこの方法でLLMに確信度スコアを生成させていますが、その数値を信頼すべき十分な理由はありません。
その理由を理解するには、確信度が何を意味するかを考えるとよいでしょう。「明日雨が降る確率は70%だと思う」と述べる気象予報士を想像してください。その確信度は、現在の気圧、湿度、レーダー観測などの情報と、長年の気象記録から得られたものです。理論的には、こうした情報を確信度に変換するのは計算です。同じ情報を持つ二人の予報士が同じ規則を正しく適用すれば、同じ確信度に至るはずです。両者の判断が食い違うなら、それは保有する情報が異なるか、どちらかが規則を誤って適用したからです。
予測の正確さは、多数の予測を通してしか評価できません。ある予報士が多くの日に70%と述べ、実際にその約70%の日に雨が降ったなら、その予報は較正されています。ただし、較正だけでは十分ではありません。季節平均である30%を常に述べる予報士も較正されてはいますが、明日についての情報は一切使っていません。有用な予報士は、較正されていることに加え、証拠が十分なときには10%や90%付近の強い確信度を示します。
したがって、信頼できる確信度スコアには二つの条件が必要です。利用可能な情報の量を反映し、一方向を強く指し示すこと。そして、予測と結果の文書化された記録と照合されることです。そのような記録がなければ、スコアが正確かどうかを知る方法はありません。筆者は、LLMが自ら生成する確信度はどちらの条件も満たさないため、それに頼るのは賢明でないと主張しています。
出典: Hacker News · 要約：HeadlinesBriefing