基于大语言模型的智能体似乎可以完成许多任务，包括编写代码、总结论文、规划行程和填写表格。当被要求给出概率或置信度分数时，它们也会欣然给出。许多智能体设计者就是这样用大语言模型生成置信度分数的，但我们没有充分理由相信这个数字。
要理解原因，需要先弄清楚“置信度”的含义。设想一位天气预报员说：“我有70%的把握明天会下雨。”他的置信度来自他所掌握的信息，例如当前的气压、湿度和雷达图像，以及多年的气象记录。从理论上讲，把这些信息转化为置信度是一种计算。两位掌握相同信息、并正确运用同一规则的预报员，应当得出相同的置信度。当他们的结论不一致时，要么是因为掌握的信息不同，要么是其中一人运用规则有误。
准确性只能通过大量预测来判断。如果一位预报员在许多天都说70%，而其中约70%的日子确实下了雨，那么这份预报就是经过校准的。然而，仅有校准还不够。一位始终说30%（即季节性平均值）的预报员同样经过了校准，但他并没有利用关于明天的任何信息。一位有用的预报员既经过校准，又能在证据充分时给出接近10%或90%的明确置信度。
因此，值得信赖的置信度分数需要满足两个条件：它必须反映可获得信息的多寡，并明确指向某一方向；而且必须与书面的预测与结果记录进行核对。没有这样的记录，就无从得知分数是否准确。作者认为，大语言模型自行生成的置信度两个条件都不满足，这正是依赖它是不明智之举的原因。
来源: Hacker News · 由HeadlinesBriefing整理摘要