Агенты на основе больших языковых моделей могут казаться способными решать множество задач: писать код, резюмировать статьи, планировать поездки и заполнять формы. Если их попросить назвать вероятность или оценку уверенности, они охотно это сделают. Многие разработчики агентов используют LLM для генерации таких оценок, однако нет веских причин доверять этому числу.
Чтобы понять почему, полезно разобраться, что такое уверенность. Представьте синоптика, который говорит: «Я на 70% уверен, что завтра пойдёт дождь». Его уверенность основана на данных, которыми он располагает, например на текущем атмосферном давлении, влажности и радарных снимках, а также на многолетних метеорологических записях. В теории превращение этих данных в уверенность является вычислением. Два синоптика с одинаковыми данными, правильно применяющие одно и то же правило, должны прийти к одной и той же уверенности. Если их оценки расходятся, значит, у них разные данные или один из них неверно применил правило.
Точность можно оценить только по большому числу прогнозов. Если синоптик называет 70% во многие дни и в примерно 70% из них действительно идёт дождь, прогноз считается откалиброванным. Однако одной калибровки недостаточно. Синоптик, который всегда называет 30%, то есть сезонное среднее, тоже откалиброван, но не использует никакой информации о завтрашнем дне. Полезный прогнозист откалиброван и при этом даёт уверенные оценки около 10% или 90%, когда для этого есть основания.
Поэтому надёжной оценке уверенности нужны два свойства: она должна отражать объём имеющейся информации и уверенно указывать в одном направлении, а также проверяться по письменной записи прогнозов и результатов. Без такой записи невозможно узнать, точна ли оценка. Автор утверждает, что самостоятельно генерируемая LLM уверенность не удовлетворяет ни одному из этих условий, поэтому полагаться на неё нельзя.
Источник: Hacker News · Сводку подготовил HeadlinesBriefing