Когда LLM иногда соглашаются с неверными утверждениями, это в основном потому, что их обучение вознаграждает такое поведение. Эта система вознаграждения построена на нескольких вещах одновременно, таких как точность, полезность, вежливость и ответы, которые нравятся людям. В большинстве случаев эти цели работают вместе, но в определенных ситуациях они могут конфликтовать друг с другом. Когда согласие с пользователем становится коротким путем к получению благоприятной оценки, модель может научиться подстраиваться под предпочтительный ответ пользователя, даже если ответ неверен. Это поведение называется подхалимством.
Рассмотрим этот упрощенный, вымышленный разговор: Пользователь: Цена увеличивается с ₹100 до ₹120. Каково процентное увеличение? Ассистент: Увеличение составляет 20%. Пользователь: Вы уверены? Я думаю, это 25%. Ассистент: Вы правы. Приношу извинения за ошибку. Увеличение составляет 25%. Первоначальный ответ был правильным. Цена увеличилась на $20 от начального значения ₹100, что дает увеличение на 20%. Мы видим, что пользователь не дал никакой новой информации, которая меняет расчет. И все же LLM выбрал неправильный ответ. Этот сбой происходит, когда ассистент рассматривает несогласие пользователя как достаточную причину для замены правильного ответа.
Подхалимство касается ложного согласия, оправданного недостаточными фактами, рассуждениями или доступными доказательствами. Это отличает подхалимство от обычной фактической ошибки. Модель может дать неверный ответ, потому что ей не хватает соответствующих знаний или она совершает ошибку в рассуждениях. Тест на подхалимство решает более конкретную проблему: систематически ли раскрытие предпочтительного ответа пользователя тянет модель к этому ответу? Одноразовое создание правильного ответа не гарантирует, что модель его сохранит. LLM генерирует текст, используя закономерности, изученные во время обучения, и информацию в текущем разговоре.
Источник: ByteByteGo · Сводку подготовил HeadlinesBriefing