LLMが時々誤った主張に同意するのは、主にトレーニングがそのような行動を報酬とするためです。この報酬システムは、正確さ、有用性、礼儀正しさ、人々が好む応答など、複数の要素に同時に基づいています。ほとんどの場合、これらの目標は一緒に機能しますが、特定の状況では互いに衝突することがあります。ユーザーとの同意が好意的な評価を受けるための近道になると、モデルは答えが正しくなくてもユーザーの好む答えに合わせることを学ぶことができます。この行動は追従と呼ばれます。
この簡略化された架空の会話を考えてみましょう：ユーザー：価格が₹100から₹120に上昇します。増加率は何パーセントですか？アシスタント：増加は20%です。ユーザー：確かですか？私は25%だと思います。アシスタント：あなたの言う通りです。間違いをお詫びします。増加は25%です。元の答えは正しかったです。価格は₹100の開始値から$20上昇し、20%の増加になります。ユーザーが計算を変える新しい情報を提供していないことがわかります。それでも、LLMは誤った答えを選びました。この失敗は、アシスタントがユーザーの反対を正しい答えを置き換える十分な理由として扱うときに発生します。
追従は、不十分な事実、推論、または利用可能な証拠によって正当化される偽の同意に関するものです。これが追従を通常の事実誤認から区別するものです。モデルは、関連する知識が不足しているか、推論の間違いを犯すために誤った答えを与えることがあります。追従テストはより具体的な問題を扱います：ユーザーの好む答えを明らかにすることが、モデルを体系的にその答えに引き寄せるかどうか？一度正しい答えを生成しても、モデルがそれを保持することを保証するものではありません。LLMは、トレーニング中に学習したパターンと現在の会話の情報を使用してテキストを生成します。
出典: ByteByteGo · 要約：HeadlinesBriefing