言語モデルは、ソフトウェアが限られた選択肢から選ぶだけでよい場合でも、回答をトークンごとに生成するよう求められることがよくあります。同じ送金が二重に請求されたと訴える銀行の顧客は、サポートチームに振り分ける必要がありますが、JSONラベルを生成すると、その判断に不要なテキスト生成と解析が加わります。
この記事では、7つのオープンな「Jev」意思決定モデルを、Qwen JSON生成のベースラインと比較してテストしています。Jevスタイルのモデルは回答を生成する代わりに、利用可能な候補をスコア付けし、型付けされた判断を返します。比較対象には、固定のルート一覧と変化する候補メニューの両方を含む銀行の問い合わせが含まれます。エージェントのツールやワークフローの選択肢は実行時に変わることが多いため、この点は重要です。
Kevは精度で首位に立ち、固定ルートと変化する候補の両方で98%に達しました。Verdictは変化する候補で89%を記録し、LLMベースラインのQwen3-0.6Bは66%でした。Qwen3-0.6Bは固定ルートでは83%でした。JSON生成は、Qwenの3つの読み出し構成よりも依然として優れていました。KevとVerdictはどちらも回答トークンを一切生成せず、Qwen JSON生成ではリクエストごとに約10トークンを生成しました。
記録されたリクエストの中央値遅延は、Kevが125〜130ミリ秒、Verdictが17〜18ミリ秒でした。一方、LLMベースラインは両パネルで331〜357ミリ秒でした。意思決定モデルを試し、JSON生成と直接的な読み出しを比較したい読者向けに、スターターキットとベンチマークが公開されています。
出典: Towards Data Science · 要約：HeadlinesBriefing