语言模型常被要求逐个 token 生成答案,而软件其实只需要从有限的选项中做出选择。一位表示同一笔转账被扣了两次的银行客户,需要被分配给支持团队;生成 JSON 标签会为这一决策增加不必要的文本生成和解析步骤。
本文将七种开放的 "Jev" 决策模型与 Qwen JSON 生成基线进行了测试。Jev 风格的模型不生成答案,而是为可用的候选项打分,并返回一个带类型的决策。对比涵盖了银行请求的两组测试:一组是固定的路由列表,另一组是动态变化的候选菜单,这一点很重要,因为智能体工具和工作流选项通常会在运行时发生变化。
Kev 在准确率上领先,在固定路由和动态候选两种情况下均达到 98%。Verdict 在动态候选上达到 89%,而 LLM 基线 Qwen3-0.6B 为 66%,其在固定路由上的得分为 83%。JSON 生成的表现仍优于三种 Qwen 读出配置。Kev 和 Verdict 都没有生成任何答案 token,而 Qwen JSON 生成每个请求大约生成 10 个 token。
记录的中位请求延迟方面,Kev 为 125–130 毫秒,Verdict 为 17–18 毫秒,而 LLM 基线在两组测试中为 331–357 毫秒。对于希望试用决策模型并比较 JSON 生成与直接读出方式的读者,入门工具包和基准测试均已提供。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要