HeadlinesBriefing favicon HeadlinesBriefing.com

解码器与决策:生成并非唯一路径

Towards Data Science •
×

并非每个模型调用都需要生成文本。路由通常是隐藏在大型代理系统内部的一个小决策,然而许多系统却要求解码器语言模型逐词生成那个选择。解码器路由器本身并没有错。当策略是开放式的或路由集快速变化时,它很有用。但一个稳定、有限的路由集会形成一个分类形状的问题,应该作为一个整体来衡量。

实际的机遇是一个决策层:明确的路由候选、类型化分数、阈值或弃权策略,以及确定性软件分支。其新颖之处在于这是一个新的系统原语,而非对分类的重新发现。Jev 是一个有用的公开示例,展示了类型化、概率性的决策接口;但其专有架构和训练目标并未公开。

效率和准确性必须通过演示来证明,而非假设。在相同的路由、数据、策略和评估指标上,比较解码器路由、编码器加分类头基线以及结构化决策实现。

现代AI的主导心智模型是生成式的:提供一个提示,然后让解码器预测下一个词元。这是一种非凡的能力,但它并非机器智能的唯一有用形式。代理系统中的许多行动都是受限的操作性问题:哪个专家应接收此案例?证据是否足以继续?系统应行动、升级还是弃权?