将请求在多个LLM之间路由以节省成本，听起来很简单：简单任务交给便宜的模型，困难任务交给前沿模型。但会话中途切换模型会带来隐性成本。新模型从未见过之前的对话历史，因此必须以全价从头重新处理整个会话，这种冷缓存预填充可能是LLM服务中最昂贵的操作之一。
微软Azure Research于2026年8月发布的一项研究涵盖了1,350万个GitHub Copilot会话和7.6亿次模型调用，很好地说明了这一问题。在同一轮对话内，约90%的提示词可以复用缓存。跨越轮次边界但保持同一模型时，这一比例降至55%；而切换模型后，仅剩8%。约6.4%的会话会切换模型，往往是由于错误或速率限制，这意味着许多用户在无意中承担了这一成本。
为直接衡量其影响，作者在启用前缀缓存的vLLM服务器上，让相同的20轮智能体会话分别经过三种路由策略：粘性路由、逐请求交替路由，以及阶段边界切换。在网关处进行逐请求路由，所破坏的缓存几乎是粘性路由的两倍，所节省的费用仅为原始价格差所暗示节省的40个百分点中的13个。仅在智能体工作流的某一阶段结束时才切换的阶段边界路由，则捕获了其中的29个百分点。在前沿模型上采用不考虑缓存的策略，尽管处理的令牌数相同，成本却比考虑缓存的基准高出4.88倍。
对于运营LLM智能体的人而言，结论是：路由节省的费用不仅取决于模型价格，还取决于路由如何与状态和缓存复用相互作用。路由既是定价决策，也是状态管理决策，而状态正存在于调度框架之中。
来源: Towards Data Science · 由HeadlinesBriefing整理摘要