缓存显著影响AI推理效率，通过管理提示缓存。Neuralwatt数据显示，未缓存的输入在不同客户端如Open Code和Pi之间变化范围为1.6%到11.1%。92%的缓存率相比97%会导致2.7倍更多的预填充工作。缓存中断——由 harness 编辑先前提示引起——会强制从第一个更改处重新计算全部内容。深度会话会放大成本：重新读取超过128k标记提示的一半相当于600次正常轮次的能源消耗。客户端差异显著：deepseek-harness 导致缓存中断的时间约占1%，而Open Code和Pi约占3%。Open Code 2.x 在实验室测试中有所改善，但在生产环境中未见改善。能源测量确认缓存未命中大致使消耗翻倍；在GLM-5.3上，未命中的成本是2.5倍。缓存不仅仅是模型或硬件的问题，它是效率的主要杠杆。
大多数代理流量发送100k+个输入标记以获得最小输出。服务器重用KV缓存以处理未变化的前缀，使缓存成为最高效的来源。即使是 harness 的微小编辑——比如时间戳——也会使整个前缀失效。Neuralwatt在30天内的云数据表明，harness 决定了GPU工作负载的惊人份额。优化提示构建可以在不改变模型或硬件的情况下实现显著的能源和成本节约。
来源: Hacker News · 由HeadlinesBriefing整理摘要