HeadlinesBriefing favicon HeadlinesBriefing.com

GPT-6 提示词缓存:更快、更便宜的 AI 响应

OpenAI Blog •
×

GPT-6 推出了一套改进的提示词缓存系统,默认提供更高的缓存命中率,并在缓存输入 Token 上提供高达 90% 的折扣。该系统在 30 分钟窗口内复用共享前缀,降低长时间运行的代理任务的延迟和成本。新工具包括用于监控命中率的提示词缓存仪表板,以及通过对比请求、识别模型、工具或输入变化来分析缓存未命中的诊断工具。开发者现在可以使用显式缓存断点来选择缓存哪些提示词前缀,并在不破坏缓存的情况下调整推理力度。为保持缓存稳定,请保持工具定义和 Schema 一致,使用 allowed_tools 确保相关性,并通过开发者消息追加新指令,而非覆盖旧指令。预热可提前准备已知上下文,将处理过程移出用户等待时间。这些可选控制在默认性能基础上构建,让开发者能根据工作负载定制缓存策略。首先监控命中率、调查未命中原因,并遵循更新后的提示词缓存指南或使用 Codex 审查代码。