GPT-6 的 prompt 缓存改进

OpenAI 在官方 News 中介绍了针对 GPT-6 的 prompt caching 改进，内容包括更高的 cache 命中率、新增的诊断能力、显式 breakpoints，以及用于降低延迟和成本的控制项。目前公开信息仅为概述，未给出具体基准数据或使用条件。

此前 prompt caching 多为自动生效、缺乏可见性；这次加入显式 breakpoints 与诊断，意味着缓存命中从黑盒行为变成可观测、可调控的工程对象，直接影响延迟与成本的优化空间。

prompt caching 通常通过复用相同前缀的中间计算结果来避免重复计算，命中率越高、重复计算越少，延迟与 token 成本越低。显式 breakpoints 让开发者指定可复用边界，诊断则用于定位未命中的原因，从而形成可调优的闭环。

对产品与研发而言，可把稳定不变的系统提示、长上下文或工具定义放在显式缓存边界内，减少重复请求的开销；诊断能力有助于排查命中率下降的原因，但也需要评估缓存边界设计带来的维护成本。

• 在多轮对话产品中，将系统提示与固定知识块设为显式缓存段，观察命中率与延迟变化
• 在成本敏感场景下建立 prompt 缓存命中率监控指标，作为上线前的验收项
• 针对长上下文应用做 A/B 测试，比较有无显式 breakpoints 时的响应延迟与费用
• 把缓存诊断结果接入现有可观测性面板，用于定位命中率波动的根因

• 更高的 cache 命中率具体对应哪些基准或数值区间
• 显式 breakpoints 的配置方式与限制条件是什么
• 诊断能力通过何种接口或产品入口暴露
• 缓存改进是否对所有 GPT-6 用户默认生效，是否涉及额外计费