提示缓存解析：避免为 AI 代理多付费用

Hugging Face 发布视频教程，解释提示缓存如何降低长 AI 代理会话的输入成本，但前提是 harness 能保留可复用的提示前缀。视频涵盖缓存原理、代理成本累积、不同提供商行为差异及使缓存失效的实现错误，并附有多个提供商文档链接。

此前多数团队只关注模型调用次数的成本，未意识到长会话中重复提示前缀会显著累积费用。本教程系统性地说明缓存如何降低成本、不同提供商的定价差异及缓存失效的常见错误，为工程团队提供了可操作的优化参考。

提示缓存的基础机制是，模型推理时对相同前缀的输入进行缓存，从而减少重复计算，降低输入 token 的费用。代理会话中，每次工具调用都会重复发送系统提示、工具定义等前缀，若 harness 能将这些前缀保持稳定且复用，就能享受缓存折扣；而任何前缀的变动（如动态注入时间戳）都会导致缓存失效，成本随之上升。

对依赖长会话或多轮工具调用的 AI 产品，缓存策略直接影响推理成本。工程团队需重新设计 harness 的提示结构，将稳定前缀与易变部分分离，并关注各提供商（如 OpenAI、Anthropic、Google）的缓存定价差异，以降低每用户会话成本。

• 检查现有代理 harness，重构提示为稳定前缀加可变后缀，以最大化缓存命中率。
• 引入缓存监控工具，记录缓存命中率，识别导致缓存失效的代码改动。
• 对比主流提供商（OpenAI、Claude、Gemini）的缓存折扣，选择成本更优的模型服务。

• 不同提供商具体缓存折扣率和缓存有效期数据未在证据中列出。
• 缓存对延迟的具体影响（是否显著降低响应时间）未在证据中说明。
• 提示缓存对模型输出质量或状态一致性是否有影响尚无证据。