缓存Token是输入Token,其先前计算的提示状态可以重新用于符合条件的请求。支持的 LLM API 可以重用存储的中间计算并收取不同的输入费率,而不是从头开始处理提示的相同开头。
提示缓存可以减少处理时间和重复输入成本,但并不能让整个请求变得免费。提供商在资格、保留、写入和计费方面有所不同。本指南解释了概念,并使用 2026 年 11 月 20 日检查的官方 OpenAI、Google 和 Meta 文档作为具体示例。
提示缓存实际上重用了什么
在推理过程中,模型构建中间注意力状态,通常称为键值状态。提示缓存保留匹配前缀的可重用计算:渲染输入的未更改的开头。 API 仍然处理新输入并生成新响应。
OpenAI 明确地将其提示缓存描述为存储键值张量而不是Token本身。这种区别解释了该机制,但并没有消除审查提供商的保留和数据处理条款的需要。
提示缓存与响应缓存
响应缓存将完整的答案存储在您的应用程序中,并在适当的时候再次返回它。提示缓存在生成新答案时重用输入计算。因此,客户特定的问题可以共享缓存的指令,而无需共享客户的最终响应。
应用程序响应缓存需要自己的新鲜度、授权和个性化检查。不要仅仅因为一个用户的提示看起来相似而将他们的答案返回给另一个用户。这两种缓存都不应该成为访问控制的捷径。
使用报告中缓存的输入Token是什么?
缓存的输入Token是被识别为来自合格缓存的输入部分。它们通常包含在总输入中,而不是添加到总输入中的额外Token块。在计算费用之前验证提供商的使用模式。
例如,如果总输入为 12,000 个Token,其中 10,000 个是缓存读取,则其余 2,000 个不是缓存读取。根据提供者的行为,剩余的Token中的一些可以使用普通输入费率,而其他Token可以使用写入费率。产出单独核算。
不保证缓存命中
重复文本只是资格的一部分。所选模型、前缀结构、相关设置、缓存生命周期和路由都会影响重用。检查报告的使用情况,而不是假设每个第二个请求都被完全缓存。
会话 ID 也不能保证。对话历史记录可以保留共享前缀,但更改或压缩较早的内容可能会改变重用的可能性。
前缀和断点如何工作
稳定的指令、工具定义、参考文档和早期的对话可以形成可重用的前缀。在 API 请求结构允许的情况下,将更改的用户详细信息放在稳定的材料之后。避免在开始时添加不必要的随机值或时间戳。
一些提供程序隐式选择缓存边界。其他支持显式断点或缓存对象。这些机制不可互换:对一种模型有效的字段可能不受另一种模型的支持。
OpenAI 资格示例
OpenAI 记录了 GPT-5.6 及更高版本的最小可缓存前缀为 1,024 个Token,不包括该最小值中的隐藏系统内容。支持的模型可以使用隐式缓存,并且文档列出的显式控制允许为符合条件的内容选择断点。
不要仅仅为了达到阈值而填充简短的提示而不计算额外的输入成本。有用的缓存需要重复的合格材料和足够的重用来证明任何写入溢价是合理的。
计算缓存成本,包括写入
GPT-6.2 Sol 短上下文 标准费率为每百万普通输入Token 2 美元、每百万缓存读取 0.10 美元、每百万 30 分钟缓存写入 2.50 美元。每 100 万Token 12 小时的写入成本为 5 美元。
OpenAI 说明,缓存写入费率不是叠加费用:每个输入 Token 按适用的普通输入、缓存读取或缓存写入费率之一计费。如果对同一个 Token 同时收取完整的普通输入费和完整的写入费,就会高估文档所述成本。
工作示例:可重用的文档前缀
假设一个 10,000 Token 的前缀写入一次、保留 30 分钟,随后完整读取九次。写入费用为 0.025 美元,九次读取合计为 0.009 美元,总计 0.034 美元。相比之下,按普通费率处理十次相同前缀需 0.20 美元。
在这些假设下,该前缀减少了 83%。这并不是整个应用费用减少 83%。新的用户输入、输出、工具、失败的请求和其他服务均被排除。
收支平衡取决于保留选择
在相同的速率下,该前缀一次 30 分钟的写入加一次读取的成本为 0.026 美元,而两次普通传递的成本为 0.04 美元。 12 小时的写入加上一次读取的成本为 0.051 美元,因此仅使用两次无法收回其较高写入成本。
根据观察到的重用时间选择保留。较长的保留时间对于经常重复使用的前缀来说可能很有价值,但对于只看到一次的材料来说是浪费。模型和处理层的变化可能会改变算法。
重要的提供商差异
Gemini 4 Neon:仅隐式缓存
Google 记录了 Gemini 4 Neon 的隐式缓存,并明确表示不支持显式缓存。其更新指南列出了最低 4,096 个Token,标准缓存输入定价为每百万Token 0.15 美元,而普通输入为 3 美元。
95% 的输入折扣适用于实际缓存的Token,而不是默认情况下的所有输入。谷歌的定价还按照文档列出的输出思维和相关内部基础内容进行计费。如果没有提供商特定的证据,请勿将 OpenAI 缓存写入公式传输到 Neon。
Muse Ember:上下文长度设置层级
Meta 列出了 Muse Ember 缓存的输入,对于最多 200,000 个输入Token的请求,每百万Token 0.004 美元,高于该阈值 0.012 美元。缓存的Token仍然计入确定层的输入长度。
当超过阈值时,较高层适用于完整请求。因此,即使读取价格较低,大量缓存的历史记录也会影响速率。选择定价层时使用总请求上下文。
缓存重用率低的常见原因
更改模型或工具架构可以更改呈现的前缀。重新排序文档、尽早插入可变内容或重写以前的消息也可以减少重用。即使应用程序文本看起来没有变化,缓存过期和路由行为也会产生额外的限制。
对于 GPT-6.2,OpenAI 记录了折扣后台窗口之外的标准请求无法重用两小时或八小时后台请求创建的缓存条目。单独跟踪这些处理路线,而不是期望计划的作业来处理每个交互式请求。
一次调试一个变量
比较其他相同的请求并记录缓存的使用情况、写入、模型 ID、路由和延迟。然后故意改变文档顺序或设置。受控实验比同时更改多个提示组件提供更多信息。
为质量测试保留未缓存的基线。重用提示计算不应成为在生产工作流程中留下过时指令或过时源材料的借口。
监控Token使用情况和 API 成本降低
跟踪缓存读取占合格输入、写入量、普通输入、输出以及每个接受任务的总支出的份额。如果输出或代理工具循环占主导地位,高读取率可能与昂贵的账单共存。
将估算与发票进行核对,并记录所使用的特定于提供商的字段。如果统一的 AI API 平台(例如 OLEToken)是您的集成层,请验证它是否保留缓存控制、准确报告使用情况,并应用与直接访问相同的定价规则。
常见问题解答
缓存的Token是免费的吗?
通常他们的费率较低,而不是零成本。费率因模型、处理层和提供商而异。写入或存储可能有单独的规则。
缓存是否重用之前的答案?
提示缓存重用输入计算,而不是最终答案。应用程序响应缓存是一种不同的机制,具有单独的正确性和安全性要求。
我可以通过重复提示来保证缓存命中吗?
不可以。匹配文本还必须满足提供商的资格、生命周期、设置和路由条件。检查实际缓存的使用情况。
每个应用程序都应该使用显式缓存吗?
仅在受支持且有用的地方。某些模型(包括 Gemini 4 Neon)仅支持隐式缓存。选择已文档列出的机制并衡量其经济性。
下一步
识别一个经常重复的前缀,并比较重组前后的测量成本。如果您需要统一的 API,请查看 OLEToken,并确认每个选定模型和路由的缓存支持。

