快取Token是輸入Token,其先前計算的提示狀態可以重新用於符合條件的請求。支援的 LLM API 可以重複使用儲存的中間計算並收取不同的輸入費率,而不是從頭開始處理提示的相同開頭。
提示快取可以減少處理時間和重複輸入成本,但並不能讓整個請求變得免費。提供者在資格、保留、寫入和計費方面有所不同。本指南解釋了概念,並使用 2026 年 11 月 20 日檢查的官方 OpenAI、Google 和 Meta 文件作為具體範例。
提示快取實際上重複使用了什麼
在推理過程中,模型建構中間注意力狀態,通常稱為鍵值狀態。提示快取保留匹配前綴的可重複使用計算:渲染輸入的未更改的開頭。 API 仍然處理新輸入並產生新回應。
OpenAI 明確地將其提示快取描述為儲存鍵值張量而不是Token本身。這種區別解釋了該機制,但並沒有消除審查提供者的保留和資料處理條款的需要。
提示快取與回應緩存
回應快取將完整的答案儲存在您的應用程式中,並在適當的時候再次返回它。提示快取在產生新答案時重複使用輸入計算。因此,客戶特定的問題可以共享快取的指令,而無需共享客戶的最終回應。
應用程式回應快取需要自己的新鮮度、授權和個人化檢查。不要因為一個使用者的提示看起來相似而將他們的答案傳回給另一個使用者。這兩種快取都不應該成為存取控制的捷徑。
使用報表中快取的輸入Token是什麼?
快取的輸入Token是被辨識為來自合格快取的輸入部分。它們通常包含在總輸入中,而不是添加到總輸入中的額外Token塊。在計算費用之前驗證提供者的使用模式。
例如,如果總輸入為 12,000 個Token,其中 10,000 個是快取讀取,則其餘 2,000 個不是快取讀取。根據提供者的行為,剩餘的Token中的一些可以使用普通輸入費率,而其他Token可以使用寫入費率。產出單獨核算。
不保證快取命中
重複文本只是資格的一部分。所選模型、前綴結構、相關設定、快取生命週期和路由都會影響重複使用。檢查報告的使用情況,而不是假設每個第二個請求都完全快取。
會話 ID 也不能保證。對話歷史記錄可以保留共享前綴,但更改或壓縮較早的內容可能會改變重複使用的可能性。
前綴和斷點如何運作
穩定的指令、工具定義、參考文件和早期的對話可以形成可重複使用的前綴。在 API 請求結構允許的情況下,將變更的使用者詳細資訊放在穩定的材料之後。避免在開始時添加不必要的隨機值或時間戳記。
一些提供者隱式選擇快取邊界。其他支援顯式斷點或快取物件。這些機制不可互換:對一種模型有效的欄位可能不受另一種模型的支援。
OpenAI 資格範例
OpenAI 記錄了 GPT-5.6 及更高版本的最小可緩存前綴為 1,024 個Token,不包括該最小值中的隱藏系統內容。支援的模型可以使用隱式緩存,並且記錄的明確控制允許為符合條件的內容選擇斷點。
不要僅僅為了達到閾值而填充簡短的提示而不計算額外的輸入成本。有用的快取需要重複的合格材料和足夠的重用來證明任何寫入溢價是合理的。
計算快取成本,包括寫入
GPT-6.2 Sol 短上下文 標準費率為每百萬普通輸入Token 2 美元、每百萬快取讀取 0.10 美元、每百萬 30 分鐘快取寫入 2.50 美元。每 100 萬Token 12 小時的寫入成本為 5 美元。
OpenAI 說明,快取寫入費率不是疊加費用:每個輸入 Token 按適用的普通輸入、快取讀取或快取寫入費率之一計費。如果對同一個 Token 同時收取完整的普通輸入費和完整的寫入費,就會高估文件所述成本。
工作範例:可重複使用的文件前綴
假設一個 10,000 Token 的前綴寫入一次、保留 30 分鐘,隨後完整讀取九次。寫入費用為 0.025 美元,九次讀取合計為 0.009 美元,總計 0.034 美元。相比之下,按普通費率處理十次相同前綴需 0.20 美元。
在這些假設下,該前綴減少了 83%。這並不是整個申請費用減少 83%。新的用戶輸入、輸出、工具、失敗的請求和其他服務均被排除。
收支平衡取決於保留選擇
在相同的速率下,該前綴一次 30 分鐘的寫入加一次讀取的成本為 0.026 美元,而兩次普通傳遞的成本為 0.04 美元。 12 小時的寫入加上一次讀取的成本為 0.051 美元,因此僅使用兩次無法收回其較高寫入成本。
根據觀察到的重複使用時間選擇保留。較長的保留時間對於經常重複使用的前綴可能很有價值,但對於只看到一次的材料來說是浪費。模型和處理層的變化可能會改變演算法。
重要的提供者差異
Gemini 4 Neon:僅隱式緩存
Google 記錄了 Gemini 4 Neon 的隱式緩存,並明確表示不支援明確快取。其更新指南列出了最低 4,096 個Token,標準快取輸入定價為每百萬Token 0.15 美元,而普通輸入為 3 美元。
95% 的輸入折扣適用於實際快取的Token,而不是預設的所有輸入。谷歌的定價也依照記錄的輸出思維和相關內部基礎內容進行計費。如果沒有提供者特定的證據,請勿將 OpenAI 快取寫入公式傳輸到 Neon。
Muse Ember:上下文長度設定層級
Meta 列出了 Muse Ember 快取的輸入,對於最多 200,000 個輸入Token的請求,每百萬Token 0.004 美元,高於該閾值 0.012 美元。快取的Token仍然計入確定層的輸入長度。
當超過閾值時,較高層適用於完整請求。因此,即使讀取價格較低,大量快取的歷史記錄也會影響速率。選擇定價層時使用總請求上下文。
快取重用率低的常見原因
更改模型或工具架構可以更改呈現的前綴。重新排序文件、儘早插入可變內容或重寫先前的訊息也可以減少重用。即使應用程式文字看起來沒有變化,快取過期和路由行為也會產生額外的限制。
對於 GPT-6.2,OpenAI 記錄了折扣後台視窗之外的標準請求無法重複使用兩小時或八小時後台請求建立的快取條目。單獨追蹤這些處理路線,而不是期望計劃的作業來處理每個互動式請求。
一次調試一個變數
比較其他相同的請求並記錄快取的使用情況、寫入、模型 ID、路由和延遲。然後故意改變文檔順序或設定。受控實驗比同時更改多個提示組件提供更多資訊。
為品質測試保留未快取的基準。重複使用提示計算不應成為在生產工作流程中留下過時指令或過時來源材料的藉口。
監控Token使用情況和 API 成本降低
追蹤快取讀取佔合格輸入、寫入量、普通輸入、輸出以及每個接受任務的總支出的份額。如果輸出或代理工具循環占主導地位,高讀取率可能與昂貴的帳單共存。
將估算與發票進行核對,並記錄所使用的特定於提供者的欄位。如果統一的 AI API 平台(例如 OLEToken)是您的整合層,請驗證它是否保留快取控制、準確報告使用情況,並套用與直接存取相同的定價規則。
常見問題解答
快取的Token是免費的嗎?
通常他們的費率較低,而不是零成本。費率因模型、處理層和提供者而異。寫入或儲存可能有單獨的規則。
快取是否重複使用之前的答案?
提示快取重用輸入計算,而不是最終答案。應用程式回應快取是一種不同的機制,具有單獨的正確性和安全性要求。
我可以透過重複提示來保證快取命中嗎?
不可以。匹配文字還必須滿足提供者的資格、生命週期、設定和路由條件。檢查實際快取的使用情況。
每個應用程式都應該使用明確快取嗎?
僅在受支援且有用的地方。某些模型(包括 Gemini 4 Neon)僅支援隱式快取。選擇已記錄的機制並衡量其經濟性。
下一步
辨識一個經常重複的前綴,並比較重組前後的測量成本。如果您需要統一的 API,請查看 OLEToken,並確認每個選定模型和路由的快取支援。

