token được lưu trong bộ nhớ đệm là token đầu vào có trạng thái nhắc được tính toán trước đó có thể được sử dụng lại cho một yêu cầu đủ điều kiện. Thay vì xử lý cùng một lời nhắc từ đầu, API LLM được hỗ trợ có thể sử dụng lại phép tính trung gian đã lưu trữ và tính tốc độ đầu vào khác.
Bộ nhớ đệm nhanh chóng có thể giảm thời gian xử lý và chi phí đầu vào lặp lại, nhưng nó không làm cho toàn bộ yêu cầu trở nên miễn phí. Các nhà cung cấp khác nhau về tính đủ điều kiện, khả năng lưu giữ, ghi và thanh toán. Hướng dẫn này giải thích các khái niệm và sử dụng tài liệu chính thức của OpenAI, Google và Meta được kiểm tra vào ngày 20 tháng 11 năm 2026 để biết ví dụ cụ thể.
Bộ nhớ đệm nhắc nhở nào thực sự được sử dụng lại
Trong quá trình suy luận, một mô hình sẽ xây dựng các trạng thái chú ý trung gian, thường được gọi là trạng thái khóa-giá trị. Bộ nhớ đệm nhắc nhở duy trì tính toán có thể sử dụng lại cho tiền tố phù hợp: phần đầu của dữ liệu đầu vào được hiển thị không thay đổi. API vẫn xử lý dữ liệu đầu vào mới và tạo ra phản hồi mới.
OpenAI mô tả rõ ràng bộ đệm nhắc nhở của nó là lưu trữ các tensor khóa-giá trị thay vì bản thân các token. Sự khác biệt đó giải thích cơ chế nhưng không loại bỏ nhu cầu xem xét các điều khoản lưu giữ và xử lý dữ liệu của nhà cung cấp.
Bộ nhớ đệm nhắc nhở so với bộ nhớ đệm phản hồi
Bộ nhớ đệm phản hồi lưu trữ câu trả lời đã hoàn thành trong ứng dụng của bạn và trả lại câu trả lời đó khi thích hợp. Bộ nhớ đệm nhắc nhở sử dụng lại tính toán đầu vào trong khi tạo ra câu trả lời mới. Do đó, một câu hỏi dành riêng cho khách hàng có thể chia sẻ các hướng dẫn được lưu trong bộ nhớ đệm mà không chia sẻ phản hồi cuối cùng của khách hàng.
Bộ nhớ đệm phản hồi của ứng dụng yêu cầu kiểm tra độ mới, ủy quyền và cá nhân hóa của riêng chúng. Đừng trả lại câu trả lời của người dùng này cho người khác chỉ vì lời nhắc của họ trông giống nhau. Cả bộ đệm đều không được trở thành lối tắt xung quanh việc kiểm soát truy cập.
token đầu vào được lưu trong bộ nhớ đệm trong báo cáo sử dụng là gì?
token đầu vào được lưu vào bộ nhớ đệm là phần đầu vào được nhận dạng là được cung cấp từ bộ nhớ đệm đủ điều kiện. Chúng thường được bao gồm trong tổng số đầu vào chứ không phải một khối token bổ sung để thêm vào tổng số đó. Xác minh lược đồ sử dụng của nhà cung cấp trước khi tính phí.
Ví dụ: nếu tổng số đầu vào là 12.000 token và 10.000 lượt đọc được lưu vào bộ nhớ đệm thì 2.000 lượt còn lại không phải là lượt đọc được lưu vào bộ nhớ đệm. Tùy thuộc vào hành vi của nhà cung cấp, một số token còn lại có thể sử dụng tốc độ đầu vào thông thường và một số khác có tốc độ ghi. Đầu ra được hạch toán riêng.
Không đảm bảo chắc chắn sẽ có lần truy cập bộ đệm
Văn bản lặp lại chỉ là một phần của tính đủ điều kiện. Mô hình đã chọn, cấu trúc tiền tố, cài đặt liên quan, thời gian tồn tại của bộ đệm và định tuyến có thể ảnh hưởng đến việc sử dụng lại. Kiểm tra mức sử dụng được báo cáo thay vì cho rằng mỗi yêu cầu thứ hai đều được lưu vào bộ nhớ đệm đầy đủ.
ID cuộc trò chuyện cũng không phải là sự đảm bảo. Lịch sử hội thoại có thể giữ lại tiền tố được chia sẻ nhưng việc thay đổi hoặc nén nội dung trước đó có thể thay đổi điểm có thể sử dụng lại.
Cách hoạt động của tiền tố và điểm ngắt
Các hướng dẫn ổn định, định nghĩa công cụ, tài liệu tham khảo và các lượt hội thoại trước đó có thể tạo thành tiền tố có thể sử dụng lại. Đặt việc thay đổi chi tiết người dùng sau tài liệu ổn định ở nơi cấu trúc yêu cầu của API cho phép. Tránh thêm các giá trị ngẫu nhiên hoặc dấu thời gian vào đầu một cách không cần thiết.
Một số nhà cung cấp ngầm chọn ranh giới bộ đệm. Những người khác hỗ trợ các điểm dừng hoặc đối tượng bộ đệm rõ ràng. Các cơ chế này không thể thay thế cho nhau: một trường hợp lệ cho một mô hình có thể không được hỗ trợ bởi một mô hình khác.
Ví dụ về tính đủ điều kiện của OpenAI
OpenAI ghi lại tiền tố có thể lưu trong bộ nhớ đệm tối thiểu là 1.024 token cho GPT-5.6 trở lên, loại trừ nội dung hệ thống ẩn của nó khỏi mức tối thiểu đó. Các mô hình được hỗ trợ có thể sử dụng bộ nhớ đệm ngầm và các biện pháp kiểm soát rõ ràng được ghi lại cho phép chọn điểm dừng cho nội dung đủ điều kiện.
Đừng điền một lời nhắc ngắn chỉ để đạt đến một ngưỡng mà không tính toán chi phí đầu vào bổ sung. Một bộ đệm hữu ích cần có tài liệu đủ điều kiện được lặp lại và tái sử dụng đủ để đảm bảo cho bất kỳ phí ghi nào.
Tính toán chi phí bộ nhớ đệm, bao gồm cả việc ghi
GPT-6.2 Sol ngữ cảnh ngắn Giá tiêu chuẩn là 2 USD trên một triệu token đầu vào thông thường, 0,10 USD trên một triệu lần đọc được lưu vào bộ nhớ đệm và 2,50 USD trên một triệu lần ghi vào bộ nhớ đệm trong 30 phút. Một lần viết kéo dài 12 giờ có giá 5 USD cho mỗi triệu token.
OpenAI tuyên bố rằng tốc độ ghi không phải là một khoản phí bổ sung: token sử dụng tốc độ thông thường, đọc hoặc ghi hiện hành. Việc tính cả tốc độ thông thường và tốc độ ghi đầy đủ cho cùng một token sẽ đánh giá quá cao chi phí được ghi lại.
Ví dụ hoạt động: tiền tố tài liệu có thể tái sử dụng
Giả sử tiền tố 10.000 token được viết một lần với thời gian lưu giữ là 30 phút và sau đó được sử dụng lại hoàn toàn chín lần. Chi phí viết là 0,025 USD và 9 lần đọc cùng nhau có giá 0,009 USD. Tổng chi phí tiền tố là 0,034 USD, so với 0,20 USD cho 10 đường chuyền không được lưu vào bộ nhớ đệm ở mức thông thường.
Đó là mức giảm 83% cho tiền tố này theo các giả định này. Đây không phải là mức giảm 83% cho hóa đơn đăng ký hoàn chỉnh. Đầu vào, đầu ra, công cụ, yêu cầu không thành công của người dùng mới và các dịch vụ khác đều bị loại trừ.
Điểm hòa vốn phụ thuộc vào lựa chọn giữ chân
Ở cùng mức giá, một lần ghi trong 30 phút cộng với một lần đọc có giá 0,026 USD cho tiền tố đó, so với 0,04 USD cho hai lượt thông thường. Một lần ghi trong 12 giờ cộng với một lần đọc có giá 0,051 USD, do đó, chỉ sử dụng hai lần sẽ không thu được chi phí ghi cao hơn.
Chọn lưu giữ dựa trên thời gian tái sử dụng được quan sát. Việc lưu giữ lâu hơn có thể có giá trị đối với tiền tố được sử dụng lại thường xuyên nhưng lại lãng phí đối với tài liệu chỉ được xem một lần. Những thay đổi về mô hình và tầng xử lý có thể làm thay đổi số học.
Sự khác biệt quan trọng của nhà cung cấp
Gemini 4 Neon: chỉ lưu vào bộ nhớ đệm ẩn
Google ghi lại bộ nhớ đệm ngầm cho Gemini 4 Neon và nói rõ ràng rằng bộ nhớ đệm rõ ràng không được hỗ trợ. Hướng dẫn cập nhật của nó liệt kê mức tối thiểu 4.096 token và giá đầu vào được lưu trong bộ nhớ đệm tiêu chuẩn là 0,15 USD trên một triệu token so với đầu vào thông thường là 3 USD.
Mức giảm giá đầu vào 95% đó áp dụng cho các token được lưu trong bộ nhớ đệm thực tế, không phải tất cả đầu vào theo mặc định. Mức giá của Google cũng tính đến tư duy đầu ra và nội dung nền tảng nội bộ có liên quan như đã được ghi trong tài liệu. Không chuyển công thức ghi bộ nhớ đệm OpenAI sang Neon mà không có bằng chứng cụ thể của nhà cung cấp.
Muse Ember: độ dài ngữ cảnh xác định cấp độ
Danh sách meta đầu vào được lưu trong bộ nhớ đệm của Muse Ember ở mức 0,004 USD trên một triệu token cho các yêu cầu lên tới 200.000 token đầu vào và 0,012 USD trên ngưỡng đó. token được lưu trong bộ nhớ đệm vẫn được tính vào độ dài đầu vào để xác định cấp.
Cấp cao hơn áp dụng cho yêu cầu đầy đủ khi vượt quá ngưỡng. Do đó, lịch sử được lưu trong bộ nhớ đệm lớn có thể ảnh hưởng đến tốc độ mặc dù giá đọc của nó thấp. Sử dụng bối cảnh tổng thể yêu cầu khi chọn bậc giá.
Các lý do phổ biến khiến việc sử dụng lại bộ nhớ đệm ở mức thấp
Việc thay đổi lược đồ mô hình hoặc công cụ có thể thay đổi tiền tố được hiển thị. Sắp xếp lại tài liệu, chèn nội dung thay đổi sớm hoặc viết lại các tin nhắn trước đó cũng có thể làm giảm việc sử dụng lại. Hành vi định tuyến và hết hạn bộ nhớ đệm tạo ra các giới hạn bổ sung ngay cả khi văn bản ứng dụng xuất hiện không thay đổi.
Đối với GPT-6.2, các tài liệu OpenAI mà Tiêu chuẩn yêu cầu bên ngoài cửa sổ nền được giảm giá không thể sử dụng lại các mục trong bộ đệm được tạo bởi các yêu cầu nền kéo dài hai giờ hoặc tám giờ. Theo dõi các lộ trình xử lý này một cách riêng biệt thay vì mong đợi một công việc đã lên lịch sẽ đáp ứng mọi yêu cầu tương tác.
Gỡ lỗi một biến mỗi lần
So sánh các yêu cầu giống hệt nhau và ghi lại mức sử dụng, ghi, ID mô hình, tuyến đường và độ trễ được lưu vào bộ nhớ đệm. Sau đó thay đổi thứ tự tài liệu hoặc cài đặt một cách có chủ ý. Một thử nghiệm được kiểm soát mang lại nhiều thông tin hơn so với việc thay đổi đồng thời một số thành phần gợi ý.
Giữ đường cơ sở không được lưu vào bộ nhớ đệm để kiểm tra chất lượng. Việc sử dụng lại tính toán nhanh chóng không được trở thành cái cớ để để lại các hướng dẫn lỗi thời hoặc tài liệu nguồn lỗi thời trong quy trình sản xuất.
Giám sát việc sử dụng token và giảm chi phí API
Theo dõi số lần đọc được lưu trong bộ nhớ đệm dưới dạng chia sẻ của đầu vào đủ điều kiện, khối lượng ghi, đầu vào, đầu ra thông thường và tổng chi tiêu cho mỗi tác vụ được chấp nhận. Tỷ lệ đọc cao có thể cùng tồn tại với hóa đơn đắt tiền nếu vòng lặp đầu ra hoặc công cụ đại lý chiếm ưu thế.
Đối chiếu các ước tính với hóa đơn và ghi lại các trường dành riêng cho nhà cung cấp được sử dụng. Nếu nền tảng API AI hợp nhất như OLEToken là lớp tích hợp của bạn, hãy xác minh xem lớp đó có duy trì các biện pháp kiểm soát bộ nhớ đệm, báo cáo mức sử dụng chính xác và áp dụng các quy tắc đặt giá giống như quyền truy cập trực tiếp hay không.
Câu hỏi thường gặp
token được lưu trong bộ nhớ đệm có miễn phí không?
Thông thường họ có tỷ lệ giảm hơn là chi phí bằng không. Mức giá thay đổi tùy theo kiểu máy, cấp xử lý và nhà cung cấp. Việc ghi hoặc lưu trữ có thể có các quy tắc riêng.
Bộ nhớ đệm có sử dụng lại câu trả lời trước đó không?
Bộ nhớ đệm nhắc nhở sử dụng lại tính toán đầu vào chứ không phải câu trả lời cuối cùng. Bộ nhớ đệm phản hồi ứng dụng là một cơ chế khác với các yêu cầu bảo mật và chính xác riêng biệt.
Tôi có thể đảm bảo sẽ nhấn bộ nhớ đệm bằng cách lặp lại lời nhắc không?
Không. Văn bản trùng khớp cũng phải đáp ứng các điều kiện về tính đủ điều kiện, thời gian tồn tại, cài đặt và định tuyến của nhà cung cấp. Kiểm tra việc sử dụng bộ nhớ đệm thực tế.
Mọi ứng dụng có nên sử dụng bộ nhớ đệm rõ ràng không?
Chỉ nơi nó được hỗ trợ và hữu ích. Một số kiểu máy, bao gồm cả Gemini 4 Neon, chỉ hỗ trợ bộ nhớ đệm ẩn. Chọn cơ chế được ghi lại và đo lường tính kinh tế của nó.
Bước tiếp theo
Xác định một tiền tố được lặp lại thường xuyên và so sánh chi phí đo được trước và sau khi cơ cấu lại tiền tố đó. Xem lại OLEToken nếu bạn cần một API hợp nhất và xác nhận hỗ trợ bộ đệm cho từng mô hình và tuyến đã chọn.

