Кэшированные токены — это входные токены, ранее вычисленное состояние запроса которых может быть повторно использовано для подходящего запроса. Вместо обработки одного и того же начала приглашения с нуля поддерживаемый API LLM может повторно использовать сохраненные промежуточные вычисления и взимать другую скорость ввода.
Оперативное кэширование может сократить время обработки и стоимость повторного ввода, но оно не делает весь запрос бесплатным. Поставщики различаются по критериям права, хранения, записи и выставления счетов. В этом руководстве объясняются концепции и для конкретных примеров используются официальная документация OpenAI, Google и Meta, проверенная 20 ноября 2026 г.
Какие запросы кеширования на самом деле повторно используются
Во время вывода модель создает промежуточные состояния внимания, часто называемые состояниями «ключ-значение». Кэш подсказок сохраняет повторно используемые вычисления для соответствующего префикса: неизмененного начала отображаемого ввода. API по-прежнему обрабатывает новые входные данные и генерирует новый ответ.
OpenAI явно описывает свой кэш подсказок как хранилище тензоров «ключ-значение», а не самих токенов. Это различие объясняет механизм, но не устраняет необходимости пересматривать условия хранения и обработки данных поставщика.
Кэширование подсказок и кэширование ответов
Кэширование ответов сохраняет готовый ответ в вашем приложении и возвращает его снова, когда это необходимо. Оперативное кэширование повторно использует входные вычисления при создании нового ответа. Таким образом, вопрос, специфичный для клиента, может содержать кэшированные инструкции без раскрытия окончательного ответа клиента.
Кэши ответов приложений требуют собственных проверок актуальности, авторизации и персонализации. Не возвращайте ответ одного пользователя другому только потому, что его запросы выглядят одинаково. Ни один из кэшей не должен стать ярлыком для контроля доступа.
Что такое кэшированные входные токены в отчетах об использовании?
Кэшированные входные токены — это часть входных данных, распознанная как поданная из подходящего кэша. Обычно они включаются в общую сумму входных данных, а не в дополнительный блок токенов, добавляемых к этой сумме. Перед расчетом расходов проверьте схему использования поставщика.
Например, если общий объем ввода составляет 12 000 токенов и 10 000 операций чтения кэшируются, остальные 2 000 операций чтения не кэшируются. В зависимости от поведения поставщика некоторые из оставшихся токенов могут использовать обычную скорость ввода, а другие — скорость записи. Выпуск учитывается отдельно.
Попадание в кеш не гарантировано
Повторяющийся текст является лишь частью права на участие. Выбранная модель, структура префикса, соответствующие настройки, время жизни кэша и маршрутизация могут повлиять на повторное использование. Проверяйте отчеты об использовании, а не предполагайте, что каждый второй запрос полностью кэшируется.
Идентификатор разговора также не является гарантией. История разговоров может сохранить общий префикс, но изменение или сжатие более раннего контента может изменить точку, с которой возможно повторное использование.
Как работают префиксы и точки останова
Стабильные инструкции, определения инструментов, справочные документы и предыдущие разговоры могут образовывать префикс многократного использования. Размещайте изменение данных пользователя после стабильного материала, где это позволяет структура запроса API. Избегайте добавления случайных значений или временных меток в начале без необходимости.
Некоторые провайдеры неявно выбирают границы кэша. Другие поддерживают явные точки останова или объекты кэша. Эти механизмы не взаимозаменяемы: поле, допустимое для одной модели, может не поддерживаться другой.
Пример участия в OpenAI
OpenAI документирует минимальный кэшируемый префикс в 1024 токена для GPT-5.6 и более поздних версий, исключая скрытый системный контент из этого минимума. Поддерживаемые модели могут использовать неявное кэширование, а документированные явные элементы управления позволяют выбирать точки останова для подходящего контента.
Не вводите короткую подсказку только для того, чтобы достичь порогового значения без расчета дополнительных затрат на ввод. Полезный кэш требует повторяющегося подходящего материала и достаточного повторного использования, чтобы оправдать любые затраты на запись.
Рассчитать затраты на кеш, включая запись
GPT-6.2 Sol для короткого контекста. Стандартные тарифы составляют 2 доллара США за миллион обычных входных токенов, 0,10 доллара США за миллион кэшированных операций чтения и 2,50 доллара США за миллион 30-минутных операций записи в кэш. Двенадцатичасовая запись стоит 5 долларов за миллион токенов.
OpenAI заявляет, что скорость записи не является дополнительной комиссией: токен использует применимую обычную скорость, скорость чтения или записи. Взимание полной обычной ставки и полной скорости записи для одного и того же токена привело бы к завышению документально подтвержденной стоимости.
Рабочий пример: многоразовый префикс документа
Предположим, что префикс на 10 000 токенов записывается один раз с 30-минутным хранением, а затем полностью повторно используется девять раз. Запись стоит 0,025 доллара, а девять операций чтения вместе стоят 0,009 доллара. Общая стоимость префикса составляет 0,034 доллара США по сравнению с 0,20 доллара США за десять некэшированных проходов по обычному тарифу.
При таких предположениях это сокращение для этого префикса на 83%. Это не сокращение полной стоимости заявки на 83%. Новый пользовательский ввод, вывод, инструменты, неудачные запросы и другие службы исключаются.
Безубыточность зависит от выбора удержания
При тех же тарифах одна 30-минутная запись плюс одно чтение стоит 0,026 доллара за этот префикс по сравнению с 0,04 доллара за два обычных прохода. Двенадцать часов записи плюс одно чтение стоят 0,051 доллара, поэтому два использования сами по себе не окупят более высокую стоимость записи.
Выбирайте срок хранения на основе наблюдаемого времени повторного использования. Более длительное хранение может быть полезным для часто используемого префикса, но расточительным для материала, который просматривается только один раз. Изменения модели и уровня обработки могут изменить арифметику.
Важные различия между поставщиками
Gemini 4 Neon: только неявное кэширование
Google документирует неявное кэширование для Gemini 4 Neon и прямо заявляет, что явное кэширование не поддерживается. В его руководстве по обновлению указан минимум в 4096 токенов и стандартная цена на кэшированные входные данные, составляющая 0,15 доллара США за миллион токенов по сравнению с 3 долларами США за обычный ввод.
Эта 95%-ная скидка на входные данные применяется к реальным кэшированным токенам, а не ко всем входным данным по умолчанию. В ценах Google также учитываются результаты мышления и соответствующий внутренний контент, как указано в документации. Не передавайте формулу записи кэша OpenAI в Neon без подтверждения конкретного поставщика.
Muse Ember: длина контекста задает уровень
В мета-листах указаны кэшированные входные данные Muse Ember по цене 0,004 доллара США за миллион токенов для запросов до 200 000 входных токенов и 0,012 доллара США выше этого порога. Кэшированные токены по-прежнему учитываются при входной длине, определяющей уровень.
Более высокий уровень применяется к полному запросу при превышении порогового значения. Таким образом, большая кэшированная история может повлиять на скорость, даже если цена ее чтения низкая. Используйте общий контекст запроса при выборе ценовой категории.
Распространенные причины низкого повторного использования кеша
Изменение модели или схемы инструмента может изменить отображаемый префикс. Изменение порядка документов, ранняя вставка переменного содержимого или перезапись предыдущих сообщений также могут сократить повторное использование. Срок действия кэша и поведение маршрутизации создают дополнительные ограничения, даже если текст приложения остается неизменным.
Для GPT-6.2 документы OpenAI, которые стандарт запрашивает вне фоновых окон со скидкой, не могут повторно использовать записи кэша, созданные двухчасовыми или восьмичасовыми фоновыми запросами. Отслеживайте эти маршруты обработки отдельно, не ожидая, что запланированное задание обработает каждый интерактивный запрос.
Отладка одной переменной за раз
Сравните идентичные запросы и запишите использование кэша, операции записи, идентификатор модели, маршрут и задержку. Затем намеренно измените порядок документов или настройки. Контролируемый эксперимент более информативен, чем одновременное изменение нескольких компонентов подсказки.
Сохраняйте некэшированные базовые показатели для тестов качества. Повторное использование быстрых вычислений не должно стать оправданием для оставления устаревших инструкций или устаревшего исходного материала в рабочем процессе.
Мониторинг использования токенов и снижение затрат на API
Отслеживайте кэшированные чтения как долю допустимого ввода, объема записи, обычного ввода, вывода и общих затрат на принятую задачу. Высокий коэффициент чтения может сосуществовать с высокими расходами, если доминируют циклы вывода или агентских инструментов.
Согласуйте оценки со счетами и задокументируйте используемые поля, относящиеся к конкретному поставщику. Если унифицированная платформа AI API, такая как OLEToken, является вашим уровнем интеграции, убедитесь, что она сохраняет элементы управления кэшем, точно сообщает об использовании и применяет те же правила ценообразования, что и прямой доступ.
Часто задаваемые вопросы
Кэшированные токены бесплатны?
Обычно они имеют сниженную ставку, а не нулевую стоимость. Тарифы варьируются в зависимости от модели, уровня обработки и поставщика. На запись или хранение могут действовать отдельные правила.
При кэшировании повторно используется предыдущий ответ?
При оперативном кэшировании повторно используются входные вычисления, а не окончательный ответ. Кэширование ответов приложения — это другой механизм с отдельными требованиями к корректности и безопасности.
Могу ли я гарантировать попадание в кеш, повторяя запрос?
Нет. Соответствующий текст также должен соответствовать требованиям, сроку действия, настройкам и условиям маршрутизации поставщика. Проверьте фактическое использование кэша.
Должно ли каждое приложение использовать явное кэширование?
Только там, где это поддерживается и полезно. Некоторые модели, включая Gemini 4 Neon, поддерживают только неявное кэширование. Выберите документированный механизм и измерьте его экономику.
Следующий шаг
Определите один часто повторяющийся префикс и сравните измеренные затраты до и после его реструктуризации. Просмотрите OLEToken, если вам нужен унифицированный API, и подтвердите поддержку кэша для каждой выбранной модели и маршрута.
Источники
- [OpenAI: правила оперативного кэширования и учета] (https://developers.openai.com/api/docs/guides/prompt-caching)
- Google: кеширование и цены Gemini 4 Neon
- Мета: цены на Muse Ember

