Volver al blog

Tutorial

¿Qué son los tokens almacenados en caché? Una guía completa para el almacenamiento en caché rápido para las API de LLM

OleToken Blog · 10 min de lectura · 20 de noviembre de 2026

Los tokens almacenados en caché son tokens de entrada cuyo estado de solicitud calculado previamente se puede reutilizar para una solicitud elegible. En lugar de procesar el mismo comienzo de un mensaje desde cero, una API LLM compatible puede reutilizar el cálculo intermedio almacenado y cobrar una tarifa de entrada diferente.

El almacenamiento en caché rápido puede reducir el tiempo de procesamiento y el costo de las entradas repetidas, pero no hace que toda la solicitud sea gratuita. Los proveedores difieren en elegibilidad, retención, escrituras y facturación. Esta guía explica los conceptos y utiliza la documentación oficial de OpenAI, Google y Meta revisada el 20 de noviembre de 2026 para obtener ejemplos concretos.

¿Qué mensaje de caché realmente se reutiliza?

Durante la inferencia, un modelo construye estados de atención intermedios, a menudo llamados estados de valor clave. Un caché de aviso conserva el cálculo reutilizable para un prefijo coincidente: el comienzo sin cambios de la entrada representada. La API todavía procesa nuevas entradas y genera una nueva respuesta.

OpenAI describe explícitamente que su caché de avisos almacena tensores clave-valor en lugar de los tokens en sí. Esa distinción explica el mecanismo, pero no elimina la necesidad de revisar los términos de retención y manejo de datos de un proveedor.

Almacenamiento en caché de solicitudes versus almacenamiento en caché de respuestas

El almacenamiento en caché de respuestas almacena una respuesta completa en su aplicación y la devuelve cuando corresponde. El almacenamiento en caché rápido reutiliza el cálculo de entrada mientras produce una nueva respuesta. Por lo tanto, una pregunta específica de un cliente puede compartir instrucciones almacenadas en caché sin compartir la respuesta final del cliente.

Los cachés de respuestas de las aplicaciones requieren sus propias comprobaciones de actualización, autorización y personalización. No devuelva la respuesta de un usuario a otro simplemente porque sus mensajes sean similares. Ninguno de los cachés debería convertirse en un atajo para el control de acceso.

¿Qué son los tokens de entrada almacenados en caché en los informes de uso?

Los tokens de entrada almacenados en caché son la parte de la entrada que se reconoce como entregada desde una caché elegible. Por lo general, se incluyen dentro de la entrada total, no como un bloque adicional de tokens para agregar a ese total. Verifique el esquema de uso del proveedor antes de calcular los cargos.

Por ejemplo, si la entrada total es de 12 000 tokens y 10 000 son lecturas en caché, las 2000 restantes no son lecturas en caché. Dependiendo del comportamiento del proveedor, algunos de esos tokens restantes pueden usar una tasa de entrada ordinaria y otros una tasa de escritura. La producción se contabiliza por separado.

No se garantiza un acierto de caché

El texto repetido es sólo una parte de la elegibilidad. El modelo seleccionado, la estructura de prefijo, la configuración relevante, la vida útil de la caché y el enrutamiento pueden afectar la reutilización. Inspeccione el uso informado en lugar de asumir que cada segunda solicitud está completamente almacenada en caché.

Una identificación de conversación tampoco es una garantía. El historial de conversaciones puede preservar un prefijo compartido, pero cambiar o compactar contenido anterior puede alterar el punto a partir del cual es posible la reutilización.

Cómo funcionan los prefijos y puntos de interrupción

Instrucciones estables, definiciones de herramientas, documentos de referencia y turnos de conversación anteriores pueden formar un prefijo reutilizable. Coloque los detalles cambiantes del usuario después del material estable donde la estructura de solicitud de la API lo permita. Evite agregar valores aleatorios o marcas de tiempo al principio innecesariamente.

Algunos proveedores eligen implícitamente los límites de la caché. Otros admiten puntos de interrupción explícitos u objetos de caché. Estos mecanismos no son intercambiables: un campo válido para un modelo puede no ser compatible con otro.

Ejemplo de elegibilidad de OpenAI

OpenAI documenta un prefijo mínimo almacenable en caché de 1024 tokens para GPT-5.6 y posteriores, excluyendo el contenido oculto del sistema de ese mínimo. Los modelos compatibles pueden utilizar almacenamiento en caché implícito y los controles explícitos documentados permiten elegir puntos de interrupción para el contenido elegible.

No complete un mensaje breve simplemente para alcanzar un umbral sin calcular el costo adicional de los insumos. Un caché útil necesita material elegible repetido y suficiente reutilización para justificar cualquier prima de escritura.

Calcular los costos de la caché, incluidas las escrituras.

Las tarifas estándar de contexto corto de GPT-6.2 Sol son $2 por millón de tokens de entrada ordinarios, $0,10 por millón de lecturas en caché y $2,50 por millón de escrituras en caché de 30 minutos. Una escritura de doce horas cuesta 5 dólares por millón de tokens.

OpenAI afirma que la tasa de escritura no es una tarifa aditiva: un token utiliza la tasa ordinaria, de lectura o de escritura aplicable. Cobrar tanto una tarifa ordinaria completa como una tarifa de escritura completa por el mismo token sobreestimaría el costo documentado.

Ejemplo resuelto: un prefijo de documento reutilizable

Supongamos que un prefijo de 10.000 tokens se escribe una vez con una retención de 30 minutos y luego se reutiliza por completo nueve veces. La escritura cuesta $0,025 y las nueve lecturas juntas cuestan $0,009. El costo total del prefijo es de $0,034, en comparación con $0,20 por diez pases sin caché a la tarifa normal.

Se trata de una reducción del 83% para este prefijo según estos supuestos. No es una reducción del 83% para la factura completa de la solicitud. Se excluyen las entradas y salidas de nuevos usuarios, las herramientas, las solicitudes fallidas y otros servicios.

El punto de equilibrio depende de la elección de retención

Al mismo precio, una escritura de 30 minutos más una lectura cuesta 0,026 dólares por ese prefijo, frente a 0,04 dólares por dos pases normales. Una escritura de doce horas más una lectura cuesta 0,051 dólares, por lo que dos usos por sí solos no recuperarían su mayor coste de escritura.

Elija la retención según el tiempo de reutilización observado. Una retención más prolongada puede ser valiosa para un prefijo que se reutiliza con frecuencia, pero un desperdicio para material que se ve sólo una vez. Los cambios de modelo y nivel de procesamiento pueden alterar la aritmética.

Diferencias de proveedores que importan

Gemini 4 Neon: solo almacenamiento en caché implícito

Google documenta el almacenamiento en caché implícito para Gemini 4 Neon y dice explícitamente que el almacenamiento en caché explícito no es compatible. Su guía de actualización enumera un mínimo de 4.096 tokens y un precio estándar de entrada en caché de 0,15 dólares por millón de tokens frente a 3 dólares de entrada ordinaria.

Ese descuento del 95% en las entradas se aplica a los tokens almacenados en caché reales, no a todas las entradas de forma predeterminada. Los precios de Google también incluyen el pensamiento de resultados y el contenido interno relevante, tal como está documentado. No transfiera una fórmula de escritura en caché de OpenAI a Neon sin evidencia específica del proveedor.

Muse Ember: la longitud del contexto establece el nivel

Meta enumera las entradas almacenadas en caché de Muse Ember a $ 0,004 por millón de tokens para solicitudes de hasta 200.000 tokens de entrada y $ 0,012 por encima de ese umbral. Los tokens almacenados en caché aún cuentan para la longitud de entrada que determina el nivel.

El nivel superior se aplica a la solicitud completa cuando se excede el umbral. Por lo tanto, un historial almacenado en caché de gran tamaño puede afectar las tarifas aunque su precio de lectura sea bajo. Utilice el contexto total de la solicitud al seleccionar el nivel de precios.

Razones comunes para la baja reutilización de caché

Cambiar el modelo o el esquema de la herramienta puede alterar el prefijo representado. Reordenar documentos, insertar contenido variable antes o reescribir mensajes anteriores también puede reducir la reutilización. La caducidad de la caché y el comportamiento de enrutamiento crean límites adicionales incluso cuando el texto de la aplicación aparece sin cambios.

Para GPT-6.2, los documentos OpenAI que el estándar solicita fuera de las ventanas de fondo con descuento no pueden reutilizar las entradas de caché creadas por solicitudes en segundo plano de dos u ocho horas. Realice un seguimiento de estas rutas de procesamiento por separado en lugar de esperar que un trabajo programado caliente cada solicitud interactiva.

Depurar una variable a la vez

Compare solicitudes que de otro modo serían idénticas y registre el uso, las escrituras, el ID del modelo, la ruta y la latencia en caché. Luego varíe deliberadamente el orden de los documentos o una configuración. Un experimento controlado es más informativo que cambiar varios componentes del mensaje simultáneamente.

Mantenga una línea de base sin caché para pruebas de calidad. La reutilización del cálculo rápido no debería convertirse en una excusa para dejar instrucciones obsoletas o material fuente obsoleto en un flujo de trabajo de producción.

Monitorear el uso de tokens y la reducción de costos de API

Realice un seguimiento de las lecturas en caché como porcentaje de las entradas elegibles, el volumen de escritura, las entradas y salidas ordinarias y el gasto total por tarea aceptada. Una tasa de lectura alta puede coexistir con una factura costosa si dominan los bucles de herramientas de salida o de agente.

Concilie las estimaciones con las facturas y documente los campos específicos del proveedor utilizados. Si una plataforma API de IA unificada como OLEToken es su capa de integración, verifique si conserva los controles de caché, informa el uso con precisión y aplica las mismas reglas de precios que el acceso directo.

Preguntas frecuentes

¿Los tokens almacenados en caché son gratuitos?

Suelen tener una tarifa reducida en lugar de coste cero. Las tarifas varían según el modelo, el nivel de procesamiento y el proveedor. Las escrituras o el almacenamiento pueden tener reglas independientes.

¿El almacenamiento en caché reutiliza la respuesta anterior?

El almacenamiento en caché rápido reutiliza el cálculo de entrada, no la respuesta final. El almacenamiento en caché de respuestas de aplicaciones es un mecanismo diferente con requisitos de seguridad y corrección separados.

¿Puedo garantizar un acierto en la caché repitiendo un mensaje?

No. El texto coincidente también debe cumplir con las condiciones de elegibilidad, duración, configuración y enrutamiento del proveedor. Inspeccione el uso real en caché.

¿Todas las aplicaciones deberían utilizar almacenamiento en caché explícito?

Sólo donde sea compatible y útil. Algunos modelos, incluido Gemini 4 Neon, solo admiten el almacenamiento en caché implícito. Elija el mecanismo documentado y mida su economía.

Siguiente paso

Identifique un prefijo que se repite con frecuencia y compare los costos medidos antes y después de reestructurarlo. Revise OLEToken si necesita una API unificada y confirme la compatibilidad con caché para cada modelo y ruta seleccionados.

Fuentes