Voltar ao blog

Tutorial

O que são tokens armazenados em cache? Um guia completo para cache de prompts para APIs LLM

OleToken Blog · 10 min de leitura · 20 de novembro de 2026

Tokens armazenados em cache são tokens de entrada cujo estado de prompt calculado anteriormente pode ser reutilizado para uma solicitação elegível. Em vez de processar o mesmo início de um prompt do zero, uma API LLM suportada pode reutilizar a computação intermediária armazenada e cobrar uma taxa de entrada diferente.

O cache de prompt pode reduzir o tempo de processamento e o custo de entradas repetidas, mas não torna toda a solicitação gratuita. Os provedores diferem em elegibilidade, retenção, gravações e cobrança. Este guia explica os conceitos e usa documentação oficial OpenAI, Google e Meta verificada em 20 de novembro de 2026 para exemplos concretos.

Qual cache de prompt realmente reutiliza

Durante a inferência, um modelo constrói estados de atenção intermediários, geralmente chamados de estados de valor-chave. Um cache de prompt preserva a computação reutilizável para um prefixo correspondente: o início inalterado da entrada renderizada. A API ainda processa novas entradas e gera uma nova resposta.

OpenAI descreve explicitamente seu cache de prompt como armazenando tensores de valor-chave em vez dos próprios tokens. Essa distinção explica o mecanismo, mas não elimina a necessidade de rever os termos de retenção e tratamento de dados de um fornecedor.

Cache de prompt versus cache de resposta

O cache de resposta armazena uma resposta completa em seu aplicativo e a retorna novamente quando apropriado. O cache de prompt reutiliza a computação de entrada enquanto produz uma nova resposta. Uma pergunta específica do cliente pode, portanto, compartilhar instruções armazenadas em cache sem compartilhar a resposta final do cliente.

Os caches de resposta do aplicativo exigem suas próprias verificações de atualização, autorização e personalização. Não retorne a resposta de um usuário para outro apenas porque as solicitações são semelhantes. Nenhum dos caches deve se tornar um atalho para o controle de acesso.

O que são tokens de entrada armazenados em cache nos relatórios de uso?

Os tokens de entrada armazenados em cache são a parte da entrada reconhecida como servida por um cache elegível. Eles normalmente são incluídos na entrada total, e não em um bloco adicional de tokens para adicionar a esse total. Verifique o esquema de uso do provedor antes de calcular as cobranças.

Por exemplo, se a entrada total for de 12.000 tokens e 10.000 forem leituras em cache, os 2.000 restantes não serão leituras em cache. Dependendo do comportamento do provedor, alguns desses tokens restantes podem usar uma taxa de entrada comum e outros, uma taxa de gravação. A produção é contabilizada separadamente.

Um acerto no cache não é garantido

Texto repetido é apenas parte da elegibilidade. O modelo selecionado, a estrutura do prefixo, as configurações relevantes, o tempo de vida do cache e o roteamento podem afetar a reutilização. Inspecione o uso relatado em vez de assumir que cada segunda solicitação está totalmente armazenada em cache.

Um ID de conversa também não é uma garantia. O histórico de conversas pode preservar um prefixo compartilhado, mas alterar ou compactar o conteúdo anterior pode alterar o ponto a partir do qual a reutilização é possível.

Como funcionam os prefixos e pontos de interrupção

Instruções estáveis, definições de ferramentas, documentos de referência e conversas anteriores podem formar um prefixo reutilizável. Coloque os detalhes alterados do usuário após o material estável, onde a estrutura de solicitação da API permitir. Evite adicionar valores aleatórios ou carimbos de data/hora no início desnecessariamente.

Alguns provedores escolhem limites de cache implicitamente. Outros oferecem suporte a pontos de interrupção explícitos ou objetos de cache. Esses mecanismos não são intercambiáveis: um campo válido para um modelo pode não ser suportado por outro.

Exemplo de elegibilidade OpenAI

OpenAI documenta um prefixo mínimo armazenável em cache de 1.024 tokens para GPT-5.6 e posteriores, excluindo o conteúdo oculto do sistema desse mínimo. Os modelos suportados podem usar cache implícito e controles explícitos documentados permitem escolher pontos de interrupção para conteúdo qualificado.

Não preencha um prompt curto apenas para atingir um limite sem calcular o custo extra de insumos. Um cache útil precisa de material elegível repetido e reutilização suficiente para justificar qualquer prêmio de gravação.

Calcule os custos de cache, incluindo gravações

As taxas padrão de contexto curto GPT-6.2 Sol são US$ 2 por milhão de tokens de entrada comuns, US$ 0,10 por milhão de leituras em cache e US$ 2,50 por milhão de gravações em cache de 30 minutos. Uma gravação de doze horas custa US$ 5 por milhão de tokens.

OpenAI afirma que a taxa de gravação não é uma taxa aditiva: um token usa a taxa ordinária, de leitura ou gravação aplicável. Cobrar uma taxa normal completa e uma taxa de gravação completa para o mesmo token superestimaria o custo documentado.

Exemplo resolvido: um prefixo de documento reutilizável

Suponha que um prefixo de 10.000 tokens seja gravado uma vez com retenção de 30 minutos e depois totalmente reutilizado nove vezes. A gravação custa US$ 0,025 e as nove leituras juntas custam US$ 0,009. O custo total do prefixo é de US$ 0,034, em comparação com US$ 0,20 para dez passes sem cache à taxa normal.

Isso representa uma redução de 83% para este prefixo sob essas suposições. Não é uma redução de 83% para a conta completa do aplicativo. Novas entradas, saídas, ferramentas, solicitações com falha e outros serviços do usuário são excluídos.

O ponto de equilíbrio depende da escolha de retenção

Com as mesmas taxas, uma gravação de 30 minutos mais uma leitura custa US$ 0,026 para esse prefixo, contra US$ 0,04 para duas passagens normais. Uma gravação de doze horas mais uma leitura custa US$ 0,051, portanto, apenas dois usos não recuperariam seu custo de gravação mais alto.

Escolha a retenção com base no tempo de reutilização observado. Uma retenção mais longa pode ser valiosa para um prefixo reutilizado com frequência, mas um desperdício para material visto apenas uma vez. Mudanças no modelo e na camada de processamento podem alterar a aritmética.

Diferenças de provedor que importam

Gemini 4 Neon: somente cache implícito

O Google documenta o cache implícito para Gemini 4 Neon e diz explicitamente que o cache explícito não é compatível. Seu guia de atualização lista um mínimo de 4.096 tokens e um preço de entrada em cache padrão de US$ 0,15 por milhão de tokens versus US$ 3 de entrada normal.

Esse desconto de 95% na entrada se aplica aos tokens reais em cache, e não a todas as entradas por padrão. Os preços do Google também cobram pensamento de produção e conteúdo interno relevante, conforme documentado. Não transfira uma fórmula de gravação de cache OpenAI para Neon sem evidências específicas do provedor.

Muse Ember: comprimento do contexto define o nível

Meta lista a entrada em cache do Muse Ember a US$ 0,004 por milhão de tokens para solicitações de até 200.000 tokens de entrada e US$ 0,012 acima desse limite. Os tokens armazenados em cache ainda contam para o comprimento de entrada que determina a camada.

O nível mais alto se aplica à solicitação completa quando o limite é excedido. Um grande histórico em cache pode, portanto, afetar as taxas mesmo que o preço de leitura seja baixo. Utilize o contexto total do pedido ao selecionar o nível de preços.

Razões comuns para baixa reutilização de cache

Alterar o modelo ou esquema da ferramenta pode alterar o prefixo renderizado. Reordenar documentos, inserir conteúdo variável antecipadamente ou reescrever mensagens anteriores também pode reduzir a reutilização. A expiração do cache e o comportamento de roteamento criam limites adicionais mesmo quando o texto do aplicativo parece inalterado.

Para GPT-6.2, o OpenAI documenta que as solicitações padrão fora das janelas de segundo plano com desconto não podem reutilizar entradas de cache criadas por solicitações em segundo plano de duas ou oito horas. Rastreie essas rotas de processamento separadamente em vez de esperar que um trabalho agendado aqueça cada solicitação interativa.

Depure uma variável por vez

Compare solicitações idênticas e registre o uso do cache, gravações, ID do modelo, rota e latência. Em seguida, varie a ordem dos documentos ou uma configuração deliberadamente. Um experimento controlado é mais informativo do que alterar vários componentes do prompt simultaneamente.

Mantenha uma linha de base sem cache para testes de qualidade. A reutilização da computação imediata não deve se tornar uma desculpa para deixar instruções desatualizadas ou materiais de origem obsoletos em um fluxo de trabalho de produção.

Monitore o uso de tokens e a redução de custos de API

Rastreie leituras em cache como uma parcela de entrada qualificada, volume de gravação, entrada comum, saída e gasto total por tarefa aceita. Uma alta taxa de leitura pode coexistir com uma conta cara se os loops de saída ou de ferramentas do agente dominarem.

Reconcilie estimativas com faturas e documente os campos específicos do fornecedor usados. Se uma plataforma unificada de API de IA como OLEToken for sua camada de integração, verifique se ela preserva os controles de cache, relata o uso com precisão e aplica as mesmas regras de preços do acesso direto.

Perguntas frequentes

Os tokens em cache são gratuitos?

Geralmente eles têm uma taxa reduzida em vez de custo zero. As taxas variam de acordo com o modelo, nível de processamento e provedor. Gravações ou armazenamento podem ter regras separadas.

O cache reutiliza a resposta anterior?

O cache de prompt reutiliza a computação de entrada, não a resposta final. O cache de resposta do aplicativo é um mecanismo diferente com requisitos separados de correção e segurança.

Posso garantir um acerto no cache repetindo um prompt?

Não. O texto correspondente também deve atender às condições de elegibilidade, tempo de vida, configurações e roteamento do provedor. Inspecione o uso real do cache.

Todo aplicativo deve usar cache explícito?

Somente onde for suportado e útil. Alguns modelos, incluindo Gemini 4 Neon, suportam apenas cache implícito. Escolha o mecanismo documentado e meça sua economia.

Próxima etapa

Identifique um prefixo repetido com frequência e compare os custos medidos antes e depois da reestruturação. Revise OLEToken se precisar de uma API unificada e confirme o suporte de cache para cada modelo e rota selecionados.

Fontes