Token yang di-cache adalah token masukan yang status promptnya telah dihitung sebelumnya dan dapat digunakan kembali untuk permintaan yang memenuhi syarat. Daripada memproses awal perintah yang sama dari awal, LLM API yang didukung dapat menggunakan kembali komputasi perantara yang tersimpan dan membebankan tingkat input yang berbeda.
Caching yang cepat dapat mengurangi waktu pemrosesan dan biaya input berulang, namun tidak membuat seluruh permintaan menjadi gratis. Penyedia berbeda dalam kelayakan, retensi, penulisan, dan penagihan. Panduan ini menjelaskan konsep dan menggunakan dokumentasi resmi OpenAI, Google, dan Meta yang diperiksa pada 20 November 2026 untuk contoh nyata.
Cache prompt apa yang sebenarnya digunakan kembali
Selama inferensi, model membangun status perhatian perantara, yang sering disebut status nilai kunci. Cache prompt mempertahankan komputasi yang dapat digunakan kembali untuk awalan yang cocok: awal input yang diberikan tidak berubah. API masih memproses masukan baru dan menghasilkan respons baru.
OpenAI secara eksplisit mendeskripsikan cache cepatnya sebagai penyimpanan tensor nilai kunci, bukan token itu sendiri. Perbedaan tersebut menjelaskan mekanismenya, namun tidak menghilangkan kebutuhan untuk meninjau persyaratan retensi dan penanganan data penyedia.
Cache cepat versus caching respons
Cache respons menyimpan jawaban lengkap dalam aplikasi Anda dan mengembalikannya lagi bila diperlukan. Caching cepat menggunakan kembali penghitungan masukan sambil menghasilkan jawaban baru. Oleh karena itu, pertanyaan khusus pelanggan dapat membagikan instruksi yang disimpan dalam cache tanpa membagikan respons akhir pelanggan.
Cache respons aplikasi memerlukan pemeriksaan kesegaran, otorisasi, dan personalisasinya sendiri. Jangan mengembalikan jawaban satu pengguna ke pengguna lain hanya karena perintahnya terlihat serupa. Cache tidak boleh menjadi jalan pintas dalam kontrol akses.
Apa yang dimaksud dengan token masukan yang di-cache dalam laporan penggunaan?
Token masukan yang disimpan dalam cache adalah bagian masukan yang dikenali sebagai disajikan dari cache yang memenuhi syarat. Mereka biasanya disertakan dalam total masukan, bukan blok token tambahan untuk ditambahkan ke total tersebut. Verifikasi skema penggunaan penyedia sebelum menghitung biaya.
Misalnya, jika total input adalah 12.000 token dan 10.000 merupakan pembacaan yang di-cache, 2.000 sisanya tidak merupakan pembacaan yang di-cache. Bergantung pada perilaku penyedia, beberapa token yang tersisa mungkin menggunakan kecepatan input biasa dan yang lainnya menggunakan kecepatan tulis. Output dicatat secara terpisah.
Serangan cache tidak dijamin
Teks yang diulang hanyalah sebagian dari kelayakan. Model yang dipilih, struktur awalan, pengaturan yang relevan, masa pakai cache, dan perutean dapat memengaruhi penggunaan kembali. Periksa penggunaan yang dilaporkan daripada berasumsi setiap permintaan kedua di-cache sepenuhnya.
ID percakapan juga bukan jaminan. Riwayat percakapan dapat mempertahankan awalan bersama, namun mengubah atau memadatkan konten sebelumnya dapat mengubah titik dimana penggunaan kembali dapat dilakukan.
Cara kerja prefiks dan breakpoint
Instruksi yang stabil, definisi alat, dokumen referensi, dan percakapan sebelumnya dapat membentuk awalan yang dapat digunakan kembali. Tempatkan perubahan detail pengguna setelah materi stabil di mana struktur permintaan API mengizinkannya. Hindari menambahkan nilai acak atau stempel waktu di awal jika tidak perlu.
Beberapa penyedia memilih batas cache secara implisit. Lainnya mendukung breakpoint eksplisit atau objek cache. Mekanisme ini tidak dapat dipertukarkan: bidang yang valid untuk satu model mungkin tidak didukung oleh model lain.
Contoh kelayakan OpenAI
OpenAI mendokumentasikan awalan minimum yang dapat di-cache sebesar 1.024 token untuk GPT-5.6 dan yang lebih baru, tidak termasuk konten sistem tersembunyinya dari jumlah minimum tersebut. Model yang didukung dapat menggunakan cache implisit, dan kontrol eksplisit yang terdokumentasi memungkinkan pemilihan titik henti sementara untuk konten yang memenuhi syarat.
Jangan memberikan perintah singkat hanya untuk mencapai ambang batas tanpa memperhitungkan biaya masukan tambahan. Cache yang berguna memerlukan materi berulang yang memenuhi syarat dan penggunaan kembali yang cukup untuk membenarkan setiap premium penulisan.
Hitung biaya cache, termasuk penulisan
GPT-6.2 Sol konteks pendek Tarif standar adalah $2 per juta token masukan biasa, $0,10 per juta pembacaan cache, dan $2,50 per juta penulisan cache 30 menit. Penulisan dua belas jam berharga $5 per juta token.
OpenAI menyatakan bahwa tarif tulis bukanlah biaya tambahan: token menggunakan tarif biasa, baca, atau tulis yang berlaku. Membebankan tarif biasa penuh dan tarif tulis penuh untuk token yang sama akan melebih-lebihkan biaya yang didokumentasikan.
Contoh yang berhasil: awalan dokumen yang dapat digunakan kembali
Asumsikan awalan 10.000 token ditulis satu kali dengan retensi 30 menit dan kemudian digunakan kembali sepenuhnya sebanyak sembilan kali. Biaya penulisannya $0,025, dan sembilan pembacaan bersama-sama berharga $0,009. Total biaya awalan adalah $0,034, dibandingkan dengan $0,20 untuk sepuluh pass yang tidak di-cache dengan tarif biasa.
Itu adalah pengurangan 83% untuk awalan ini berdasarkan asumsi ini. Ini bukan pengurangan 83% untuk keseluruhan tagihan aplikasi. Masukan pengguna baru, keluaran, alat, permintaan yang gagal, dan layanan lainnya tidak termasuk.
Titik impas tergantung pada pilihan retensi
Dengan tarif yang sama, satu kali tulis 30 menit ditambah satu kali baca dikenakan biaya $0,026 untuk awalan tersebut, dibandingkan $0,04 untuk dua pass biasa. Penulisan selama dua belas jam ditambah satu kali pembacaan memerlukan biaya $0,051, jadi dua penggunaan saja tidak akan memulihkan biaya penulisan yang lebih tinggi.
Pilih retensi berdasarkan waktu penggunaan kembali yang diamati. Retensi yang lebih lama dapat bermanfaat untuk prefiks yang sering digunakan kembali, namun akan sia-sia jika material hanya dilihat sekali. Perubahan model dan tingkat pemrosesan dapat mengubah aritmatika.
Perbedaan penyedia itu penting
Gemini 4 Neon: hanya cache implisit
Google mendokumentasikan caching implisit untuk Gemini 4 Neon dan secara eksplisit mengatakan caching eksplisit tidak didukung. Panduan pembaruannya mencantumkan minimum 4.096 token dan harga input cache Standar sebesar $0,15 per juta token versus $3 input biasa.
Diskon masukan sebesar 95% berlaku untuk token cache aktual, tidak semua masukan secara default. Penetapan harga Google juga memperhitungkan pemikiran keluaran dan konten dasar internal yang relevan seperti yang didokumentasikan. Jangan mentransfer formula penulisan cache OpenAI ke Neon tanpa bukti khusus penyedia.
Muse Ember: panjang konteks menentukan tingkatannya
Meta mencantumkan masukan cache Muse Ember sebesar $0,004 per juta token untuk permintaan hingga 200.000 token masukan dan $0,012 di atas ambang batas tersebut. Token yang di-cache masih diperhitungkan dalam panjang input yang menentukan tingkat.
Tingkat yang lebih tinggi berlaku untuk permintaan penuh ketika ambang batas terlampaui. Oleh karena itu, riwayat cache yang besar dapat memengaruhi tarif meskipun harga bacanya rendah. Gunakan konteks permintaan total saat memilih tingkat harga.
Alasan umum penggunaan kembali cache yang rendah
Mengubah model atau skema alat dapat mengubah awalan yang dirender. Menyusun ulang dokumen, memasukkan konten variabel lebih awal, atau menulis ulang pesan sebelumnya juga dapat mengurangi penggunaan kembali. Kedaluwarsa cache dan perilaku perutean menciptakan batasan tambahan bahkan ketika teks aplikasi tampak tidak berubah.
Untuk GPT-6.2, dokumen OpenAI yang diminta Standar di luar jendela latar belakang yang didiskon tidak dapat menggunakan kembali entri cache yang dibuat oleh permintaan latar belakang dua jam atau delapan jam. Lacak rute pemrosesan ini secara terpisah daripada mengharapkan pekerjaan terjadwal untuk memenuhi setiap permintaan interaktif.
Debug satu variabel dalam satu waktu
Bandingkan permintaan yang identik dan catat penggunaan cache, penulisan, ID model, rute, dan latensi. Kemudian ubah urutan dokumen atau pengaturan dengan sengaja. Eksperimen terkontrol lebih informatif daripada mengubah beberapa komponen cepat secara bersamaan.
Pertahankan garis dasar yang tidak di-cache untuk pengujian kualitas. Penggunaan kembali komputasi cepat tidak boleh menjadi alasan untuk meninggalkan instruksi yang sudah ketinggalan zaman atau materi sumber yang usang dalam alur kerja produksi.
Pantau penggunaan token dan pengurangan biaya API
Lacak pembacaan yang di-cache sebagai bagian dari input yang memenuhi syarat, volume tulis, input biasa, output, dan total pembelanjaan per tugas yang diterima. Rasio baca yang tinggi dapat terjadi bersamaan dengan tagihan yang mahal jika putaran alat keluaran atau agen mendominasi.
Rekonsiliasi perkiraan dengan faktur dan dokumentasikan bidang khusus penyedia yang digunakan. Jika platform AI API terpadu seperti OLEToken adalah lapisan integrasi Anda, verifikasi apakah platform tersebut mempertahankan kontrol cache, melaporkan penggunaan secara akurat, dan menerapkan aturan penetapan harga yang sama seperti akses langsung.
Pertanyaan Umum
Apakah token yang di-cache gratis?
Biasanya mereka memiliki tarif yang lebih rendah daripada biaya nol. Tarif bervariasi berdasarkan model, tingkat pemrosesan, dan penyedia. Penulisan atau penyimpanan mungkin memiliki aturan terpisah.
Apakah caching menggunakan kembali jawaban sebelumnya?
Caching cepat menggunakan kembali penghitungan masukan, bukan jawaban akhir. Caching respons aplikasi adalah mekanisme berbeda dengan persyaratan kebenaran dan keamanan terpisah.
Bisakah saya menjamin cache tercapai dengan mengulangi perintah?
Tidak. Teks yang cocok juga harus memenuhi kelayakan, masa pakai, setelan, dan ketentuan perutean penyedia. Periksa penggunaan cache yang sebenarnya.
Haruskah setiap aplikasi menggunakan cache eksplisit?
Hanya jika didukung dan berguna. Beberapa model, termasuk Gemini 4 Neon, hanya mendukung caching implisit. Pilih mekanisme yang terdokumentasi dan ukur keekonomiannya.
Langkah selanjutnya
Identifikasi satu awalan yang sering diulang dan bandingkan biaya terukur sebelum dan sesudah restrukturisasi. Tinjau OLEToken jika Anda memerlukan API terpadu, dan konfirmasi dukungan cache untuk setiap model dan rute yang dipilih.

