Kembali ke blog

Tutorial

Apakah Token Cache? Panduan Lengkap untuk Caching Prompt untuk API LLM

OleToken Blog · 8 minit bacaan · 20 November 2026

Token cache ialah token input yang keadaan segeranya yang dikira sebelum ini boleh digunakan semula untuk permintaan yang layak. Daripada memproses permulaan gesaan yang sama dari awal, API LLM yang disokong boleh menggunakan semula pengiraan perantaraan yang disimpan dan mengenakan kadar input yang berbeza.

Caching segera boleh mengurangkan masa pemprosesan dan kos input berulang, tetapi ia tidak menjadikan keseluruhan permintaan percuma. Penyedia berbeza dalam kelayakan, pengekalan, penulisan dan pengebilan. Panduan ini menerangkan konsep dan menggunakan dokumentasi OpenAI, Google dan Meta rasmi yang disemak pada 20 November 2026 untuk contoh konkrit.

Apakah cache pantas yang sebenarnya digunakan semula

Semasa inferens, model membina keadaan perhatian pertengahan, sering dipanggil keadaan nilai kunci. Cache segera mengekalkan pengiraan boleh guna semula untuk awalan yang sepadan: permulaan input yang tidak berubah. API masih memproses input baharu dan menjana respons baharu.

OpenAI secara eksplisit menerangkan cache segeranya sebagai menyimpan tensor nilai kunci dan bukannya token itu sendiri. Perbezaan itu menerangkan mekanisme, tetapi ia tidak menghilangkan keperluan untuk menyemak pengekalan dan syarat pengendalian data pembekal.

Caching segera berbanding caching respons

Caching respons menyimpan jawapan yang lengkap dalam aplikasi anda dan mengembalikannya semula apabila sesuai. Caching segera menggunakan semula pengiraan input sambil menghasilkan jawapan baharu. Oleh itu, soalan khusus pelanggan boleh berkongsi arahan cache tanpa berkongsi respons akhir pelanggan.

Cache respons aplikasi memerlukan kesegaran, kebenaran dan semakan pemperibadian mereka sendiri. Jangan kembalikan satu jawapan pengguna kepada yang lain hanya kerana gesaan mereka kelihatan serupa. Cache tidak boleh menjadi jalan pintas sekitar kawalan akses.

Apakah token input cache dalam laporan penggunaan?

Token input cache ialah bahagian input yang diiktiraf sebagai disampaikan daripada cache yang layak. Ia biasanya disertakan dalam jumlah input, bukan blok tambahan token untuk ditambah kepada jumlah itu. Sahkan skema penggunaan pembekal sebelum mengira caj.

Sebagai contoh, jika jumlah input ialah 12,000 token dan 10,000 adalah bacaan cache, baki 2,000 lagi bukan bacaan cache. Bergantung pada gelagat pembekal, sesetengah token yang tinggal itu mungkin menggunakan kadar input biasa dan yang lain kadar tulis. Output diambil kira secara berasingan.

Hit cache tidak dijamin

Teks berulang hanyalah sebahagian daripada kelayakan. Model yang dipilih, struktur awalan, tetapan yang berkaitan, jangka hayat cache dan penghalaan boleh menjejaskan penggunaan semula. Periksa penggunaan yang dilaporkan daripada menganggap setiap permintaan kedua dicache sepenuhnya.

ID perbualan juga bukan jaminan. Sejarah perbualan boleh mengekalkan awalan yang dikongsi, tetapi menukar atau memampatkan kandungan terdahulu boleh mengubah titik yang boleh digunakan semula.

Cara awalan dan titik putus berfungsi

Arahan yang stabil, definisi alat, dokumen rujukan dan giliran perbualan yang lebih awal boleh membentuk awalan yang boleh digunakan semula. Letakkan butiran pengguna yang berubah selepas bahan yang stabil di mana struktur permintaan API membenarkannya. Elakkan menambah nilai rawak atau cap masa pada permulaan tanpa perlu.

Sesetengah pembekal memilih sempadan cache secara tersirat. Yang lain menyokong titik putus eksplisit atau objek cache. Mekanisme ini tidak boleh ditukar ganti: medan yang sah untuk satu model boleh tidak disokong oleh yang lain.

Contoh kelayakan OpenAI

OpenAI mendokumenkan awalan boleh cache minimum sebanyak 1,024 token untuk GPT-5.6 dan lebih baru, tidak termasuk kandungan sistem tersembunyinya daripada minimum itu. Model yang disokong boleh menggunakan caching tersirat dan kawalan eksplisit yang didokumenkan membenarkan pemilihan titik putus untuk kandungan yang layak.

Jangan masukkan gesaan pendek semata-mata untuk mencapai ambang tanpa mengira kos input tambahan. Cache yang berguna memerlukan bahan layak berulang dan penggunaan semula yang mencukupi untuk mewajarkan sebarang premium tulis.

Kira kos cache, termasuk penulisan

Konteks pendek GPT-6.2 Sol Kadar standard ialah $2 setiap juta token input biasa, $0.10 setiap juta bacaan cache dan $2.50 setiap juta penulisan cache 30 minit. Penulisan dua belas jam berharga $5 setiap juta token.

OpenAI menyatakan bahawa kadar tulis bukanlah bayaran tambahan: token menggunakan kadar biasa, baca atau tulis yang berkenaan. Mengecas kedua-dua kadar biasa penuh dan kadar tulis penuh untuk token yang sama akan melebihkan kos yang didokumenkan.

Contoh berfungsi: awalan dokumen boleh guna semula

Andaikan awalan 10,000 token ditulis sekali dengan pengekalan 30 minit dan kemudian digunakan semula sepenuhnya sembilan kali. Tulisan berharga $0.025, dan sembilan bacaan bersama berharga $0.009. Jumlah kos awalan ialah $0.034, berbanding $0.20 untuk sepuluh pas tanpa cache pada kadar biasa.

Itu ialah pengurangan 83% untuk awalan ini di bawah andaian ini. Ia bukan pengurangan 83% untuk bil permohonan yang lengkap. Input, output, alatan, permintaan yang gagal dan perkhidmatan lain pengguna baharu dikecualikan.

Pulangan modal bergantung pada pilihan pengekalan

Pada kadar yang sama, satu penulisan 30 minit ditambah satu bacaan berharga $0.026 untuk awalan itu, berbanding $0.04 untuk dua hantaran biasa. Kos tulis dua belas jam tambah satu bacaan berharga $0.051, jadi dua penggunaan sahaja tidak akan memulihkan kos tulis yang lebih tinggi.

Pilih pengekalan berdasarkan pemasaan penggunaan semula yang diperhatikan. Pengekalan yang lebih lama boleh menjadi berharga untuk awalan yang sering digunakan semula tetapi membazir untuk bahan yang dilihat sekali sahaja. Perubahan model dan peringkat pemprosesan boleh mengubah aritmetik.

Perbezaan pembekal yang penting

Gemini 4 Neon: caching tersirat sahaja

Google mendokumenkan caching tersirat untuk Gemini 4 Neon dan dengan jelas mengatakan caching eksplisit tidak disokong. Panduan kemas kininya menyenaraikan harga minimum 4,096 token dan harga input cache Standard sebanyak $0.15 setiap juta token berbanding $3 input biasa.

Diskaun input 95% itu digunakan untuk token cache sebenar, bukan semua input secara lalai. Harga Google juga mengebilkan pemikiran output dan kandungan asas dalaman yang berkaitan seperti yang didokumenkan. Jangan pindahkan formula penulisan cache OpenAI ke Neon tanpa bukti khusus pembekal.

Muse Ember: panjang konteks menetapkan peringkat

Meta menyenaraikan input cache Muse Ember pada $0.004 setiap juta token untuk permintaan sehingga 200,000 token input dan $0.012 melebihi ambang tersebut. Token dicache masih dikira dalam panjang input yang menentukan peringkat.

Peringkat yang lebih tinggi digunakan untuk permintaan penuh apabila ambang melebihi. Oleh itu, sejarah cache yang besar boleh menjejaskan kadar walaupun harga bacaannya rendah. Gunakan jumlah konteks permintaan apabila memilih peringkat harga.

Sebab biasa untuk penggunaan semula cache rendah

Menukar model atau skema alat boleh mengubah awalan yang diberikan. Menyusun semula dokumen, memasukkan kandungan berubah lebih awal atau menulis semula mesej sebelumnya juga boleh mengurangkan penggunaan semula. Cache tamat tempoh dan tingkah laku penghalaan mewujudkan had tambahan walaupun apabila teks aplikasi kelihatan tidak berubah.

Untuk GPT-6.2, dokumen OpenAI yang diminta Standard di luar tetingkap latar belakang diskaun tidak boleh menggunakan semula entri cache yang dibuat oleh permintaan latar belakang dua jam atau lapan jam. Jejaki laluan pemprosesan ini secara berasingan dan bukannya mengharapkan kerja berjadual untuk memanaskan setiap permintaan interaktif.

Nyahpepijat satu pembolehubah pada satu masa

Bandingkan permintaan yang serupa dan rekod penggunaan cache, penulisan, ID model, laluan dan kependaman. Kemudian ubah susunan dokumen atau tetapan dengan sengaja. Percubaan terkawal adalah lebih bermaklumat daripada menukar beberapa komponen segera secara serentak.

Kekalkan garis dasar yang tidak dicache untuk ujian kualiti. Menggunakan semula pengiraan segera tidak seharusnya menjadi alasan untuk meninggalkan arahan yang lapuk atau bahan sumber yang usang dalam aliran kerja pengeluaran.

Pantau penggunaan token dan pengurangan kos API

Jejaki bacaan cache sebagai bahagian input yang layak, volum tulis, input biasa, output dan jumlah perbelanjaan bagi setiap tugas yang diterima. Nisbah bacaan yang tinggi boleh wujud bersama dengan bil yang mahal jika gelung alat output atau ejen menguasai.

Selaraskan anggaran dengan invois dan dokumenkan medan khusus pembekal yang digunakan. Jika platform API AI bersatu seperti OLEToken ialah lapisan penyepaduan anda, sahkan sama ada ia mengekalkan kawalan cache, melaporkan penggunaan dengan tepat dan menggunakan peraturan harga yang sama seperti akses langsung.

Soalan Lazim

Adakah token cache percuma?

Biasanya mereka mempunyai kadar yang dikurangkan daripada kos sifar. Kadar berbeza mengikut model, peringkat pemprosesan dan pembekal. Tulisan atau storan mungkin mempunyai peraturan yang berasingan.

Adakah caching menggunakan semula jawapan sebelumnya?

Caching segera menggunakan semula pengiraan input, bukan jawapan akhir. Caching tindak balas aplikasi ialah mekanisme berbeza dengan ketepatan dan keperluan keselamatan yang berasingan.

Bolehkah saya menjamin cache terkena dengan mengulang gesaan?

Tidak. Teks yang sepadan juga mesti memenuhi kelayakan, seumur hidup, tetapan dan syarat penghalaan pembekal. Periksa penggunaan cache sebenar.

Patutkah setiap aplikasi menggunakan caching eksplisit?

Hanya di mana ia disokong dan berguna. Sesetengah model, termasuk Gemini 4 Neon, menyokong caching tersirat sahaja. Pilih mekanisme yang didokumenkan dan ukur ekonominya.

Langkah seterusnya

Kenal pasti satu awalan yang kerap diulang dan bandingkan kos yang diukur sebelum dan selepas penstrukturan semula. Semak OLEToken jika anda memerlukan API bersatu dan sahkan sokongan cache untuk setiap model dan laluan yang dipilih.

Sumber