โทเค็นแคชเป็นโทเค็นอินพุตที่สถานะพร้อมท์ที่คำนวณไว้ก่อนหน้านี้สามารถนำมาใช้ซ้ำได้สำหรับคำขอที่มีสิทธิ์ แทนที่จะประมวลผลจุดเริ่มต้นเดียวกันของพรอมต์ตั้งแต่ต้น LLM API ที่รองรับสามารถนำการคำนวณระดับกลางที่เก็บไว้กลับมาใช้ใหม่และเรียกเก็บเงินจากอัตราอินพุตอื่น
การแคชพร้อมท์สามารถลดเวลาการประมวลผลและต้นทุนการป้อนข้อมูลซ้ำได้ แต่ไม่ได้ทำให้คำขอทั้งหมดฟรี ผู้ให้บริการมีความแตกต่างกันในด้านคุณสมบัติ การเก็บรักษา การเขียน และการเรียกเก็บเงิน คู่มือนี้จะอธิบายแนวคิดและใช้เอกสาร OpenAI, Google และ Meta อย่างเป็นทางการที่ได้รับการตรวจสอบเมื่อวันที่ 20 พฤศจิกายน 2026 เพื่อดูตัวอย่างที่เป็นรูปธรรม
การแคชพร้อมท์อะไรที่ใช้ซ้ำได้จริง
ในระหว่างการอนุมาน แบบจำลองจะสร้างสถานะความสนใจระดับกลาง ซึ่งมักเรียกว่าสถานะคีย์-ค่า แคชพร้อมท์จะรักษาการคำนวณที่สามารถนำมาใช้ซ้ำได้สำหรับคำนำหน้าที่ตรงกัน: จุดเริ่มต้นของอินพุตที่แสดงผลไม่เปลี่ยนแปลง API ยังคงประมวลผลอินพุตใหม่และสร้างการตอบกลับใหม่
OpenAI อธิบายแคชพร้อมท์อย่างชัดเจนว่าเป็นการจัดเก็บเทนเซอร์คีย์-ค่ามากกว่าที่จะเก็บโทเค็นเอง ความแตกต่างดังกล่าวอธิบายถึงกลไกนี้ แต่ไม่ได้ขจัดความจำเป็นในการตรวจสอบข้อกำหนดการเก็บรักษาและการจัดการข้อมูลของผู้ให้บริการ
การแคชพร้อมท์กับการแคชการตอบสนอง
การแคชการตอบกลับจะจัดเก็บคำตอบที่ครบถ้วนไว้ในใบสมัครของคุณ และส่งคืนอีกครั้งตามความเหมาะสม การแคชพร้อมท์จะนำการคำนวณอินพุตกลับมาใช้ใหม่ในขณะที่สร้างคำตอบใหม่ คำถามเฉพาะของลูกค้าจึงสามารถแบ่งปันคำแนะนำที่แคชไว้ได้โดยไม่ต้องแบ่งปันคำตอบสุดท้ายของลูกค้า
แคชการตอบสนองของแอปพลิเคชันจำเป็นต้องมีการตรวจสอบความใหม่ การอนุญาต และการตั้งค่าส่วนบุคคลของตัวเอง อย่าตอบกลับคำตอบของผู้ใช้รายหนึ่งไปยังอีกรายหนึ่งเพียงเพราะข้อความแจ้งของพวกเขาดูคล้ายกัน แคชไม่ควรกลายเป็นทางลัดในการควบคุมการเข้าถึง
โทเค็นอินพุตที่แคชไว้ในรายงานการใช้งานคืออะไร
โทเค็นอินพุตที่แคชไว้คือส่วนของอินพุตที่รับรู้ว่าให้บริการจากแคชที่มีสิทธิ์ โดยทั่วไปจะรวมอยู่ในอินพุตทั้งหมด ไม่ใช่บล็อกโทเค็นเพิ่มเติมเพื่อเพิ่มลงในผลรวมนั้น ตรวจสอบสคีมาการใช้งานของผู้ให้บริการก่อนที่จะคำนวณค่าบริการ
ตัวอย่างเช่น หากอินพุตทั้งหมดคือ 12,000 โทเค็นและ 10,000 การอ่านที่แคชไว้ ส่วนที่เหลืออีก 2,000 โทเค็นจะไม่ถูกอ่านด้วยแคช ขึ้นอยู่กับพฤติกรรมของผู้ให้บริการ โทเค็นที่เหลือบางส่วนอาจใช้อัตราการป้อนข้อมูลปกติและอัตราการเขียนอื่นๆ ผลผลิตจะถูกคิดแยกกัน
ไม่รับประกันการเข้าถึงแคช
ข้อความซ้ำเป็นเพียงส่วนหนึ่งของคุณสมบัติเท่านั้น โมเดล โครงสร้างคำนำหน้า การตั้งค่าที่เกี่ยวข้อง อายุการใช้งานแคช และการกำหนดเส้นทางที่เลือกอาจส่งผลต่อการนำกลับมาใช้ใหม่ได้ ตรวจสอบการใช้งานที่รายงาน แทนที่จะถือว่าคำขอทุกวินาทีถูกแคชไว้อย่างสมบูรณ์
รหัสการสนทนาก็ไม่รับประกันเช่นกัน ประวัติการสนทนาสามารถรักษาคำนำหน้าที่ใช้ร่วมกันได้ แต่การเปลี่ยนแปลงหรือการกระชับเนื้อหาก่อนหน้านี้สามารถเปลี่ยนจุดที่สามารถนำกลับมาใช้ใหม่ได้
คำนำหน้าและเบรกพอยต์ทำงานอย่างไร
คำแนะนำที่มั่นคง คำจำกัดความของเครื่องมือ เอกสารอ้างอิง และการสนทนาก่อนหน้านี้สามารถสร้างคำนำหน้าที่ใช้ซ้ำได้ วางการเปลี่ยนแปลงรายละเอียดผู้ใช้ไว้หลังเนื้อหาที่เสถียร โดยที่โครงสร้างคำขอของ API อนุญาต หลีกเลี่ยงการเพิ่มค่าสุ่มหรือการประทับเวลาที่จุดเริ่มต้นโดยไม่จำเป็น
ผู้ให้บริการบางรายเลือกขอบเขตแคชโดยปริยาย อื่นๆ รองรับเบรกพอยต์หรือวัตถุแคชที่ชัดเจน กลไกเหล่านี้ไม่สามารถใช้แทนกันได้: ฟิลด์ที่ถูกต้องสำหรับรุ่นหนึ่งอาจไม่รองรับโดยอีกรุ่นหนึ่ง
ตัวอย่างคุณสมบัติ OpenAI
OpenAI บันทึกคำนำหน้าแคชขั้นต่ำ 1,024 โทเค็นสำหรับ GPT-5.6 และใหม่กว่า โดยไม่รวมเนื้อหาระบบที่ซ่อนอยู่จากขั้นต่ำนั้น โมเดลที่รองรับสามารถใช้การแคชโดยนัย และการควบคุมที่ชัดเจนที่บันทึกไว้ช่วยให้สามารถเลือกเบรกพอยต์สำหรับเนื้อหาที่มีสิทธิ์ได้
อย่าใส่พรอมต์สั้นๆ เพียงเพื่อให้ถึงเกณฑ์โดยไม่คำนวณต้นทุนอินพุตเพิ่มเติม แคชที่มีประโยชน์จำเป็นต้องมีเนื้อหาที่เข้าเกณฑ์ซ้ำๆ และการนำกลับมาใช้ใหม่อย่างเพียงพอเพื่อปรับค่าพรีเมียมการเขียนใดๆ
คำนวณต้นทุนแคช รวมถึงการเขียน
อัตรา Standard สำหรับบริบทสั้นของ GPT-6.2 Sol คือ 2 ดอลลาร์ต่อโทเค็นอินพุตทั่วไปหนึ่งล้านโทเค็น, 0.10 ดอลลาร์ต่อโทเค็นอินพุตที่อ่านจากแคชหนึ่งล้านโทเค็น และ 2.50 ดอลลาร์ต่อโทเค็นที่เขียนลงแคชแบบเก็บรักษา 30 นาทีหนึ่งล้านโทเค็น การเขียนลงแคชแบบเก็บรักษา 12 ชั่วโมงมีค่าใช้จ่าย 5 ดอลลาร์ต่อหนึ่งล้านโทเค็น
OpenAI ระบุว่าอัตราการเขียนไม่ใช่ค่าธรรมเนียมเพิ่มเติม: โทเค็นใช้อัตราปกติ การอ่าน หรือการเขียนที่เกี่ยวข้อง การเรียกเก็บเงินทั้งอัตราปกติเต็มจำนวนและอัตราการเขียนเต็มสำหรับโทเค็นเดียวกันจะประเมินค่าต้นทุนที่บันทึกไว้สูงเกินไป
ตัวอย่างการทำงาน: คำนำหน้าเอกสารที่นำมาใช้ซ้ำได้
สมมติว่ามีการเขียนคำนำหน้าโทเค็น 10,000 หนึ่งครั้งโดยคงไว้ 30 นาที แล้วนำมาใช้ใหม่ทั้งหมดเก้าครั้ง การเขียนมีค่าใช้จ่าย 0.025 ดอลลาร์ และการอ่านทั้ง 9 รายการมีค่าใช้จ่าย 0.009 ดอลลาร์ ค่าใช้จ่ายส่วนนำหน้าทั้งหมดอยู่ที่ 0.034 USD เทียบกับ 0.20 USD สำหรับการส่งผ่านที่ไม่แคช 10 ครั้งในอัตราปกติ
นั่นคือการลดลง 83% สำหรับคำนำหน้านี้ภายใต้สมมติฐานเหล่านี้ ไม่ใช่การลดลง 83% สำหรับบิลการสมัครทั้งหมด ไม่รวมอินพุต เอาต์พุต เครื่องมือ คำขอที่ล้มเหลว และบริการอื่นๆ ของผู้ใช้ใหม่
จุดคุ้มทุนขึ้นอยู่กับตัวเลือกการรักษาลูกค้า
ในอัตราเดียวกัน การเขียนลงแคชแบบเก็บรักษา 30 นาทีหนึ่งครั้งและการอ่านหนึ่งครั้งมีค่าใช้จ่าย 0.026 ดอลลาร์สำหรับส่วนคำนำหน้านั้น เทียบกับ 0.04 ดอลลาร์สำหรับการประมวลผลโดยไม่ใช้แคชสองครั้ง การเขียนลงแคชแบบเก็บรักษา 12 ชั่วโมงและการอ่านหนึ่งครั้งมีค่าใช้จ่าย 0.051 ดอลลาร์ ดังนั้นการใช้งานเพียงสองครั้งจึงยังไม่คุ้มกับค่าเขียนที่สูงกว่า
เลือกการเก็บรักษาตามระยะเวลาการใช้ซ้ำที่สังเกตได้ การเก็บรักษาที่นานขึ้นอาจมีค่าสำหรับคำนำหน้าที่ใช้ซ้ำบ่อยๆ แต่จะสิ้นเปลืองวัสดุที่เห็นเพียงครั้งเดียว การเปลี่ยนแปลงแบบจำลองและระดับการประมวลผลอาจเปลี่ยนแปลงเลขคณิต
ความแตกต่างของผู้ให้บริการที่สำคัญ
Gemini 4 Neon: การแคชโดยนัยเท่านั้น
เอกสารของ Google ระบุการแคชโดยนัยสำหรับ Gemini 4 Neon และระบุอย่างชัดเจนว่าไม่รองรับการแคชที่ชัดเจน คู่มือการอัปเดตแสดงรายการราคาขั้นต่ำ 4,096 โทเค็นและราคาอินพุตแคชมาตรฐานที่ 0.15 ดอลลาร์ต่อล้านโทเค็น เทียบกับอินพุตปกติ 3 ดอลลาร์
ส่วนลดอินพุต 95% นั้นใช้กับโทเค็นแคชจริง ไม่ใช่อินพุตทั้งหมดตามค่าเริ่มต้น การกำหนดราคาของ Google ยังเรียกเก็บเงินจากแนวคิดเอาท์พุตและเนื้อหาพื้นฐานภายในที่เกี่ยวข้องตามที่ระบุไว้ในเอกสาร อย่าถ่ายโอนสูตรการเขียนแคชของ OpenAI ไปยัง Neon โดยไม่มีหลักฐานเฉพาะของผู้ให้บริการ
Muse Ember: ความยาวบริบทกำหนดระดับ
Meta แสดงรายการอินพุตที่แคชไว้ของ Muse Ember ที่ 0.004 ดอลลาร์ต่อล้านโทเค็นสำหรับคำขอโทเค็นอินพุตสูงสุด 200,000 รายการและสูงกว่า 0.012 ดอลลาร์เหนือเกณฑ์นั้น โทเค็นที่แคชไว้ยังคงนับรวมกับความยาวอินพุตที่กำหนดระดับ
ระดับที่สูงกว่าจะใช้กับคำขอทั้งหมดเมื่อเกินเกณฑ์ ประวัติแคชขนาดใหญ่อาจส่งผลต่ออัตราแม้ว่าราคาที่อ่านจะต่ำก็ตาม ใช้บริบทคำขอทั้งหมดเมื่อเลือกระดับราคา
สาเหตุทั่วไปของการใช้แคชต่ำ
การเปลี่ยนโมเดลหรือสคีมาเครื่องมือสามารถเปลี่ยนคำนำหน้าที่แสดงผลได้ การเรียงลำดับเอกสารใหม่ การแทรกเนื้อหาที่แปรผันตั้งแต่เนิ่นๆ หรือการเขียนข้อความก่อนหน้าใหม่ยังช่วยลดการใช้ซ้ำได้อีกด้วย การหมดอายุของแคชและพฤติกรรมการกำหนดเส้นทางจะสร้างขีดจำกัดเพิ่มเติม แม้ว่าข้อความของแอปพลิเคชันจะไม่เปลี่ยนแปลงก็ตาม
สำหรับ GPT-6.2 เอกสาร OpenAI ที่คำขอมาตรฐานนอกหน้าต่างพื้นหลังที่มีส่วนลดไม่สามารถใช้ซ้ำรายการแคชที่สร้างโดยคำขอในพื้นหลังสองชั่วโมงหรือแปดชั่วโมงได้ ติดตามเส้นทางการประมวลผลเหล่านี้แยกกัน แทนที่จะคาดหวังงานที่กำหนดเวลาไว้เพื่ออุ่นทุกคำขอเชิงโต้ตอบ
ดีบักตัวแปรทีละตัว
เปรียบเทียบคำขอที่เหมือนกันและบันทึกการใช้งานแคช การเขียน ID โมเดล เส้นทาง และเวลาแฝง จากนั้นจึงจงใจเปลี่ยนแปลงลำดับเอกสารหรือการตั้งค่า การทดลองแบบควบคุมมีข้อมูลมากกว่าการเปลี่ยนส่วนประกอบพร้อมท์หลายรายการพร้อมกัน
รักษาข้อมูลพื้นฐานที่ไม่ถูกแคชไว้สำหรับการทดสอบคุณภาพ การนำการคำนวณทันทีกลับมาใช้ใหม่ไม่ควรเป็นข้ออ้างในการทิ้งคำสั่งที่ล้าสมัยหรือแหล่งข้อมูลที่ล้าสมัยไว้ในเวิร์กโฟลว์การผลิต
ตรวจสอบการใช้โทเค็นและการลดต้นทุน API
ติดตามการอ่านแคชเป็นส่วนแบ่งของอินพุต ปริมาณการเขียน อินพุตปกติ เอาต์พุต และการใช้จ่ายทั้งหมดต่องานที่ยอมรับ อัตราส่วนการอ่านที่สูงสามารถอยู่ร่วมกับบิลที่มีราคาแพงได้ หากเอาท์พุตหรือลูปเครื่องมือเอเจนต์มีอิทธิพลเหนือ
กระทบยอดประมาณการกับใบแจ้งหนี้และจัดทำเอกสารฟิลด์เฉพาะของผู้ให้บริการที่ใช้ หากแพลตฟอร์ม AI API แบบรวม เช่น OLEToken เป็นเลเยอร์การผสานรวมของคุณ ให้ตรวจสอบว่าแพลตฟอร์มดังกล่าวรักษาการควบคุมแคช รายงานการใช้งานอย่างถูกต้อง และใช้กฎการกำหนดราคาเดียวกันกับการเข้าถึงโดยตรงหรือไม่
คำถามที่พบบ่อย
โทเค็นแคชฟรีหรือไม่
โดยปกติแล้วจะมีอัตราที่ลดลงแทนที่จะเป็นศูนย์ต้นทุน ราคาจะแตกต่างกันไปตามรุ่น ระดับการประมวลผล และผู้ให้บริการ การเขียนหรือการจัดเก็บอาจมีกฎแยกต่างหาก
การแคชใช้คำตอบก่อนหน้าซ้ำหรือไม่
การแคชพร้อมท์จะนำการคำนวณอินพุตกลับมาใช้ใหม่ ไม่ใช่คำตอบสุดท้าย การแคชการตอบสนองของแอปพลิเคชันเป็นกลไกที่แตกต่างโดยมีข้อกำหนดด้านความถูกต้องและความปลอดภัยแยกกัน
ฉันสามารถรับประกันการเข้าถึงแคชโดยทำซ้ำพร้อมท์ได้หรือไม่
ไม่ ข้อความที่ตรงกันต้องเป็นไปตามคุณสมบัติ อายุการใช้งาน การตั้งค่า และเงื่อนไขการกำหนดเส้นทางของผู้ให้บริการด้วย ตรวจสอบการใช้งานแคชจริง
ทุกแอปพลิเคชันควรใช้แคชที่ชัดเจนหรือไม่
เฉพาะที่ที่รองรับและมีประโยชน์เท่านั้น บางรุ่น รวมถึง Gemini 4 Neon รองรับการแคชโดยนัยเท่านั้น เลือกกลไกที่จัดทำเป็นเอกสารและวัดผลทางเศรษฐศาสตร์
ขั้นต่อไป
ระบุคำนำหน้าที่เกิดซ้ำบ่อยๆ และเปรียบเทียบต้นทุนที่วัดได้ก่อนและหลังการปรับโครงสร้างใหม่ ตรวจสอบ OLEToken หากคุณต้องการ API แบบรวม และยืนยันการรองรับแคชสำหรับแต่ละรุ่นและเส้นทางที่เลือก

