OpenAI 宣布為 GPT-6 引入更優化的提示快取功能，包含更高的快取命中率、新的診斷工具以及明確的斷點控制。這些更新讓開發者能更有效地降低延遲與營運成本。

這項更新透過優化重複提示前綴的處理方式，顯著提升了大型語言模型基礎設施的效率。它直接惠及開發者與企業，透過降低令牌成本並改善依賴一致上下文之應用程式的回應速度。

這些改進利用 Transformer 的注意力機制，在首次請求後儲存提示的重複部分。透過提高 KV 快取命中率，模型可以跳過穩定前綴的重算，直接從快取中提供輸入令牌。

事件背景

提示快取是一種用於大型語言模型的技術，透過儲存重複輸入前綴的鍵值（KV）狀態來優化推論。當相同的上下文再次發送時，模型會檢索這些儲存的狀態而非重新處理，從而減少計算負載。對於經常重複使用長系統提示或對話歷史的應用程式而言，此機制至關重要。