使用者利用 KV 快取近似技術，成功在 Qwen 3 上複製了 Qwen V4.1 的快速預填功能，並在 GitHub 和 HuggingFace 上提供了可運行的網頁示範與原始碼。 這項突破顯著減少了長上下文的預填瓶頸，為在消費級硬體上實現更快的推論速度提供了一條途徑，且無需依賴專有模型更新。 該方案利用 KV 投影器（Q3-8B-KVA-Projector）來近似快取狀態，實現了瀏覽器端的執行，但社群目前正在尋找適用於更大規模 27B 參數模型的實作版本。

事件背景

KV 快取近似是一種用於優化大型語言模型推論的技術，透過減少長上下文中每個 token 的鍵值對儲存所帶來的記憶體與計算開銷來提升效率。透過近似或壓縮這些快取，模型能夠實現更快的預填速度，這通常是開始生成之前處理長提示詞時的瓶頸所在。

社群觀察

社群對基於瀏覽器的示範反應熱烈，但積極要求將其擴展至更大的模型，特別是 Qwen3.8-27B 版本，同時也有其他使用者正在嘗試跨模型的 KV 神經印記應用。