DLite 提出無歷史推測解碼框架，解決代理 AI 長上下文推理效率問題

研究團隊推出 DLite 框架，透過直接重用目標模型的上下文隱藏狀態進行局部預測，避免維護龐大的歷史 KV 快取。實驗顯示該方法在代理工作負載下能維持 2 至 6 的接受長度，效能優於現有最先進技術 DSpark 達 70%。

AI 新聞雷達編輯團隊·本站收錄：2026/10/21 04:03（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

傳統推測解碼在代理 AI 的長上下文場景中，接受長度會衰退高達 80%，且維護歷史 KV 快取帶來巨大系統開銷。

DLite 採用無歷史架構，直接從目標模型重用隱藏狀態進行局部簡單預測，將複雜建模問題轉化為局部預測任務。

透過兩階段訓練策略與輕量級序列頭恢復區塊內因果依賴，DLite 在通用、長上下文及代理工作負載測試中均超越 DSpark。

代理工作負載導致傳統推測解碼效能衰退

推測解碼已成為加速大型語言模型推理的主流技術，其原理是利用輕量級草稿模型生成候選詞元，再由目標模型進行驗證。然而，代理 AI 工作負載涉及長且持續演變的上下文以及頻繁的多輪互動。

研究觀察到，在此類工作負載下，現有草稿模型的接受長度衰退幅度高達 80%。同時，為了維持效能而保留歷史 KV 快取的做法，會引入顯著的系統開銷。

研究團隊指出，不斷增長的歷史上下文是導致上述兩個問題的共同來源，並提出 DLite 作為針對代理 AI 的無歷史推測解碼框架。DLite 直接重用目標模型的上下文隱藏狀態，在不明確維護歷史上下文的情況下執行局部推測預測。

這種方法將日益複雜的建模問題轉化為簡單的局部預測問題。為了有效訓練這種異構的無歷史架構，團隊引入了專門設計的兩階段訓練策略。此外，透過一個輕量級的序列頭，DLite 能以低開銷恢復區塊內的因果依賴關係。

在通用、長上下文及代理工作負載的實驗中，DLite 達到了 2 至 6 的接受長度。與現有的最先進推測解碼方法 DSpark 相比，DLite 的效能表現高出最多 70%。

相關論文已發布於 arXiv，程式碼與模型權重則透過 GitHub 及 HuggingFace 提供下載。