Reddit 用戶展示透過在 llama.cpp 中減少多令牌預測（MTP）緩衝區開銷，可在 AMD GPU 上將 Qwen 27B 模型的上下文窗口從 64K 擴展至 149K。此優化顯著提升了模型處理長文件時的記憶體容量上限，解除了緩衝區限制並釋放了更高的上下文處理能力。該優化涉及對 MTP 分配邏輯的特定修改，社群修補程式在某些測試中允許上下文大小達到 160K。基準測試顯示，雖然 Vulkan 在某些指標上表現優異，但當解決 MTP 分配問題後，ROCm 能提供更佳的預填速度。

事件背景

上下文窗口是指大型語言模型能同時處理的文字令牌數量。多令牌預測（MTP）是一種一次預測多個令牌以加速推論的技術，但需要額外的記憶體緩衝區。對於在配備有限 VRAM 的消費級 AMD GPU 上運行 Qwen 27B 等大型模型而言，優化這些緩衝區至關重要。

社群觀察

社群成員積極分享修補程式並比較 ROCm 與 Vulkan 的效能，部分用戶指出 Vulkan 在特定情境下表現優異，而其他用戶則強調在修復 MTP 問題後 ROCm 的速度優勢。用戶們也在 GitHub 上合作，針對最新的 llama.cpp 版本完善這些優化。