Llama.cpp 的一個分支引入了自適應推測解碼功能，該功能能根據內容類型動態調整建議的 token 數量，在 Qwen3.8 等模型上實現高達 50% 的推理速度提升。此優化顯著提高了 token 生成速率，例如在 Strix Halo 硬體上，結構化內容的生成速度從每秒 44 個 token 提升至 65 個 token。

這項進展解決了 Llama.cpp 中推測設定固定不變的關鍵限制，允許根據內容類型進行動態調整，對於優化多樣化內容的效能至關重要。它為本地大型語言模型使用者帶來顯著好處，特別是那些使用具有特定瓶頸硬體（如 Strix Halo 平台）的開發者。

此功能建立在 MTP 和 DFlash 等現有方法之上，這些方法對稠密模型效果良好，但此前在 Llama.cpp 中需要靜態設定。使用者可以設定最小和最大 token 建議值，讓引擎自動調整推測長度以達到最佳吞吐量。

事件背景

推測解碼是一種利用較小、更快的「草稿」模型來預測多個未來 token，再由主模型進行驗證，從而加速大型語言模型推理的技術。MTP（多 token 預測）和 DFlash 是這種技術的具體實現，它們在不需額外草稿模型或僅有微小品質損失的情況下提升生成速度。自適應推測解碼則進一步根據生成的內容類型或上下文動態調整推測策略。

社群觀察

社群成員正在討論此功能整合至 Llama.cpp 主線版本的可能性，以及它在 Strix Halo 等硬體預填充階段的計算開銷。大家也對自適應推測解碼在 CPU 推理中與 MTP 的比較，以及哪些具體內容類型會觸發不同的推測設定感興趣。