基於推測解碼（speculative decoding）的新型推理優化技術 DFlash 2，現已開放給 Qwen 3.8 27B 與 Muse Glimmer 模型使用。此次更新在速度上大幅超越了多Token預測（MTP）方法，使用者回報了令人驚豔的效能提升。

DFlash 2 利用擴散與 KV 注入策略，在不增加額外成本的情況下，每次迭代多解碼一個完整的 Token。這項進展意義重大，因為它透過並行產生 Token 的方式，解決了大型語言模型在自回歸解碼時的固有瓶頸，為在消費級硬體上部署高效能 LLM 提供了實用途徑，有助於降低開發者的推理成本與延遲。

儘管它展現了巨大的速度提升，但目前的實作仍可能存在限制，例如某些後端（如 llama.cpp）尚不支援 Tensor split。

事件背景

大型語言模型通常一次產生一個 Token，這限制了現代硬體上的吞吐量，因為其運算強度較低。推測解碼是一種加速技術，它使用較小的「草稿」模型來預先預測多個 Token，然後由主模型進行驗證。DFlash 2 透過整合擴散策略來增強此方法，進一步優化草稿生成與驗證步驟。

社群觀察

社群反應相當熱烈，許多使用者對速度的提升感到驚嘆（「這些速度怎麼可能？」）。部分使用者已成功在量化模型上測試該技術，但也有使用者指出某些函式庫中缺乏 Tensor split 支援等技術限制。