llama.cpp 專案已合併對 Qwen Flash Next 模型架構的多詞元預測（MTP）支援。此更新讓使用者能夠在推論引擎中運用先前無法用於該特定模型的 MTP 優化功能。 此新增功能顯著提升了本地 LLM 使用者運行 Qwen Flash Next 時的推論效率，有望降低延遲並提高吞吐量。這是為資源受限環境優化 Qwen 4 架構預覽版的重要一步。 Qwen Flash Next 模型在其 125B 主模型之外，還包含一個專屬的 4B MTP 頭。社群回饋顯示，效能提升因量化格式而異，部分使用者指出由於命中率較低，某些格式可能會出現效能下降的情況。

事件背景

多詞元預測（MTP）是一種推論優化技術，模型會同時預測多個未來的詞元，而不僅僅是下一個詞元。這減少了所需的正向傳播次數，從而加快生成速度。Qwen Flash Next 是 Qwen 4 架構的早期預覽版，採用稀疏混合專家設計，總參數為 125B，但每個詞元僅激活 6B。

社群觀察

社群情緒整體正面但保持謹慎，使用者在讚賞新功能的同时也指出了實際限制。部分使用者報告 MTP 僅在密集模型或特定量化格式上提升了效能，而其他使用者則強調了某些 GGUF 分割檔案的龐大容量。