Unsloth 已為 Qwen3.8-Flash-Next-GGUF 模型變體發布多 Token 預測（MTP）支援。此改進透過模型內建的多 Token 預測能力實現，允許其在推論期間同時預測多個 Token，從而消除了傳統基於草稿模型的猜測解碼所帶來的開銷。

社群在 llama.cpp 上的測試顯示，此優化顯著提升了吞吐量。Token 生成速度從約 83 tok/s 提升至 183 tok/s，為本地 LLM 推論提供了寶貴的性能提升，且無需單獨的草稿模型。這突顯了 MTP 作為 GGUF 運行高效猜測解碼方法的日益成熟。

事件背景

多 Token 預測（MTP）是一種新興的推論範式，允許語言模型同時預測多個 Token，而非每次前向傳遞只生成一個 Token。GGUF 是一種廣泛用於本地 LLM 推論的二進位檔案格式，針對 llama.cpp 等引擎的相容性進行了優化。猜測解碼是一種透過使用較小的草稿模型來提出 Token 供主模型驗證，從而加速生成的技術。

社群觀察

社群成員對顯著的吞吐量提升感到興奮，並指出 MTP 現在比不使用草稿還要快。部分用戶正在討論將這些優化整合到主要的 llama.cpp 儲存庫中，並將其效能與其他量化格式（如 EXL3）進行比較。