Qwen3.8-Flash-Next 模型已發布 GSQ 與 RCO 量化 GGUF 檔案，位元寬度介於 2.40 至 3.50 bpw 之間。此外，還提供了一個經過專家剪枝的程式碼專用版本，移除了模型一半的專家以減少記憶體佔用，同時保持效能。 這些發布內容使得在消費級硬體上部署大型稀疏混合專家（MoE）模型成為可能。透過使用 GSQ 和 RCO 等先進量化技術，即使在低位元寬度下也能確保模型的高準確度，縮小了標量量化與向量量化之間的差距。 在 3.50 bpw 下，IQ3_S 量化模型在 GPQA-Diamond 和 LiveCodeBench 等基準測試中的表現與 BF16 基礎模型相當。專家剪枝的程式碼版本僅需 29.6 GB 的駐留記憶體，適合配備 16 GB VRAM 和 32 GB RAM 的系統。
事件背景
混合專家（MoE）模型由多個被選擇性激活的專用子網路（專家）組成，能在提供高容量的同時降低每個權重的計算成本。量化透過降低模型權重的精確度來節省記憶體並加速推論，而專家剪枝則移除冗餘的專家以進一步縮小模型體積。GSQ 使用 Gumbel-Softmax 弛豫來優化標量量化，而 RCO 則利用黎曼幾何在最佳化過程中強制執行精確的記憶體預算。
社群觀察
社群成員對其低記憶體需求感到興奮，有人指出程式碼版本在配備 16 GB VRAM 的系統上運作良好。然而，有一位使用者報告了特定程式語言（如 Delphi）的問題，顯示量化可能會影響對特定語法知識的掌握。
