研究團隊利用 Dell B300 硬體,基於 Qwen3.8-Flash-Next 開發出兩個微調版本:Victoria 與 Maple。
Victoria 採用 REAP 技術將每層專家數量從 512 削減至 288(減少 44%),並使用 NVFP4 格式進行重訓練。該模型在 Terminal-Bench 2.1 上獲得 70% 得分。在 Dell B300 上,可達每秒 280 個 token 的生成速度。
Maple 則針對加拿大語境進行微調,顯著提升了當地稅務與法規問題的準確率。在測試中,完全正確的回答率從 6.6% 提升至 21.8%,並在 62.9% 的案例中引用官方來源。
事件背景
REAP(路由器權重專家激活剪枝)是一種針對混合專家(MoE)模型的壓縮技術,根據路由器權重移除不活躍的專家,從而在不顯著損失準確度的情況下縮減模型規模。NVFP4 是專為 NVIDIA Blackwell GPU 設計的 4 位元浮點數量化格式,相比均勻 INT4,它在保持低精度效率的同時提供了更佳的動態範圍。
社群觀察
社群成員對適合 RTX 3090 用戶的更小量化版本感興趣,並測試專為 Flash-Next 設計的 Strata 等引擎。此外,大家也討論了 Maple 在「無答案」回應中工具呼叫與幻覺(編造)之間的權衡,突顯了對幻覺率的關注。



