UkisAI 發布了基於 Qwen 的高效推理 LLM Swift 系列,其中 Swift 1.5 27B 和 Flash Next 等模型在保持高準確率的同時,將思考 Token 使用量減少高達 63.4%。此次發布還包含了採用 GSQ-RCO 技術的量化版本,並利用 GSPO 強化學習和 OPD 技術來優化模型表現。 此發布透過解決複雜思維鏈過程所帶來的高計算成本與延遲問題,大幅推進了開源推理模型的實際部署。它為尋求更快、更高效資源利用的本地 LLM 愛好者和開發者提供了可行的解決方案,特別適用於家庭伺服器(homelab)和智能體(agentic)應用場景。 Swift Flash Next 模型在思考 Token 減少 63.4% 的情況下實現了 1.8 倍的速度提升,而 Swift 1.5 27B 則將 Token 減少 58.5%,並提升了智能體表現。這些模型採用群組序列策略優化(GSPO)和線上策略蒸餾(OPD)技術,以懲罰過度思考並恢復準確率。

事件背景

推理型 LLM(例如基於 Qwen 架構的模型)通常使用思維鏈提示來解決複雜問題,但這可能導致「病態過度思考」,即模型在冗餘的推理步驟中浪費 Token。GSPO 是一種強化學習演算法,透過優化群組序列策略來穩定訓練過程;OPD 則將線上策略強化學習與來自教師模型的密集監督相結合,以提高訓練效率和準確率。

社群觀察

社群成員表現出強烈的熱情,用戶讚賞模型自然的回應以及其在家庭伺服器系統管理任務中的有效性。許多人對減少 Token 使用量感到興奮,開玩笑地感謝固態硬碟(SSD)因此獲得的壽命延長,同時也有其他用戶期待針對記憶體受限環境推出的較小變體。