JetBrains 發布了一款合併 Qwen 3.6 與 Qwen 3.8 27B 的模型,聲稱該模型能在保持良好表現的同時,大幅減少生成的 token 數量。此方法利用模型合併技術來優化推理效率,且無需進行完整的重新訓練。該合併模型基於 Qwen 3.8 27B 的密集架構,具有 64 層和 5120 的隱藏維度。
事件背景
模型合併是一種將多個預訓練大型語言模型的權重結合成單一模型的技術,通常能保留每個原始模型的特定能力。Token 生成效率是指每消耗一個 token 所產生的有用輸出量,直接影響延遲和成本。Qwen 3.8 27B 是一個針對程式設計和長程智能體工作流程等任務優化的密集視覺語言模型。
社群觀察
社群成員對缺乏基準測試表示懷疑,指出其他微調模型已透過驗證過的方法達成了類似的 token 減少效果。部分用戶讚賞 JetBrains 的參與,而其他人則質疑在現有優化變體的情況下,合併的必要性。此外,有討論指出成功的合併暗示 Qwen 3.8 可能是從 Qwen 3.6 或共同祖先繼續訓練而來。



