IFM 發布了 K2-Horizon-MoVA-36B-A4B 模型，這是一款稀疏專家混合架構，儲存了 360 億個參數，但每個 token 僅激活 40 億個。此次發布包含完整的開源訓練數據與程式碼，並提供適用於高效本地推理的 GGUF 格式。 該模型在推理基準測試中展現了前沿級別的效能，同時保持了 40 億活躍參數模型的高效性，其表現可與體積大達 15 倍的稠密模型競爭。完整的訓練數據與程式碼使其成為研究人員和本地大型語言模型愛好者的高價值資源。 該模型採用混合值注意力機制（MoVA），並支援原生的 512K 上下文視窗。它提供從 0.9B 到 32B 的多種尺寸，並計劃發布中間檢查點以研究訓練動態。

事件背景

專家混合（MoE）是一種神經網路架構，針對每個輸入僅激活部分參數，在保持高容量的同時顯著降低了計算成本。混合值注意力是一種特定的注意力機制變體，用於優化自注意力模組中值的處理方式。GGUF 是一種二進位檔案格式，針對 llama.cpp 等本地執行環境的快速載入與推理進行了優化。

社群觀察

社群反應非常正面，因其完整的數據與程式碼發布，被讚譽為可能最佳的完全開源選項。用戶對其效率提升感到興奮，並期待推出適用於本地部署的量化版本。