社群開始評估 IFM 新推出的 K2-Horizon-MoVA-36B-A4B 模型,並將其代理編碼效能與 VRAM 效率與 Qwen 3.6 及 Tiel Coder 等現有的 35B 級別模型進行比較。初步回饋顯示它是一款穩固的 MoE 選項,但尚未成為 3.8-35B-A3B 的決定性升級。
該模型引入了創新的 MoVA 架構,在保持與稠密模型相當的效能同時,將活躍參數量大幅減少至約 40 億,為本地部署提供了具吸引力的選擇。它為從業者提供了一個新的基準,用於在高階編碼能力與硬體限制之間取得平衡。
該模型採用混合值注意力機制,在 KV 快取中加入每 token 的 MoE 類型元素,從而實現專用的 token 貢獻。然而,使用者指出 KV 快取的開銷可能較高,在使用長上下文視窗時可能會超過 32GB VRAM 的限制。
事件背景
混合專家(MoE)是一種架構,對於每個輸入僅激活部分參數,從而提高運算效率。新的 MoVA(混合值)注意力機制將此概念擴展至 KV 快取,透過路由器將值路由,以專門化每個 token 對上下文的貢獻。SWE-bench Pro 是一個用於評估語言模型解決實際軟體工程任務能力的基準測試。
社群觀察
社群成員普遍認為該模型在代理編碼方面表現尚可,但指出其缺乏 SWE-bench Pro 的數據以進行完整比較。主要討論集中在 MoVA 架構的新穎性、長上下文下的 VRAM 限制,以及等待上游 llama.cpp 支援或 Unsloth 量化版本。



