Nvidia 發布了 Nemotron 3.5 Lightning，這是一款總參數達 30B 但僅有 3B 活躍參數的混合專家（MoE）模型。該模型採用 NVFP4 量化技術，並結合混合 Mamba-2 架構，專為在消費級硬體上高效執行自主代理及長期任務而設計。

在架構設計上，Nemotron 3.5 Lightning 採用交錯的 Mamba-2 與 MoE 層，並結合部分注意力層，以優化低延遲與高吞吐量。此外，其使用的 NVFP4 格式採用比前代 MXFP4 更小的 16 值區塊大小，有助於降低量化誤差。

事件背景

混合專家（MoE）模型在每次輸入時僅激活部分參數，與稠密模型相比大幅降低了計算成本。Mamba-2 是一種狀態空間模型架構，對長序列提供線性複雜度，處理速度比傳統 Transformer 更快。NVFP4 是 Nvidia 設計的 4 位元浮點格式，旨在推論過程中平衡準確性與效率。

社群觀察

社群討論指出，該模型在 Mac 等消費級硬體上推論速度極快，但有人觀察到模型在推理軌跡中可能過度思考。儘管如此，社群對其效率持正面態度，並認為儘管活躍參數較少，它仍具備與 Qwen 模型競爭的实力。