NVIDIA 發布了 Nemotron 3.5 Bolt 74B-A9B 24GB，這是一個總參數為 74B、活躍參數為 9B 的視覺語言模型（VLM）。該模型旨在透過原生 2-bit 量化技術，將模型壓縮至 24GB 記憶體以在本地執行日常智能代理任務，並能與其他應用程式並行運作。其設計目標是在速度與智能之間取得最佳平衡，宣稱比大多數流行的密集模型更快，同時比具有類似記憶體佔用的大多數流行 MoE 模型更聰明。該模型採用 Mamba-2 與 Transformer 混合架構及 LatentMoE，並整合 C-RADIO v4-H 視覺編碼器，支援高達 256K 的上下文長度，輸入輸出涵蓋文字、圖像及影片。推理方面，它透過 LiLiCorr drafter 提供推測解碼技術，在配套的 Bolt vLLM 配方中支援 7 個推測 token。模型支援透過聊天模板控制推理模式（enable_thinking=True/False），並建議在文字生成時使用 temperature 1.0 和 top_p 0.95 的採樣參數。該模型可在 NVIDIA Ampere (A100)、Hopper (H100-80GB) 或 Blackwell 架構上透過 vLLM 部署，並採用 OpenMDW-1.1 授權，允許商業或非商業使用。後訓練數據的截止日期為 2026 年 5 月。
事件背景
NVIDIA Nemotron 是一個開放權重、開放訓練數據及配方的開放模型系列，旨在為構建專用 AI 代理提供領先的效率與準確性。
社群觀察
社群討論指出，在 Nemotron 3.5 Bolt 發布幾分鐘後，社群用戶分享了 Nemotron 3.5 Super VL 模型（120B-A12B）的連結，該連結指向由 unsloth 維護的 GGUF 版本，顯示其開放模型系列的快速擴張。
