NVIDIA 將於 10 月 15 日發布 Nemotron Bolt 3.5 74B A9B。這是一個總參數 74B、活躍參數 9B 的混合專家（MoE）模型。該模型透過先進的量化感知訓練技術進行 2-bit 量化，將模型大小壓縮至 24GB，同時保留品質。其目標是在速度與智能之間取得最佳平衡，聲稱比大多數流行的稠密模型更快，且比具有類似記憶體佔用的大多數流行 MoE 模型更聰明。此外，較小版本的 Nemotron 3.5 Bolt E4B（4GB）預計將於 10 月 23 日發布。
NVIDIA Nemotron Bolt 3.5 74B A9B 將於 10 月 15 日發布
NVIDIA 將於 10 月 15 日發布 Nemotron Bolt 3.5 74B A9B。這是一個總參數 74B、活躍參數 9B 的混合專家（MoE）模型。該模型透過先進的量化感知訓練技術進行 2-bit 量化，將模型大小壓縮至 24GB，同時保留品質。其目標是在速度與智能之間取得最佳平衡，聲稱比大多數流行的稠密模型更快，且比具有類似記憶體佔用的…
30 秒掌握
- NVIDIA 將於 10 月 15 日發布 Nemotron Bolt 3.5 74B A9B。
- 這是一個總參數 74B、活躍參數 9B 的混合專家（MoE）模型。
- 該模型透過先進的量化感知訓練技術進行 2-bit 量化，將模型大小壓縮至 24GB，同時保留品質。
目前大小是最小值，向右滑動可放大。
原始來源與引用
待確認事項
- 原文未明確說明 24GB 是指 VRAM 還是其他記憶體類型，僅提及 'packed into 24GB'。
- 原文未明確列出支援的具體硬體型號（如 RTX 3090/4090），僅提及記憶體佔用。
- 原文未提供具體的基準測試數據來驗證 'faster than most popular dense models' 和 'smarter than most popular MoE models' 的說法，僅為模型目標描述。
更正紀錄
截至本次發布，正式發布包未登錄更正。
AI 使用說明
AI 協助擷取、寫作與核對；最終內容依來源與驗證規則發布。
相關新聞
DeepSeek開源DeepInfer推理框架，支援V4.1-Flash模型與華為Ascend NPU
DeepSeek-AI正式發布並開源了高性能推理框架DeepInfer，該框架專為其大規模生產服務設計。目前主要支援DeepSeek-V4.1-Flash模型，並同時相容NVIDIA SM100 GPU與華為Ascend 950 NPU硬體平台。
Cloudflare與VoidZero推出TypeScript編譯器Rust移植版tsrs，宣稱速度提升8倍且記憶體用量減少70%
Cloudflare、VoidZero與Owner.com合作開發名為tsrs的TypeScript編譯器Rust移植版本，並將其納入Oxc JavaScript編譯器工具鏈。根據早期基準測試，在相同類型檢查工作數下，tsrs比TypeScript 7.0快達8倍，記憶體使用量減少約70%。
Hugging Face 推出 TorchTPU，讓 PyTorch 原生支援 Google TPU
Hugging Face 發布 TorchTPU，將 Google TPU 整合為 PyTorch 的原生後端，使用者無需再透過 torch_xla 或 JAX 即可直接在 TPU 上執行模型。此舉讓 Transformers、Diffusers 等主流函式庫能原生支援 TPU，簡化了從雲端下載模型並直接部署的流程。