用戶報告指出，JetBrains Mellum 2.1 12B A2.5B MoE 模型在 M4 晶片上可達到每秒 60 個 token 的推理速度，在 RX 9070 XT 上更可達每秒 140 個 token。用戶表示在 16 GB GPU 上可輕鬆運行 Q8 量化版本，並認為由於其 MoE 架構，8 GB 或 12 GB 顯卡也能達到每秒 30-40 個 token 的速度。用戶建議將其與更大的模型搭配使用以進行任務規劃，從而優化編碼工作流程。
JetBrains Mellum 2.1 12B MoE 在消費級 GPU 上高速運行
用戶報告指出，JetBrains Mellum 2.1 12B A2.5B MoE 模型在 M4 晶片上可達到每秒 60 個 token 的推理速度，在 RX 9070 XT 上更可達每秒 140 個 token。用戶表示在 16 GB GPU 上可輕鬆運行 Q8 量化版本，並認為由於其 MoE 架構，8 GB 或 12 GB 顯卡也能達到每秒 30-…
30 秒掌握
- 用戶報告指出，JetBrains Mellum 2.1 12B A2.5B MoE 模型在 M4 晶片上可達到每秒 60 個 token 的推理速度，在 RX 9070 XT 上更可達每秒 140 個 token。
- 用戶表示在 16 GB GPU 上可輕鬆運行 Q8 量化版本，並認為由於其 MoE 架構，8 GB 或 12 GB 顯卡也能達到每秒 30-40 個 token 的速度。
- 用戶建議將其與更大的模型搭配使用以進行任務規劃，從而優化編碼工作流程。
目前大小是最小值，向右滑動可放大。
原始來源與引用
待確認事項
目前沒有額外待確認事項。
更正紀錄
截至本次發布，正式發布包未登錄更正。
AI 使用說明
AI 協助擷取、寫作與核對；最終內容依來源與驗證規則發布。
相關新聞
DeepSeek開源DeepInfer推理框架，支援V4.1-Flash模型與華為Ascend NPU
DeepSeek-AI正式發布並開源了高性能推理框架DeepInfer，該框架專為其大規模生產服務設計。目前主要支援DeepSeek-V4.1-Flash模型，並同時相容NVIDIA SM100 GPU與華為Ascend 950 NPU硬體平台。
Cloudflare與VoidZero推出TypeScript編譯器Rust移植版tsrs，宣稱速度提升8倍且記憶體用量減少70%
Cloudflare、VoidZero與Owner.com合作開發名為tsrs的TypeScript編譯器Rust移植版本，並將其納入Oxc JavaScript編譯器工具鏈。根據早期基準測試，在相同類型檢查工作數下，tsrs比TypeScript 7.0快達8倍，記憶體使用量減少約70%。
Hugging Face 推出 TorchTPU，讓 PyTorch 原生支援 Google TPU
Hugging Face 發布 TorchTPU，將 Google TPU 整合為 PyTorch 的原生後端，使用者無需再透過 torch_xla 或 JAX 即可直接在 TPU 上執行模型。此舉讓 Transformers、Diffusers 等主流函式庫能原生支援 TPU，簡化了從雲端下載模型並直接部署的流程。