Reddit 上的討論詳細列出了運行新發布的 Qwen3.8-Flash-Next 模型所需的硬體規格，涵蓋了 Q2、Q3 和 Q4 等不同量化等級下的記憶體、顯存和儲存需求。用戶分享了實際基準測試結果，顯示該模型可在從配備 12GB RAM 的 Android 手機到擁有 16GB VRAM 和 128GB DDR5 的工作站等多種設備上運行。由於 Qwen3.8-Flash-Next 是 Qwen4 所採用架構（一種多模態 MoE 模型）的早期預覽，這些資訊對 LocalLLaMA 社群至關重要。了解這些需求有助於用戶規劃硬體升級，並判斷其現有設備（如 NVIDIA RTX 5070 Ti 或 Apple Silicon Mac）是否能高效運行該模型。該模型採用混合 Gated DeltaNet + Gated Attention 設計，允許在 Mac 或 Strix Halo 筆記型電腦等統一記憶體系統上靈活部署。為了實現最佳的 MoE 串流效能，用戶可能需要高達 128GB 的统一記憶體，而 Q2 等較低量化等級在受限硬體上仍能表現良好。
事件背景
Qwen3.8-Flash-Next 是一種多模態專家混合（MoE）模型，引入了結合 Gated DeltaNet 和 Gated Attention 的混合架構，這將是即將推出的 Qwen4 的核心。Q2、Q3 和 Q4 等量化等級指的是降低模型權重的精度以節省記憶體並提高速度，其中 Q4_K_M 是品質與資源使用之間常見的平衡點。每秒令牌數（t/s）等推論指標用於衡量模型生成文字的速率，而 VRAM（視訊記憶體）和系統 RAM 則是本地運行這些大型模型所需的關鍵資源。
社群觀察
社群成員報告在多種硬體上成功運行，包括在 12GB Android 手機上達到每秒 2 個令牌，以及在配備 16GB VRAM 和 128GB DDR5 的工作站上達到每秒 10-15 個令牌。大家強調統一記憶體對於 MoE 串流的重要性，並建議 128GB 是高效能本地推論的安全基準。
