一位 Reddit 使用者在配備 128GB RAM 的 M4 Max 上，對新的 Qwen3.8-Flash-Next 模型進行基準測試。測試結果顯示，該模型的混合 4 位元量化版本在 Cupel 基準測試中表現優於先前的 Qwen 27B 模型，並獲得超過 94% 的準確率，標誌著在 Apple Silicon 上本地推理的重大性能提升。
該基準測試使用了 oMLX 和 llama.cpp 推論引擎。由於架構限制，測試時 K/V 快取已停用。
在具體數據方面，pipenetwork 提供的混合 4 位元/8 位元量化版本達到了 4.5286 的困惑度，緊追 bfloat16 基準的 4.4708。Unsloth 提供的 GGUF 量化版本也展現了相當具競爭力的表現。
事件背景
量化是一種降低模型權重精度（例如從 16 位元降至 4 位元）的技術，旨在減少記憶體使用量並加速推論，通常幾乎不會損失準確度。Apple Silicon 的統一記憶體架構允許 CPU 和 GPU 共享同一個高頻寬記憶體池，因此若模型能裝入總 RAM 容量中，便非常適合在本地運行大型模型。Cupel 基準測試則用於評估模型相對於其大小的指令遵循能力，為本地部署提供了實用的指標。
社群觀察
社群成員對性能提升表示興奮，許多擁有 128GB 系統的使用者指出，這讓他們更有意願從 27B 模型升級至 Qwen Next。部分使用者討論了透過 SSD 卸載等潛在優化措施，以進一步減輕 RAM 壓力。其他人則讚賞了基準測試中使用的評估圖形介面。
