開發者成功在 MLX-serve 上部署 Qwen3.8-Flash-Next 模型，在 M5 Max 硬體上以混合 8 位元與 4 位元量化技術，實現了 100 萬 Token 上下文視窗下穩定的生成速度（散文約 40 tok/s，程式碼約 75 tok/s）。此實作有效管理記憶體使用量，同時維持高模型品質。該設定需將 iogpu.wired_limit_mb 設為 120,000，以便在 M5 Max 128GB 系統上配置約 117GB 的峰值記憶體。模型對密集層採用 8 位元量化，對專家層採用 4 位元量化，確保在深層上下文處理過程中品質損失最小。
事件背景
MLX-serve 是 Apple Silicon 的原生推論伺服器，支援 OpenAI 和 Anthropic API 相容性，讓用戶能在本地運行各種大型語言模型。量化技術（如 8 位元和 4 位元）能減少模型的記憶體佔用和運算需求，使大型模型能在消費級硬體上運行。iogpu.wired_limit_mb 參數控制 macOS 分配給 GPU 的統一記憶體數量，這對於載入大型上下文視窗至關重要。
社群觀察
社群成員對效能基準測試表現熱烈，指出即使在完整上下文長度下，預填速度依然保持高位。大家也對將此實作與利用神經引擎（ANE）加速的 oMLX 進行比較感興趣，並討論如何將相關分支的功能整合至主線版本。
