Apple 機器學習研究團隊於 2026 年 10 月 15 日發布文章，展示如何使用最新發布的 MLX 版本，透過 macOS 26.2 引入的 Thunderbolt 5 RDMA 驅動程式，實現跨多台 Mac Studio 的分散式大型語言模型（LLM）推論。該更新允許開發者在本地環境執行包含 Muse Spark Open（總參數 816B，活躍參數 42B）在內的前沿級模型。在由四台 M5 Ultra Mac Studio 組成的叢集中，Muse Spark Open 在 8,192 token 上下文長度下可達到每秒超過 36 個 token 的生成速度。
文章詳細比較了 M5 Ultra 與前一代 M3 Ultra 在執行 Qwen 3.8 (27B) 和 Mistral Medium 3.5 (128B) 時的效能差異。M5 Ultra 憑藉 GPU 神經加速器（Neural Accelerators）在計算密集型任務（如首個 token 延遲 TTFT）上實現了最高 4.6 倍的加速；而在記憶體頻寬受限的生成速度（Decode）方面，由於 M5 Ultra 提供 1.2 TB/s 的統一記憶體頻寬（M3 Ultra 為 819 GB/s），生成速度提升了 1.6 倍。此外，M5 Ultra Mac Studio 在推論時的峰值功耗約為 300W，M3 Ultra 約為 200W，遠低於常見烤麵包機的功耗，適合在家庭或辦公室環境部署。
針對無法在單台機器上運行的超大模型（如 Muse Spark Open 在 NVFP4 量化下需約 493GB 記憶體，加上中間計算記憶體超過單機 512GB 上限），MLX 提供了兩種並行化方案： 1. **管線並行化（Pipeline Parallelization）**：將模型按深度拆分到兩台機器，第一台執行前半部分層，第二台執行後半部分。此方法實作簡單，通訊開銷低，生成速度與單機相當，但在處理極長上下文（如 65,536 tokens）的預填充（Prefill）階段，透過分段重疊計算，可實現最高約 1.8 倍的加速。 2. **張量並行化（Tensor Parallelization）**：將模型按寬度拆分，每台機器持有每層的一部分參數。此方法能顯著提升推論速度，但實作複雜且需要極低延遲的通訊技術（如 Thunderbolt RDMA）。MLX 透過 `mlx.launch` 輔助命令和 `jaccl` 後端支援此功能，並利用雙 Thunderbolt 電纜連接以加倍頻寬。
測試還顯示，Qwen 3.8 和 Mistral Medium 3.5 可輕鬆在單台 512GB RAM 的 Mac Studio 上運行，分別佔用最高 68GB 和 158GB 記憶體（在 65,536 token 上下文下）。
事件背景
MLX 是一個開源陣列框架，專為 Apple Silicon 的統一記憶體架構最佳化，允許研究者和開發者在本地硬體上實驗最新的 AI 模型和方法。macOS 26.2 引入了基於 Thunderbolt 5 的低延遲 RDMA 驅動程式，MLX v0.30.1 及後續版本基於此驅動程式提供了新的通訊集合操作（`jaccl`），以支援分散式並行化。
社群觀察
社群討論集中在基準測試的公平性與實際應用價值。使用者 [peri-cl] 指出，Apple 將 Meta 的 Muse Spark 模型以 4-bit 量化（NVFP4）進行測試，而將 Qwen 僅以原生 BF16 精度測試，認為這是一種不公平的比較，且 Muse Spark 並非其首選模型。使用者 [ks2048] 評論稱，Meta 花費數十億美元開發開放權重模型，而人們將支付 20,000 美元給 Apple 以執行這些模型，對 Apple 而言是一筆好生意。使用者 [liuliu] 分享其實測經驗，指出單台 256GiB 的 M5 Ultra 可順暢運行 DeepSeek 4.1 Flash（預填充約 3200 tok/s，生成約 45 tok/s），128GiB 的 M5 Max 可運行 GLM 5.3 Flash，並強調已驗證其品質符合官方數據。另有使用者 [mrboatshoepants] 批評，圖表中展示的 15-36 tok/s 速度僅基於 8,192 token 的上下文，認為這在當今應用中上下文長度不足。
