使用者透過 USB-C 線將 Qwen 3.8 27B 模型的第 41 至 64 層卸載至 iPhone 17 Pro Max，與僅使用 24 GB MacBook 相比，預填速度提升了 29% 至 44%。此方法利用 Apple Silicon 裝置中的 Metal 4 張量運算，透過消費級硬體擴展上下文視窗並提升推論效能。iPhone 使用其 A19 Pro GPU 處理矩陣運算，而 MacBook 則在批次之間串流激活值，使系統能夠管理超出 MacBook 原生 VRAM 限制的上下文。

事件背景

像 Qwen 3.8 27B 這樣的大型語言模型需要大量記憶體來儲存權重和上下文，通常超過單一消費級 GPU 的容量。IQ4_XS 等量化技術可縮小模型體積以適應可用的 VRAM，但更大的上下文仍需更多資源。卸載技術透過將模型分割到多個裝置上，以利用合併的記憶體和運算能力。

社群觀察

社群對效能提升表示驚嘆，使用者推測這可能適用於 iPad，並探討串接多部手機以實現更大規模擴展的可能性。