使用者使用 SlotStream 在 48GB Mac 上成功基準測試了 104GB 的 Qwen3.8-Flash-Next 模型，達到每秒約 12 個 token 的速度。該測試突顯了由於記憶體交換（swap）導致的提示詞處理階段顯著的性能波動。 這證明了只要記憶體管理得當，大型混合專家（MoE）模型即可在記憶體小於模型總大小的消費級硬體上運行。它為本地 LLM 推論提供了一種比高階 GPU 更具成本效益的替代方案。 該模型利用從 SSD 分頁的 51GB n-gram 表，且在提示詞處理期間交換空間使用量增加時，性能會急劇下降。這與 llama.cpp 等工具形成對比，後者在類似硬體上報告稱在提示詞處理期間能實現更高的每秒 token 數（TPS）。

事件背景

Qwen3.8-Flash-Next 是一個 125B 混合專家模型，每個 token 僅激活 6B 參數，使其能夠通過將其餘部分從儲存設備分頁來在記憶體有限的裝置上運行。SlotStream 是一個推論引擎，旨在優化 Apple Silicon 上此類模型的即時串流處理。

社群觀察

社群成員指出，與 llama.cpp 相比，提示詞處理的性能較差，其中一位使用者在 64GB Mac 上達到了超過 220 TPS。其他人則對過度依賴 mmap 和交換空間表示擔憂，質疑在性能顯著下降之前可用的上下文長度是多少。