使用者利用 Dwarfstar 框架，在 M3 Ultra 晶片上讓 GLM 5.3 Flash 模型達到每秒 550 個記號（tps）的運行速度。這項效能提升主要透過最佳化核心融合技術實現，大幅降低延遲並提高記憶體頻寬利用率。

具體而言，該最佳化過程將數十個小型核心融合，以消除管線停滯，使系統達到 M3 Ultra 測量記憶體頻寬上限的 81%。此外，框架還使用平行掃描取代了效率較低的排序階段，以處理長達 30 萬記號的上下文。

此基準測試證明，搭配專用推論引擎時，消費級 Apple Silicon 也能以高吞吐量處理複雜的長上下文大型語言模型推論，突顯了在本機硬體上部署 AI 的潛力，無需依賴雲端 GPU。

事件背景

核心融合是一種 GPU 最佳化技術，將多個小型計算操作合併為單一較大的核心，以減少記憶體存取開銷並提高執行效率。Dwarfstar 是一個專用的推論引擎，旨在針對特定模型架構（如 DeepSeek V4 和 GLM-5 系列）最佳化執行圖形，並利用 Apple Silicon 的原生 API（如 Metal）來發揮效能。

社群觀察

社群對這些結果讚譽有加，使用者們比較了不同硬體配置（如 RTX 3090）下的效能。部分使用者詢問了輸出品質，而其他人則建議加入連續批次處理功能，將使該框架更具競爭力。