Inco AI 推出了專為 Apple Silicon 優化的開源推理引擎 Inco Splash。在運行 Qwen3.8-27B 模型時，其解碼速度比 Ollama 快達 3 倍，比 oMLX 快達 2 倍。
該引擎支援搭載 M3 晶片或更新機型且運行 macOS 26.4+ 版本的 Mac，可透過 Homebrew 安裝或整合至 LM Studio 中使用。
該引擎需要 M3 或更新晶片、macOS 26.4+ 版本以及至少 36 GB 的記憶體，運行約佔用 17.4 GB 空間的 q4_0 量化模型。
用戶在 M5 Max MacBook Pro 上報告達到了每秒 144 個令牌的生成速度，社群驗證確認了量化格式與實際效能基準測試。
事件背景
推理引擎是用來執行訓練過的大型語言模型以生成文字的軟體元件，其效能深受硬體優化的影響。解碼速度指的是模型在處理初始提示後，生成每個後續令牌的速率，這是聊天應用程式中影響使用者體驗的關鍵指標。Apple Silicon 的統一記憶體架構允許 CPU 與 GPU 之間高效地共享數據，使其非常適合在本地運行大型模型。
社群觀察
社群成員強調了了解量化級別的重要性，其中一位用戶澄清為 q4_0。其他人則對其開源性質和遙測數據表示興趣，而早期測試者在 M5 Pro 硬體上報告了令人印象深刻的速度，驗證了該引擎的效能主張。
