llama.cpp 專案已合併對 Maple 20B-A1B 模型的支援，這是一款針對 CPU 推論優化的三元混合專家架構。此更新帶來了極高的執行速度，在 M4 Mac Mini 上可達到每秒超過 200 個 token，非常適合用於顯存（VRAM）有限的環境。 此版本透過利用三元量化來降低記憶體頻寬需求，大幅降低了在消費級硬體上運行大型混合專家模型的門檻。它為本地 LLM 愛好者提供了一個具吸引力的選擇，讓他們能有效利用 CPU 資源，而無需依賴昂貴的高階顯示卡。 該模型採用三元權重（TQ1_0/TQ2_0 量化），每個參數僅為三個值 {-α, 0, +α} 之一，在總計 200 億參數中僅有 10 億個參數被激活。DeepGrove 報告指出，在類似硬體上，其運行速度比 Gemma 4 或 Qwen3.5 等可比模型快五到十六倍。

事件背景

混合專家（MoE）模型透過僅為每個 token 激活部分參數，而非使用整個網路，從而提升擴展效率。三元量化則透過將權重限制為三個離散值，進一步壓縮這些模型，與標準浮點格式相比，大幅減少了記憶體使用量和計算負載。這種組合使得大型模型能夠在記憶體頻寬有限的裝置上高效運行。

社群觀察

社群成員對其效能指標感到興奮，指出該模型在 CPU 上運行表現極佳，並可作為 GPU 駐留模型的優秀輔助任務模型。部分使用者對即將推出的 CUDA 和 Vulkan 後端表示興趣，而其他人則希望釐清特定的「flash」量化變體細節。