一位 Reddit 使用者將 Muse Glimmer 與 Qwen 3.8 進行基準測試,結果顯示 Glimmer 僅需 3 至 4 小時即可完成任務,而 Qwen 在高努力模式下則耗時近 30 小時。儘管 Qwen 參數量較大,Glimmer 在結果上仍具競爭力,展現出更優異的效率。

測試中,Qwen 3.8 因廣泛的推理過程觸及 32K 輸出 token 限制,導致 16 個案例失敗。相對地,Muse Glimmer 利用滑動視窗 KV 快取架構,顯著降低記憶體使用量並提升上下文處理效率。

事件背景

檢索增強生成(RAG)是一種讓大型語言模型將外部資料來源納入回應的技術,有助於模型克服訓練資料的限制。KV 快取優化(例如滑動視窗注意力機制)透過僅保留最相關的先前 token 來管理文字生成期間所需的記憶體,從而提高推理速度並降低硬體需求。

社群觀察

社群成員指出,Qwen 在 RAG 情境中表現出色,宛如一台「 tinkering machine 」,能很好地適應訓練資料中未包含的新程式庫或文件。其他人則讚賞 Glimmer 在編碼任務中的效率,無需消耗過多的推理 token,同時也有人質疑對 Qwen 施加的 32K 輸出限制。