Qwen3.8-Flash-Next 推出了 Qwen4Exp 架構，將模型參數分為負責推理的 125B 混合專家（MoE）組件，以及負責記憶的 51B N-gram 表格。此設計讓模型每 token 僅需激活約 6B 參數，同時將 N-gram 資料卸載至 SSD 儲存以減少記憶體佔用。N-gram 表格是一種具有雜湊地址的查詢表，其地址在 token 出現時即可確定，這使得從 SSD 進行隨機存取變得高效，這與 MoE 專家偏好的順序存取不同。大約 25% 的總權重可以卸載至 N-gram，而模型不會因此失去性能優勢。

事件背景

混合專家（MoE）模型將 token 路由至特定的子網路以節省運算，但路由決策通常來得較晚，使得從慢速儲存中獲取大型專家權重效率較低。相反地，N-gram 根據 token 雜湊值儲存短語的向量，允許即時且輕量的資料檢索，這與 MoE 層的重度算術運算形成互補。

社群觀察

社群成員對該架構表示興奮，部分人希望它能應用於 30B 參數以下的小型模型。其他人則辯論密集模型與 MoE 模型何者更適合推理，並建議將 N-gram 加入密集模型中，同時引用了 Meta 早期關於記憶層的相關研究。