Qwen 發布了 Qwen3.8-Flash-Next，這是一款混合模型，其主模型擁有 1250 億參數，並輔以 510 億的 N-gram 嵌入，每 token 僅激活 60 億參數。該架構作為即將推出的 Qwen4 系列的基礎預覽，展示了透過混合注意力機制以記憶體換取運算能力，從而提升參數效率與效能的潛力。該模型採用混合的閂控 DeltaNet 與閂控注意力設計，社群討論則指出其量化挑戰，估計本地部署可能需要超過 128GB 的統一記憶體。

事件背景

N-gram 嵌入是一種將文本中連續子字串向量化以捕捉語言和語義資訊的技術，常用於為深度學習模型補充統計模式。這種混合架構將這些嵌入與大型語言模型結合，旨在推理時保持高準確度的同時，降低激活參數的數量。

社群觀察

社群成員正在討論該模型的參數效率與自架可行性，有人指出它優於 Qwen3.8 27B 等較小變體，也有人質疑它是否能適應如 128GB 統一記憶體等標準消費級硬體限制。