Qwen 35B 模型從 ModelScope ms-swift 倉庫的最新提交中被移除，引發了該模型可能在正式發布前洩露的猜測。被移除的模型很可能是 Qwen 3.5 35B-A3B，這是一個稀疏混合專家模型，證明了混合線性注意力 MoE 架構在規模化任務中的有效性。它在倉庫中的缺席表明該模型暫時撤出，可能是為了在正式發布前控制分發。對於依賴 ms-swift 進行高效微調和部署的本地 LLM 開發者而言，此舉意義重大，因為它暗示 Qwen 模型系列即將進行調整。這突顯了該庫在追蹤和最佳化最新開源模型（特別是像 MoE 這樣複雜架構的模型）方面的關鍵角色。

事件背景

ms-swift 倉庫是由 ModelScope 開發的熱門開源庫，用於高效微調和部署大型語言模型。混合專家（MoE）是一種架構技術，對於每個輸入 token，僅激活模型參數的子集（專家），從而允許以較低的推理成本運行更大的模型。Qwen 35B 代表了該架構的重要一步，與稠密模型相比，它在提供高性能的同時降低了資源需求。

社群觀察

社群情緒喜憂參半，用戶猜測移除原因是模型在發布前洩露。許多用戶對移除表示失望，但熱切請求支援 MoE 架構，突顯了擁有有限顯存的開發者對高效模型的需求。