研究人員提出 ToMoE，一種利用可微動態結構剪枝將稠密大型語言模型轉換為混合專家（MoE）架構的方法。該技術透過將多層感知器（MLP）層轉換為混合專家結構，促使稠密模型維持固定數量的活躍參數，且在不永久刪除參數的情況下減少活躍參數數量。此方法具有可微性，使其能在訓練期間自動學習最佳的剪枝粒度，而無需人工介入或後續的微調。在無需微調的情況下，ToMoE 於 LLaMA-3 和 Qwen-2.5 等模型上持續優於先前的結構剪枝技術。相較於會導致顯著效能下降的傳統剪枝方法，它提供了一條更實用的高效部署強大大型語言模型的途徑，解決了計算效率與模型效能之間的關鍵權衡問題。

事件背景

混合專家（MoE）是一種神經網路架構，它將輸入路由至特定的子網路或「專家」，允許稀疏激活，即每次推理步驟僅使用部分參數。動態結構剪枝是一種壓縮技術，根據學習到的標準自動決定模型中哪些部分需要剪枝，而非使用靜態規則。ToMoE 結合了這些概念，能夠高效地將標準稠密模型轉換為稀疏的 MoE 模型。

社群觀察

社群成員討論了此技術對未來模型發布的潛在影響，有人推測它可能讓即將推出的 Qwen 模型產生高效變體。其他人則指出，雖然它優於現有的 MoE 轉換技術，但與從頭訓練 MoE 模型相比，仍可能導致一些效能損傷。