一位 Reddit 使用者分享其在 RTX 4060 (8GB VRAM) 上進行的實驗，嘗試將現有的稠密語言模型轉換為稀疏混合專家（MoE）架構，且未從頭進行預訓練。該使用者選擇了兩個小型模型進行轉換：Qwen/Qwen2.5-0.5B 和 HuggingFaceTB/SmolLM2-360M，並已將轉換後的模型發布於 Hugging Face。轉換後的模型結構包含 32 個專家搭配 top-8 路由機制及一個共享專家。由於部分層級（如最後一層，以及 SmolLM2 的第 3 層）難以轉換，這些層被保留為原始的稠密層，這導致 MLP 計算量略有增加，但作者認為這是值得的取捨。具體而言，Qwen2.5-0.5B-MoE 在第 23 層保留了一個稠密層，而 SmolLM2-360M-MoE 在第 3 層和第 31 層保留了兩個稠密層。兩個模型均被導出為 Qwen2-MoE 格式。
評估結果顯示，轉換後的模型每個 token 的 MLP 計算量降至原始模型的約 40%（Qwen2.5-0.5B-MoE）和 44%（SmolLM2-360M-MoE）。然而，模型效能出現顯著下降。以 Qwen2.5-0.5B 為例，WikiText-2 的困惑度（ppl）從 14.66 升至 19.20，C4 的 ppl 從 21.29 升至 28.97；在 HellaSwag、ARC-Easy 等基準測試中，平均歸一化準確率從 0.467 降至 0.408。SmolLM2-360M 的情況類似，WikiText-2 ppl 從 12.94 升至 19.11，平均歸一化準確率從 0.514 降至 0.417。
作者指出，由於模型最多僅使用原始 MLP 計算量的 50%，因此必然存在品質差距，無法與原始稠密模型競爭。此外，由於這些模型本身規模極小，在此尺度下性能提升幾乎微不足道。作者選擇這些模型是因為它們小到可以在其硬體上運作。未來計劃包括轉換更大的模型、進行更長的訓練以及測試更精細的專家佈局，但受限於硬體算力，作者邀請有興趣者透過 Ko-fi 支持，並承諾新成果將公開發布。
事件背景
「MoE 升級」（Upcycling）是指將預訓練的稠密模型轉換為稀疏 MoE 架構的技術，旨在透過僅運行部分 MLP 來降低每個 token 的推論成本，同時保留大致相同的知識。大型實驗室通常擁有龐大的計算預算來執行此類操作。此實驗旨在探索在消費級硬體（如 RTX 4060）上進行此類轉換的可行性。
社群觀察
社群成員 Chromix_ 指出該結果與近期分享的 ToMoE 論文結果一致，並詢問作者是否使用了該方法或自行開發。ByteSize_Chaos 強烈希望有人能將此技術應用於 Qwen 3.8 27B 或 Qwen 4，認為這將填補 35B A3B 模型的空白。Juan_Valadez 分享了另一個 Hugging Face 模型頁面連結。TomLucidor 建議若要進行升級，可參考 longcat-flash-lite，並建議調整總參數與活躍參數的比例，或嘗試 N-gram embedding。Silver-Champion-4846 則詢問 Qwen3.8 27b 是否能在 32GB DDR4 RAM 上運行。
