開發者 Bayliner1980 發布了將 Qwen2.5-1.5B 和 0.5B 稠密模型轉換為混合專家（MoE）架構的更新，並釋出了對應的 GGUF 版本。最新轉換的模型為 Qwen2.5-1.5B-MoE-A0.9B，同時提供了 0.5B 和 1.5B 模型的 GGUF 檔案。

在 RTX 4060 8 GB 顯卡搭配 Ryzen 5 7500F 處理器的測試環境下，使用 Q4_K_M 量化格式進行 llama-bench 測試顯示，轉換後的 MoE 模型在 GPU 上的文字生成速度從 191 tokens/s 提升至 253 tokens/s（提升 32%），在 CPU 上的速度從 54.9 tokens/s 提升至 77.5 tokens/s（提升 41%）。這是首次轉換後的模型在 GPU 上也明顯快於原始稠密模型（此前 0.5B 模型僅提升 6%）。

然而，這種速度提升伴隨著顯著的品質下降。WikiText-2 測試的困惑度（perplexity）從 10.41 上升至 14.63（增加 41%），C4 驗證集的困惑度從 15.76 上升至 22.88（增加 45%）。在零樣本任務的平均正規化準確率從 0.565 降至 0.462。具體基準測試成績如下：HellaSwag 從 0.592 降至 0.510，ARC-Easy 從 0.723 降至 0.572，ARC-Challenge 從 0.452 降至 0.311，WinoGrande 從 0.646 降至 0.588，OpenBookQA 從 0.410 降至 0.328。其中 ARC 任務的成績下降最為明顯。

開發者指出，在此規模下，轉換後模型的品質大致相當於 Qwen2.5-0.5B，後者甚至更快，因此此次發布更偏向概念驗證。開發者認為，此方法在 MLP 計算佔比較大的更大規模模型上應能帶來更大效益。此外，由於 llama.cpp 的 MoE 架構需要未綁定的輸出頭（untied output head），轉換後的 GGUF 檔案比原始稠密模型檔案更大（Q4_K_M 格式下為 1.1 GB 對比 0.9 GB）。