中國電信發布了 Xing4.0-29B-A4B，這是一個擁有 290 億總參數且每 token 僅激活 40 億參數的混合專家（MoE）語言模型。該模型是首款在華為昇騰 NPU 平台上使用 MindSpore 框架完整訓練的同規模模型，並原生支援 256K 上下文長度。 此發布為以 NVIDIA 為中心的模型提供了重要替代方案，證明了在昇騰硬體上進行高效訓練的能力，這對受美國出口限制影響的中國 AI 基礎設施至關重要。它突顯了 MindSpore 生態系的日益成熟，並為本地開發者提供了針對複雜工程任務優化的高效能選項。 該模型採用具備 mHC、MLA 和 MTP 元件的 Agent 導向架構，以支援多步驟規劃和工具呼叫。它針對昇騰 910C 叢集進行了深度共優，包含融合運算子和通訊優化，顯著提升了訓練吞吐量。

事件背景

混合專家（MoE）是一種將神經網路分割為多個稱為「專家」的專用子網路的架構，針對每個 token 僅激活少數專家，從而在保持大型模型容量的同時降低計算成本。華為昇騰 NPU 是旨在與 NVIDIA GPU 競爭的 AI 加速器，特別是在中國市場，而 MindSpore 是華為為高效利用這些晶片而開發的開源深度學習框架。

社群觀察

社群成員對訓練方法感興趣，並要求公開訓練程式碼。討論中還將該模型與 Qwen 系列進行了比較，並探討其適用於微調還是編碼任務。