Allen AI 發布了 Olmo-core 3，這是一個專為大型混合專家（MoE）模型設計的開源框架升級版，提供可擴展且高效的訓練基礎設施。此次更新將底層平行化架構從完全分片資料平行性（FSDP）切換至分散式資料平行性（DDP），透過收集並重新分片每個訓練資料小批次的模型權重，以更好地處理更大規模的模型。這種針對效率與可擴展性最佳化的架構轉變，解決了訓練 MoE 模型時的歷史性複雜度問題，降低了研究人員與開發者的使用門檻。該框架能更有效地利用 GPU 叢集，對推動開源大型語言模型的發展至關重要。

事件背景

混合專家（MoE）是一種神經網路架構，將表示與預測的負擔分配給多個專家子網路，每個子網路專門處理不同的資料區域或任務。與所有參數在每次輸入時都活躍的稠密模型不同，MoE 模型僅激活部分專家，使得模型容量大幅增加，同時推理時的計算成本並未成比例增加。然而，以往要擴展訓練這些稀疏模型，通常需要專門的基礎設施和深厚的分散式系統專業知識。