AntLing 已開放其 Ling-3.0-tiny 與 Ling-3.0-flash 模型的六個基礎檢查點，涵蓋預訓練、中訓練及 WSM 合併階段。Ling-3.0-flash 模型採用 124B 參數的混合專家（MoE）架構，每 token 約激活 5.1B 參數，並利用 WSM 技術進行檢查點合併。

事件背景

大型語言模型（LLM）的訓練通常包含多個階段：在龐大語料庫上的預訓練、領域適應的中訓練，以及對齊的後訓練。Warmup-Stable and Merge（WSM）技術是一種將學習率衰減與模型合併聯繫起來的框架，使開發者能夠在不使用複雜排程的情況下有效合併檢查點。

社群觀察

社群將此次發布視為重大貢獻，並期待它能促進高壓縮比 1-bit 或 2-bit 模型的開發。部分用戶讚賞這些檢查點，但也有其他人指出，若能分享訓練數據與流程，將能進一步提升此次發布的實用性。