一位使用者以 250 美元的預算，預訓練了一個擁有 10.2 億參數的 Kimi K3 架構複製品。該模型在 HellaSwag 測試中獲得 33.4% 的分數，超越了 GPT-2（124M）的 28% 分數。

該模型每個 token 有 1.45 億個活躍參數，並使用 50 億個去污染 token 進行訓練。它採用了閾值 MLA、注意力殘差連接，以及用於 LatentMoE 組件的無輔助損失平衡器。

該模型未經任何指令微調，僅執行下一個 token 預測任務。它採用了 Delta Attention 和 LatentMoE 等 K3 特有的架構組件。

事件背景

Kimi K3 是一款以高效架構聞名的前沿大型語言模型，具備 Kimi Delta Attention 和潛在混合專家（Latent MoE）技術。LatentMoE 在潛在空間中壓縮鍵值向量以降低記憶體使用量，而無輔助損失平衡器則能在訓練期間無需加入複雜的損失項，即可幫助均勻分配 token 至各個專家。

社群觀察

社群高度讚賞此貼文，認為它是高效訓練的獨特且具價值的示範。使用者對將此架構擴展至 35B 等更大模型表示興趣，並建議將 K3 用作自主強化學習的老師模型。