DeepSeek 目前正在訓練一款擁有 2 兆參數的新模型，並計畫未來開發一款 8 兆參數的模型。這是在其現有的 DeepSeek-V4 系列之後，該系列包含擁有 5,520 億參數的 Flash 變體和擁有 1.6 兆總參數的 Pro 變體。 這一擴展里程碑突顯了 AI 產業對更大模型容量的持續追求，特別是利用 DeepSeek 高效的混合專家（MoE）架構來管理計算成本。這表明 DeepSeek 旨在透過大幅增加參數數量同時保持推理效率，來與頂尖模型競爭。 新模型可能會利用目前 Flash 4.1 架構中高效能的注意力機制和稀疏激活特性，以降低這些龐大規模的訓練成本。雖然 Pro 模型在 1.6 兆總參數中僅激活 490 億個權重，但新的 2T 和 8T 模型旨在進一步擴展此能力。

事件背景

DeepSeek 以其挑戰傳統擴展定律的高性價比 AI 模型而聞名。混合專家（MoE）架構允許大型模型僅為每個輸入激活其參數的子集，與稠密模型相比，大幅降低了推理延遲和能源消耗。這種方法使 DeepSeek 能夠訓練如 1.6T Pro 變體等龐大模型，而無需耗費鉅額的計算資源。

社群觀察

社群成員對 DeepSeek 架構的高效性表示樂觀，部分人推測 Flash 4.1 的注意力機制可能會使這些更大模型的訓練成本大幅降低。然而，對於 10T Mythos 模型的聲稱也存在懷疑，因為研究人員指出，由於過度擬合風險，極大型模型的泛化能力會變得更難。