Reddit 上的分析釐清 DeepSeek V4.1 Flash 總參數為 748B,包含 552B 的基礎模型與約 196B 可卸載的「engram」參數。這解決了先前公開報導中引用的 284B、305B 或 522B 等數據差異。 此區分對於本地大語言模型用戶準確估算硬體需求至關重要,特別是卸載稀疏元件所需的 RAM 和 SSD 容量。它突顯了現代 MoE 架構如何透過將始終活躍的主幹權重與稀疏訪問的記憶體分離來管理記憶體。 該模型採用 NVFP4 量化,Hugging Face 最初將打包的 FP4 位元組誤算為個別參數導致計數錯誤。Engram 參數(約 196B)設計為可卸載至 SSD,使該模型能在具有較低 VRAM 的消費級硬體上運行。
事件背景
專家混合模型(MoE)對每個 token 僅激活總參數的子集,從而以較低的推理成本實現龐大的參數數量。「Engram」指的是一種稀疏記憶體元件,可儲存於 SSD 等較慢的儲存設備中並按需載入,從而減少活躍模型權重所需的 VRAM。NVFP4 是一種針對 Nvidia Blackwell GPU 優化的量化格式,將兩個 4 位元值打包成一個位元組。
社群觀察
社群成員討論將 engram 卸載至 SSD 的實際影響,並辯論線性讀取速度與隨機 4k 讀取速度何者更為重要。部分用戶認為由於 engram 位於磁碟上,不應計入核心參數數量,而其他用戶則指出標準消費級 NVMe 驅動器足以應付此類工作負載。



