量化模型效能與測試數據
開發者基於 lxe 的 dsx 引擎,建立了 DeepSeek-V4.1-Flash-1017-dsx-2.6bit 版本。該模型主要用於程式編寫和代理任務(agentic tasks),權重檔案已上傳至相關平台。
根據測試數據,此 2.6127 bpw 版本的配置專家 KL 散度為 0.1972,Top-1 準確率達 82.59%,困惑度(Perplexity)為 9.3626。相較於作者先前發布的 2.03 bpw 版本,新版本的 Top-1 準確率從 71.5% 提升至 82.59%,困惑度則從 11.66 降至 9.3626。
作為參考基準,FP8/FP4 teacher 模型的 Top-1 準確率為 100%,困惑度為 8.56;而 Lucebox ROCMFP 2.5 bpw 版本的 Top-1 準確率為 78.7%,困惑度為 9.78。
硬體配置與執行環境限制
測試硬體包含兩張 RTX 3090 顯示卡、Intel Ultra 7 270k Plus 處理器以及 192 GB DDR5@5600 MHz 記憶體。在啟用 Engram 表格(大小為 203 GB,存放於 SATA SSD)並設定 262,144 token 的上下文長度下,模型達到每秒 26 token 的生成速度和每秒 170 token 的提示處理速度。
由於權重檔案高達 187.6 GB 且存放在 HDD 中,載入過程需要 90 至 110 分鐘。此外,dsx 引擎目前尚未支援圖像輸入功能,僅能處理文字任務。



