開發者 Indras Mirror 發布了基於 Strata 架構的推理引擎 Xolotl,該引擎能在單張 RTX 4090 (24GB VRAM) 上運行擁有 552B 參數的 DeepSeek-V4.1-Flash 模型。測試環境使用 Ryzen 7 5700X CPU、90GB DDR4 RAM 及 NVMe 儲存裝置,透過將權重分散至 VRAM、固定記憶體 (Pinned RAM) 和 NVMe,並僅載入每個 token 實際需要的專家模組 (Experts),實現了約 27 tok/s 的解碼速度與 180-320 tok/s 的預填充速度。在啟用思考模式並透過真實伺服器運行的情況下,該配置在 512K 上下文長度下通過了 HumanEval 測試 (21/21)、工具調用測試 (10/10) 及代理式錯誤修復循環 (3/3)。此外,Xolotl 引擎也支援 GLM-5.3-Flash、Qwen3.8-Flash-Next 和 Qwen3.8-27B 等模型。開發者目前正下載 DeepSeek-V4.1-Flash-1017 版本 (510GB),計畫進行去審查化 (abliterate) 並量化為 Xolotl 格式,預計數日內發布 Uncensored 1017 量化版。由於 V4.1-1017 與 V4.1 架構及配置相同但權重不同,需重新執行校準與量化流程,預期吞吐量將維持不變。
尚待確認:開發者提到網路下載速度較慢 ('internet is a lemon'),具體完成時間僅為預估 ('Hoping to have everything up in a couple of days')。
尚待確認:1017 版本的吞吐量預測基於架構相同的前提,尚未經過實際測試驗證。



