技術原理與精度恢復機制

ISTA-DASLab 展示了一項新技術，透過從 SSD 串流資料的預填充模型（prefiller model），來改善 Qwen3.8-27B 在低量化設定下的表現。

這種方法的核心目標是在維持低 VRAM 使用量與快速解碼速度的前提下，恢復因量化而損失的模型準確度。

硬體限制與效能數據

該預填充模型的運行環境有嚴格限制，必須使用 Nvidia Blackwell GPU 才能執行。

根據發布者提供的 MMLU-Pro 準確度圖表，該方案能有效提升低量化版本的測試成績。

在處理超過約 4k token 的長上下文時，官方宣稱與不使用預填充模型相比，不會產生速度上的懲罰。

社群驗證狀態與資源連結

由於需要特定的 Blackwell GPU 硬體，目前尚未有廣泛的社群用戶進行實際測試與反饋。

相關模型檔案已發布於 Hugging Face 平台，供具備相應硬體的開發者下載與評估。