QUASAR-QAT 使用其全新的 QUASAR 量化感知蒸餻（QAD）演算法，發布了 Qwen3.8-27B 模型的全量化 NVFP4 版本。該檢查點在所有線性層上實現了激進的 W4A4 量化，同時在 NVIDIA Blackwell GPU 上保持了接近 BF16 的效能。此發布展示了推理效率的顯著進步，能夠在全模型量化的同時避免注意力層常見的準確率下降。與其他 NVFP4 檢查點相比，該模型在 GPQA-Diamond 和 AIME26 基準測試中保持具競爭力的分數，同時將記憶體使用量從 55.6 GB 減少至 19.7 GB。它支援在 NVIDIA Blackwell GPU 上使用 vLLM 進行服務，最大模型長度為 262,144 個 token。

事件背景

NVFP4 是 NVIDIA 為 Blackwell GPU 推出的 4 位元浮點數量化格式，採用兩層縮放策略以在超低精度下維持準確率。量化感知蒸餻（QAD）是一種透過使用教師模型的對數值來將量化與訓練解耦的技術，使得無需存取原始訓練流程即可對複雜模型進行精確量化。

社群觀察

社群成員對該模型在 RTX 5090 等消費級 GPU 上的相容性，以及轉換為 llamacpp 或 NInfer 格式的可能性表示興趣。使用者還建議測試 W4A8 或 W4A16 變體，以進一步分析 QUASAR 方法的效能權衡。