研究人員提出「量化感知修復」（QAH）方法，使壓縮後的 4 位元大型語言模型在特定基準測試中，表現優於其全精度對應版本。該技術透過利用未壓縮教師模型的對數機率（logit）層級資訊，來恢復量化過程中損失的準確度。

此發現挑戰了「量化必然導致模型性能下降」的傳統觀點，顯示壓縮模型在資源受限硬體上部署時可達高效率。研究指出，應用適當修復技術能在不犧牲品質的前提下，大幅降低計算成本與延遲。

QAH 對壓縮方法具通用性，僅需存取教師模型的對數機率層級資訊。該方法專門針對同時經過結構壓縮與 4 位元量化的模型進行準確度恢復，但尚未驗證其是否適用於層剪枝等其他結構壓縮技術。

事件背景

量化技術將模型權重精度從全浮點數（如 16 位元）降低至較低位寬（如 4 位元），大幅減少記憶體使用與推論延遲，使大型模型能在普通硬體運行，但通常伴隨準確度下降。量化感知訓練（QAT）是將精度降低整合進訓練過程以減輕損失的相關技術，而 QAH 則是在壓縮後應用修復配方。

社群觀察

社群反應持懷疑態度。用戶質疑該模型是否真正優於原版，或僅因資料污染在特定基準測試中表現出色。批評者指出，若缺乏原始訓練資料集與配方，結果很可能只是量化微調模型，而非全精度模型能力的真正複製。