Reddit 社群 LocalLLaMA 上出現熱烈討論，作者批評近期湧現的 NVFP4 與 MXFP4 推理引擎。這些引擎雖透過極端量化大幅提升推理速度，卻嚴重損害了小規模稠密模型的輸出品質，導致大量幻覺與邏輯錯誤。

作者指出，標準的 Q4 量化通常會將敏感張量保留在 BF16 或 Q8 格式。相比之下，這些新引擎常將所有內容（包括 K/V 快取）強制量化至 FP4。這種做法對參數較少的小模型打擊尤甚，導致效益遞減。

技術細節上，NVFP4 使用具有 FP8 比例的 16 元素區塊，而 MXFP4 使用具有 E8M0 比例的 32 元素區塊，兩者對準確度的影響不同。此討論挑戰了「量化位元越低性能越好」的假設，強調在速度與準確度間需取得平衡。

事件背景

量化技術透過降低模型權重的精確度來節省記憶體並加速推理，FP4 是一種極低精度的格式。小規模稠密模型的參數量較少，因此在量化過程中對資訊損失更為敏感。NVFP4 和 MXFP4 分別是 NVIDIA 和微軟開發的特定格式，針對不同的硬體架構與準確度權衡進行了優化。

社群觀察

社群意見呈現兩極化。部分用戶同意 FP4 會導致小模型出現品質問題，但也有用戶報告在使用 Qwen 27b 等大型模型時，NVFP4 運作良好且無明顯問題。此外，許多評論者指出此類基準測試帖子的激增令人疲憊，建議用戶若不符合自身需求可直接略過。