一名使用者成功在四張 2017 年製的 NVIDIA V100 GPU 上，以 NVFP4 量化格式運行 Qwen 3.8 模型，其推理性能可與售價 6,000 美元的新型 RTX 5090 相媲美。這證明了當搭配 NVFP4 等先進量化格式時，舊款硬體在本地 LLM 推理中仍能保持高度競爭力，大幅降低了獲得高效能 AI 的門檻。NVFP4 是一種 4 位元浮點數格式，最初隨 Blackwell 架構推出，相比 16 位元格式可將記憶體佔用減少 4 倍，同時透過在 Volta 張量核心上運行自訂核心來維持準確度。
事件背景
NVFP4（NVIDIA FP4）是一種低精度量化格式，旨在透過將模型權重從標準 16 位元浮點數降低至 4 位元來加速推理。基於較舊 Volta 架構的 NVIDIA V100 配備了支援混合精度運算的 Tensor Cores，使其能夠高效處理較低位元的格式，儘管它並非原生為 NVFP4 設計。
社群觀察
社群成員對其性價比表示興奮，有人指出 V100 的價格大約是 RTX 5090 的十分之一。其他人則詢問該技術是否適用於 RTX 3090 等消費級顯示卡，還有幾位使用者打算親自測試這個自訂的 V100 核心。
