Reddit 用戶批評 Puget Systems 的一份基準測試報告，指出其使用昂貴的雙 AMD Radeon AI PRO R9700 配置進行測試時，僅採用 Q4 量化模型，而非聲稱的 FP16 精度。社群指出，這些測試使用了小型模型和短提示長度，未能充分發揮硬體的性能。 這突顯了硬體行銷中的差異，廠商可能使用量化技術讓大型模型能在消費級 GPU 上運行，進而影響買家對 AI 推論性能的評估。這也引發了關於旨在部署本地大型語言模型的高階工作站基準測試有效性的疑問。 該報告使用 Q4_K_M 量化在兩張 R9700 卡上測試了 27B 模型，儘管聲稱單卡配置的限制為 FP16。用戶指出，在 Q4 精度下，單張卡就能處理 27B 和 35B 模型，使得雙卡的合理性更具爭議。
事件背景
量化透過降低模型權重的精度（例如從 16 位元浮點數降至 4 位元整數）來節省記憶體並提升速度，通常會以輕微的準確度損失為代價。FP16（半精度浮點數）是 AI 運算的標準格式，提供較高的精度，但比 Q4 等量化格式需要更多的 VRAM。
社群觀察
社群對測試方法表示不滿，認為這些配置無法證明硬體高昂成本的合理性。評論者指出，該廠商更重視銷售支援服務而非展示真正的 AI 專業，並舉例說明極小的模型在龐大設置上運行的情況。
