一名用戶報告在使用 NVIDIA RTX 5090 顯示卡搭配 NInfer 引擎運行 Qwen3.8-27B 模型時，達到了每秒約 220 個 token 的推理速度。這項效能表現顯著提升，相較於 llama.cpp 等先前工具，吞吐量增加了兩倍至三倍之多。 這項突破展示了在消費級硬體上運行前緣規模本地模型的高效可行性，讓進階 AI 技術更易於個人開發者使用。它突顯了 NInfer 等專用推理引擎在優化新世代 GPU 架構以實現具成本效益部署方面的重要角色。 該設定採用 NVFP4 量化技術，並搭配具有草稿 token 的多 token 預測（MTP）猜測解碼來最大化速度。雖然推理速度極快，但用戶指出 q6 與 nvfp4 量化層級之間的精度損失明顯，這是在精確度與吞吐量之間所做的權衡。

事件背景

NInfer 是一個高效能的 C++/CUDA 推理引擎，專為 NVIDIA GeForce RTX 5090 顯示卡優化，支援文字、影像和影片提示。NVFP4 是 NVIDIA 開發的 4 位元量化格式，能大幅降低記憶體使用量同時保持合理的準確率。猜測解碼是一種技術，由較小的「草稿」模型快速生成 token，再由較大的目標模型進行驗證，從而加速整體推理過程。

社群觀察

社群對這項效能表現感到興奮，部分用戶指出，六個月前的前緣模型現在已能以低廉成本在消費級硬體上運行。然而，也有關於 NVFP4 量化精度權衡的討論，以及對 NInfer 支援 AMD 和 Intel GPU 分支版本的呼籲。