使用者在 8 張 NVIDIA B300 GPU 上使用 vLLM 和原生 MXFP4 量化技術部署了 2.8 兆參數的 Kimi K3 模型，達到每秒 92 個 token 的穩定解碼速度。部署成本約為每百萬輸出 token 190 美元，而使用 Unsloth 的 1-bit UD-IQ1_S 量化技術在 A100 上進行的比較運行則產生了顯著較低的吞吐量。此基準測試提供了關於 B300 硬體在大型語言模型推論方面能力的具體實測數據，突顯了高吞吐量平行服務與單一流延遲之間的權衡。它也展示了像 MXFP4 這樣的原生 GPU 最佳化格式與像 GGUF 這樣的 CPU/GPU 相容量化格式之間的效能差距。B300 設定需要 27 分鐘的冷啟動來載入 1.56 TB 的模型，首 token 時間（TTFT）約為一秒。相比之下，A100 上的 1-bit 量化模型每小時成本較低，但在服務單一流時，推論速度較慢且每個 token 的成本較高。

事件背景

NVIDIA B300 是一款基於 Blackwell Ultra 架構的高效能 GPU，配備 288GB HBM3E 記憶體，並針對 AI 推論工作負載進行了最佳化。MXFP4 是一種 4 位元浮點量化格式，使用區塊縮放來減少記憶體使用量同時保持精度，非常適合在單張或少數 GPU 上運行大型模型。GGUF 是用於 llama.cpp 等推論引擎中量化模型的常見檔案格式，通常支援各種量化方案，例如將模型壓縮至 1 位元精度的 IQ1_S。

社群觀察

社群成員對每 token 成本的指標有效性展開討論，指出該指標有利於平行服務場景而非單一流推論。部分使用者指出 1-bit 量化可能會降低模型能力，並建議使用 SGLang 等替代設定或引擎以獲得更好的效能。