一名用戶在運行具有 512K 上下文視窗的 Qwen3.8-Flash-Next 模型的雙節點 NVIDIA DGX Spark 叢集上，達成每秒 181 個記號的聚合吞吐量。此效能是透過使用 NVFP4 量化與 RDMA 網路，在約九個並行代理程式會話中實現的。 該設定對 Qwen3.8-Flash-Next 模型採用 NVFP4 量化，並將 47.7 GiB 的 n-gram 嵌入表直接從 NVMe 儲存裝置映射，以減少記憶體佔用。節點透過 ConnectX-7 使用 RDMA (RoCE) 連接，以確保最佳吞吐量，避免 TCP 備援帶來的效能損失。

事件背景

NVIDIA DGX Spark 搭載 GB10 Grace Blackwell 超級晶片，將 20 核心 ARM CPU 與 Blackwell GPU 及 128 GB 統一系統記憶體結合。此架構允許 CPU 和 GPU 共享同一記憶體池，從而降低資料傳輸延遲。NVFP4 是一種旨在加速推理並保持模型準確性的低精度量化格式，在 Blackwell 硬體上特別有效。

社群觀察

社群成員對結果表示熱情，其中一些人要求澄清單一流解碼速度，並詢問其他應用程式剩餘的可用記憶體。其他人則讚賞詳細的撰寫內容對其自身基準測試工作的價值，並要求與不同量化方法進行比較。