Flash-Next W4A16 模型在啟用 MTP-3 後的吞吐量差異

測試使用 vLLM 0.30.0 版本，於 2026 年 10 月 18 日進行。數據為整體輸出吞吐量（tokens/sec），包含請求間的等待時間，並非僅計算提示詞處理速度。

在啟用 MTP-3 的情況下，Flash-Next W4A16 模型於零上下文長度、單請求條件下的吞吐量為 84.5 tokens/sec；若停用 MTP-3，同條件下吞吐量則為 42.7 tokens/sec。

隨著上下文長度增加至 200K tokens，啟用 MTP-3 的單請求吞吐量降至 45.8 tokens/sec，而停用 MTP-3 時則降至 31.5 tokens/sec。

Qwen3.8-27B INT4 模型在單卡與四卡配置的擴展性

測試使用 vLLM 0.31.0+xpu.llmscaler 版本，於 2026 年 10 月 19 日進行。數據顯示多卡配置能顯著提升吞吐量，但高並發時會遇到容量限制。

在單張 B65 配置下，Qwen3.8-27B INT4 模型於零上下文長度、8 並發請求時的吞吐量為 204.3 tokens/sec；增至四張 B65 後，同條件下吞吐量提升至 468.2 tokens/sec。

當並發請求數增至 16 時，單卡配置的吞吐量降至 159.3 tokens/sec，而四卡配置則為 458.1 tokens/sec。隨著上下文長度增加至 200K tokens，四卡配置的吞吐量進一步降至 33.8 tokens/sec（單請求）。

Qwen3.8-27B FP8 與 BF16 精度的性能比較

測試使用 vLLM 0.32.0 版本，於 2026 年 10 月 19 日進行。數據顯示不同精度格式對吞吐量有顯著影響。

在四張 B65 配置下，Qwen3.8-27B FP8 模型於零上下文長度、16 並發請求時的吞吐量為 404.2 tokens/sec；BF16 格式則為 389.5 tokens/sec。

隨著上下文長度增加至 200K tokens，FP8 格式的單請求吞吐量降至 23.2 tokens/sec，BF16 格式則降至 22.7 tokens/sec。

測試條件與數據解讀注意事項

所有數據均為吞吐量測量值，並非模型品質評分。不同配置使用的引擎版本不同，因此跨配置的比較需謹慎。

標有星號（*）的結果表示請求排隊或受限於容量，不應視為完全持續的並發處理能力。橫線（—）表示因超出容量而跳過的測試項目。

上下文長度單位 K 代表 1,024 tokens。作者指出這些測試旨在評估高記憶體頻寬在實際應用中的表現，並歡迎讀者提出其他特定測試需求。