一位使用者成功在六張 NVIDIA V100 GPU 的機架上部署了 Qwen 3.8 Next 模型，採用張量平行 2 與管線平行 3（TP2 PP3）策略。在排除 PCIe 連線速度問題並測試多個引擎後，最終透過 1cat-vllm 引擎並設定猜測解碼為 1 來穩定運行。

該設定使用了專為 Volta 架構優化的 1cat-vllm 引擎，在約 8.78 GiB 的 KV 快取大小下實現了穩定的推論。使用者指出，由於記憶體限制，猜測解碼因子限制為 1，但對於 1K 輸入長度，提示處理速度高達每秒 1,389 個 token。

這證明了透過適當優化，大型語言模型仍能在較舊且具成本效益的硬體（如 V100）上高效運行。它為希望在不升級新架構的情況下最大化舊世代 GPU 效能的愛好者與研究人員提供了實用的參考範例。

事件背景

張量平行（TP）將模型層的重量矩陣分割到多個 GPU 上，而管線平行（PP）則將模型層本身劃分為分佈在裝置上的各個階段。NVIDIA V100 採用 Volta 架構，屬於較舊世代的 GPU，雖然缺乏新卡的一些功能，但因其高記憶體頻寬和多 GPU 設定中的性價比而廣受歡迎。1cat-vllm 等引擎是 vLLM 的專用分支，旨在為這些舊世代 SM70 GPU 釋放現代推論效能。