一位使用者開發了針對 RDNA2 架構最佳化的自訂 vLLM 分支，在配備 8 張 Radeon Pro V620 顯示卡（總計 256 GB VRAM）的系統上執行 Qwen3.8-Flash-Next 模型，達成了每秒 3000 個 token 以上的預填充（prefill）速度以及每秒 60 到 100 個 token 的解碼（decode）速度。該系統使用 8 張 32GB VRAM 的顯示卡，對路由專家（routed experts）採用 W4A16 量化，其餘權重保持 BF16 格式，並啟用帶有 3 個 token 草稿的多 token 預測（MTP）。這個自訂分支解決了 llama.cpp 預填充效能低落（約 350-450 t/s）以及原版 vLLM 不支援這些顯示卡的問題。測試結果基於 llama-benchy，並行數為 1，vLLM 運行時 PP=4（無張量並行）。若停用 MTP，解碼速度為每秒 40 到 50 個 token。作者表示此結果比預期好得多，預填充速度比 llama.cpp 快約 800%，並計劃繼續優化以確保 DeepSeek 和 GLM-5.3-Flash 也能正常運作。

事件背景

Radeon Pro V620 是基於較舊 RDNA2 架構的企業級雲端遊戲 GPU，配備 32GB VRAM。

社群觀察

社群對實際實施細節表示興趣，例如主機板連接方式、電源需求，以及在相同系統上執行 GLM-5.3-Flash 等其他模型的可行性。