vLLM 正式為 AMD GPU 引入了猜測解碼（speculative decoding）支援，透過草稿模型與目標模型的平行驗證機制來加速推論速度。此優化技術允許系統由較小的草稿模型快速生成多個候選詞元，再由較大的目標模型進行平行驗證，從而減少解碼迭代次數。 這項進展標誌著跨平台 AI 推論的重要里程碑，縮小了 AMD 與 NVIDIA 硬體在大語言模型上的效能差距。它讓使用者能夠利用性價比更高的 AMD GPU 進行高吞吐量的 LLM 服務，同時不犧牲推論速度。 該實作依賴 ROCm 6.2，並採用多處理架構來分離關注點以最大化吞吐量。社群討論指出其接受率與 NVIDIA 相比有所不同，並強調工作站等級的 Radeon Pro W9700 卡相較於資料中心卡片常被低估或未充分利用。

事件背景

猜測解碼是一種推論加速技術，由較小且較快的草稿模型生成多個可能的下一個詞元，隨後由較大且更精確的目標模型進行平行驗證。vLLM 是一個用於服務和部署大語言模型的熱門開源函式庫，以其高吞吐量和透過 PagedAttention 實現的高效記憶體管理而聞名。

社群觀察

社群成員對 AMD 獲得第一級支援表示讚賞，但對工作站等級硬體（如 Radeon Pro W9700）常被忽視而讓位於資料中心卡片感到沮喪。此外，大家也對目標模型如何驗證候選詞元，以及其接受率與 NVIDIA 相比如何等技術細節充滿好奇。