vLLM v0.29.0 正式將 Model Runner V2 設為所有支援模型的預設執行核心，取代了舊版的 MRV1 架構。此次發布還新增了對 Hy4 和 Qwen3.8-Flash-Next 等前沿架構的支援，並引入了批次分片採樣（batch-sharded sampling）等效能優化功能。
切換至 MRV2 代表了一項重大的架構轉變，它在不改變公共 API 的情況下提升了程式碼的模組化與執行效率，進而影響大多數使用者的效能與記憶體使用量。這確保了開發者能夠開箱即用 newer 的模型以及 CUDA 圖形記憶體配置分析等優化功能。
關鍵技術改進包括將每個步驟的 logits 記憶體減少 1/TP 的批次分片採樣，以及用於 KV 快取自動配置的 CUDA 圖形記憶體配置分析。此次發布還包含針對 Kimi-K3 的融合 MXFP4 top-k 最終化，以及對多個新模型的原生 MTP 支援。
事件背景
vLLM 是一個廣泛使用的快速大型語言模型推理開源函式庫，以其優化記憶體管理的分頁注意力（PagedAttention）機制而聞名。Model Runner V2 是 vLLM 核心執行引擎的全面重新實作，旨在解決原始版本的技術債，並提供更具模組化、高效能且易於維護的程式碼庫，以處理多樣化的模型架構。
