vLLM 專案發布 v0.31.0 版本，此版本包含來自 307 位貢獻者（其中 96 位為新貢獻者）的 717 次提交。主要亮點包括針對 DeepSeek-V4.1-Flash 的性能優化、快速重啟功能、Model Runner V2 與推測解碼改進、大規模服務支持、排程控制、HiSparse 強化、安全性改進以及破壞性變更。
在 DeepSeek-V4.1-Flash 性能方面，FlashMLA 巨型注意力機制與 V4.1 NVFP4 壓縮 KV 快取現已成為 SM100 架構的預設選項。其他優化包括 DeepGEMM 稀疏 MQA 對數用於索引器、Mega-Gate 融合閘門 GEMM 與專家選擇、解碼器邊界融合 TP all-reduce 與 MoE 最終化、SM100/SM103 上的融合小批次 WO-A 與逆 RoPE 及 MXFP8 量化、MXFP8 `wo_b` GEMM 與序列並行 reduce-scatter 融合、Engram `wkv` 跨 TP 排名分片、Engram 主機表預設跨共置 DP 副本共享、視覺塔的編碼器 CUDA 圖形，以及保持滑動視窗 KV 不在前綴快取中的 SWA 有界重放。
快速重啟功能方面，新的 `vllm preload` CLI 啟動了權重快取守護進程，該守護進程在引擎重啟之間將量化後的權重保留在 GPU 記憶體中。此功能現已支持數據並行、MTP 草稿模型、`/health` 端點和就緒等待。實驗性的初始化引擎快照（`vllm snapshot create/restore`）使用 CRIU 來恢復完全初始化的 TP1 引擎。
在 Model Runner V2 和推測解碼方面，新增了草稿模型推測解碼和自定義對數處理器。引入了新的 LiLiCorr 草稿生成器，以及 DFlash 的異步調度，其中上下文 K/V 預計算被捕獲在草稿 CUDA 圖中。此外，還支持 Gemma4 的 DSpark 自適應驗證和 Kimi-K3 的可變長度解碼，以及 MoE 內存在 MRV2 分析期間計數，以避免 WideEP 部署中的 OOM。
大規模服務方面，新增了 MoonEP 平衡 EP all2all 後端、具有數據並行的預填充上下文並行、SM100/SM103 的低 SM 多記憶體 reduce-scatter、具有序列並行的 DeepEPv2 和具有共享專家重疊的 EPLB、用於 RL 的分片感知 NCCL M2N 權重傳輸後端，以及 KV 卸載背壓檢測。
排程控制方面，`--max-num-active-seqs` 獨立於 `max_num_seqs` 限制 RUNNING 准入，`--long-prefill-token-threshold` 現在適應等待預填充的數量，而不是對單一請求進行分塊。等待隊列經過重構，使得已經持有 KV 塊的請求優先調度，並修復了 KV 壓力下 KV 連接器 + MTP 的死鎖。
HiSparse 強化方面，解決了 MTP 驗證行與聯合駐留內核、修復了 FULL 圖形下的 MTP 接受崩潰、沒有主機備份的 GPU 頁面、分塊預填充搶佔活鎖、從 HiSparse 分配的組大小調整 KV 快取，以及主機前綴發布和 GPU 前綴採用的修復。
安全性方面，除非設置 `--trust-request-mm-kwargs`，否則拒絕每請求的 `mm_processor_kwargs` 和 `media_io_kwargs`。前綴快取的額外鍵按來源標記，因此 LoRA 名稱和 `cache_salt` 不再衝突，且 LoRA 路徑是塊哈希的一部分。過期的多模態接收器快取條目不再能替換新的負載。
破壞性變更包括：每請求多模態參數受限、移除 `tokenizer_mode="slow"`、將 `--enable-mamba-fine-grained-prefix-cache` 重命名為 `--enable-mamba-shared-prefix-checkpoint`、用 `fp8_per_tensor` 簡寫替換通過 `quantization="fp8"` 的在線量化、移除 Quark 靜默在線量化、移除 AllSpark INT8 W8A16 後端、`--enforce-eager` 現在也禁用 JIT 內核預熱、默認啟用 XPU 圖形並移除 `VLLM_XPU_ENABLE_XPU_GRAPH`。
模型支持方面，新增了 DiffusionGemma 結構化生成模式、MiMo V2 MXFP4 MoE、Cohere2MoE 輔助隱藏狀態、GLM-5.2-MXFP4、AMD-Quark 混合精度 DeepSeek-V4.1-Flash-MXFP4 和 GLM-5.3-Flash Quark MXFP4 檢查點，以及 Granite 4.2 的內置 `granite_thinking_parser`。此外，還對 DeepSeek-V4.1-Flash、DeepSeek V4、GLM-5.3-Flash、Qwen3.8-Flash-Next、Kimi K3、MiniMax-M3、DiffusionGemma、多模態和 LoRA 進行了多項優化和修復。
事件背景
vLLM 是一個用於高吞吐量且記憶體效率高的大型語言模型推論與服務的開源函式庫。DeepSeek-V4.1-Flash 是 DeepSeek 模型家族中針對速度和效率進行優化的變體，通常利用多頭潛在注意力（MLA）和推測解碼等技術來降低延遲和記憶體佔用。
