vLLM v0.30.0 引入了持久的 GPU 權重快取守護程序，透過 CUDA IPC 實現引擎的快速重新啟動，並原生支援 DeepSeek-V4.1 與 GLM-5.3 模型。此次更新還加入了 MXFP8 和 FP4 等進階量化功能，並針對 SM100 硬體進行了效能優化。 此次更新大幅降低了引擎重新啟動時的推論延遲，對於動態服務工作負載至關重要。同時，它確保 vLLM 能持續領先支援最新的前沿模型與硬體架構，例如 NVIDIA 的 SM100。 新的權重快取守護程序使用 CUDA IPC 將後量化且經張量平行切分的權重直接從 GPU 記憶體映射，從而繞過磁碟 I/O。此外，DeepSeek-V4.1 的支援包含 SM100 上的 FlashMLA V4.1，以及用於高效 KV 快取管理的 Engram 非同步預取功能。
事件背景
vLLM 是一個廣泛使用的開源快速 LLM 推論函式庫，以其分頁注意力（PagedAttention）機制和高吞吐量聞名。GPU 權重快取是指在引擎重新啟動時將模型權重保留在 GPU 記憶體中，以避免從磁碟重新載入，因為後者速度較慢。CUDA IPC 允許同一個 GPU 上的不同程序直接共享記憶體，從而實現這種快速重新啟動的能力。
