vLLM 專案發布 v0.28.0 版本，此更新匯聚了 270 位貢獻者的 584 次提交。本次發布的重點在於對 Kimi-K3 和 DeepSeek V4 模型的重大效能優化。

針對 Kimi-K3，版本引入了解碼上下文平行化（DCP）支援以及融合的 FlashKDA 核心。對於 DeepSeek V4，則實現了端到端稀疏 MLA 支援。此外，版本也加入了 AMD Quark NVFP4 量化支援。

在架構與硬體方面，Model Runner V2 已趨於成熟，具備 E/P/D 分離支援以及分層 KV 快取離載至磁碟的功能。ROCm 相容性的加入擴大了硬體彈性，使這些模型能在 AMD GPU 上與 NVIDIA 硬體並行高效運行。

事件背景

vLLM 是一個廣泛使用的開源函式庫，用於快速且高效的大型語言模型（LLM）推論。稀疏多頭潛注意力（Sparse MLA）是 DeepSeek 等模型使用的注意力機制，旨在降低計算開銷；FlashKDA 則是指針對 Kimi 的 Delta Attention 架構最佳化的核心。ROCm 是 AMD 的 GPU 運算軟體平台，使 vLLM 能夠在 AMD Instinct 加速器上運行。