新模型支援與 DeepSeek-V4 系列優化

vLLM v0.33.0rc3 加入了多款新模型的 day-0 支援，包括 Reflection Beam-1.0 (501B MoE, 23B active) 及其 DFlash2 drafter、Yandex AliceAI-Foundation-80B-A3B (512-expert MoE)、Recursive Flint (40B MoE) 以及 Muse Spark Open 等。此外，也支援了 NVIDIA Alpamayo 2 Super、Nemotron-Labs Dory1.0-4B 和 MiniCPM-OCR 1.0 等模型。

針對 DeepSeek-V4 與 V4.1 系列，開發團隊引入了長度感知的 decode indexer block selection，在 1M context 下每步可節省約 850 微秒。同時修復了 Engram tables 讀取 peer HBM 導致的 DEP decode hangs 問題，並優化了 FlashMLA sparse prefill 與 KV layout 的處理效率。

GLM-5.3-Flash 現在預設使用 FP8 KV cache，根據 PR 中的基準測試，端到端吞吐量提升約 9.8%。Kimi-K3 則引入了 KDA RecoverSSM CuTe DSL verify/commit kernels，並調整了 KV cache 結構以相容於 KV connectors。

基礎環境升級與 CUDA 12.9 棄用

此版本將核心依賴升級至 PyTorch 2.14.0、torchvision 0.29.0 和 Triton 3.8.0。最重要的變更在於構建產物的平台支援：預設的 Python wheels 與 Docker images 僅提供 CUDA 13.0 版本，CUDA 12.9 的安裝包與映像檔已停止發布。

用戶若需使用 CUDA 12.9，必須尋找舊版或自行構建，官方建議遷移至預設的 CUDA 13.0 artifacts。AMD ROCm 方面，預設映像檔與 wheels 已切換至 ROCm 10.0，但 ROCm 7.2 仍透過 `-rocm72` 標籤提供支援。

為了簡化鏡像拉取，所有發布的 Docker images 現在也同時以較短的 `vllm/vllm` 名稱發布，例如 `vllm/vllm:v0.33.0`。此外，新增了針對 AWS EFA (Elastic Fabric Adapter) 優化的映像檔 `vllm/vllm-openai:v0.33.0-efa`，內含 EFA libraries 與 Mooncake transfer engine，用於多節點服務部署。

推論效能優化：投機解碼與硬體專用加速

在投機解碼 (Speculative Decoding) 方面，新增了 XPress refiner 用於 block-diffusion drafters，以及 FLy 驗證策略。FLy 是一種選擇性啟用的有損驗證政策，在 MI355X 和 B300 上可帶來 1.04-1.31x 的解碼吞吐量提升。DFlash/DSpark 不再預留 draft slots 於 token budget 中，使得 DeepSeek-V4.1-Flash + DSpark 在 GB300 上的輸出速度從 1373 tok/s 提升至 3390 tok/s (PR 基準測試數據)。

針對 NVIDIA 硬體，GB300 上為 Kimi-K3 與 DeepSeek-V4.1-Flash 提供了選擇性啟用的延遲專用解碼優化，在 TP8/TP16 配置下可達 1.5-2x 加速。Hopper (H200) 上透過 Humming 將 DeepSeek-V4/V4.1 MXFP4 experts 以 block FP8 執行，解碼速度提升 9-21%。Blackwell 架構則支援 FA4 sparse MLA decode 與 FlashInfer DCP prefill，在 8xB200 上處理 100k 輸入時，平均 TTFT (Time To First Token) 降低 39-48%。

AMD ROCm 平台引入了 MonoKernel decode (`--monokernel`)，針對 DeepSeek-V4.1-Flash 在 MI300X/MI325X 上將並發為 1 時的 P50 互動性提升 2.32x。同時支援 `ROCM_OCTAVE` 3-4 bit KV cache，在 RX 7900 XTX 上可儲存 fp16 的 4.6 倍 KV tokens。gfx1250 架構也獲得了對 gpt-oss-120b、DeepSeek-R1 等模型的支援。

API 端點新增與 Rust Frontend 改進

OpenAI 相容 API 新增了 `/v1/decisions` 端點，預設對支援的生成模型啟用。`/v1/embeddings` 現在支援 token embeddings 與可選的 late chunking。`/inference/v1/generate` 增加了 `output_mode="derender"` 選項。

Rust frontend 進行了大量的功能對齊工作，包括修復長對話導致 HTTP 500 錯誤的問題，以及確保不支援的 flags 在啟動時即失敗而非被忽略。新增了 `--trust-request-chat-template`、`--return-tokens-as-token-ids` 等選項，並改進了 per-request metrics 與 request/response parity。

工具調用 (Tool calling) 方面，GLM、Gemma 4、Qwen3 XML 和 MiniMax M2 的流式工具參數處理改為線性時間複雜度，將 12 KB 呼叫的處理時間從 2.1 秒降至 11 毫秒。結構化輸出現在會遮罩語法無效的推理結束標記，而非返回 500 錯誤。

破壞性變更與棄用項目

Medusa 和 MLP speculator 已被移除。舊版 Ray compiled-graph executor 也已移除，`RayExecutorV2` 成為唯一的 Ray executor。`--mamba-cache-mode` 被標記為棄用且無效，`--ir-op-priority` 與 LM Format Enforcer structured-output backend 也進入棄用流程，預計在後續版本移除。

API 行為變更：當生成暫停時發出的請求現在會返回 HTTP 503。NIXL connector 需要 NIXL 1.5 或更新版本。LoRA 在不支援 LoRA 的模型上將在校驗階段失敗，而非靜默忽略。

環境變數移除：`VLLM_ROCM_AITER_MLA_DCP_VERIFY`、`VLLM_ROCM_USE_AITER_FP4_ASM_GEMM` 等已移除。`VLLM_ROCM_MONO_DECODE` 被 `--monokernel` 取代。Beam search 的分數現在會根據生成長度正規化，以確保 `length_penalty` 正確生效。