DeepSeek-V4.1 與 MoE 模型效能顯著提升

在 NVIDIA GB300 硬體上，DeepSeek-V4.1 的預填充吞吐量在高負載下提升至原本的 1.5 倍，且在處理 32K 至 64K 長度的提示詞時，首字延遲降低了約 28%。

SGLang 引入了可選用的低延遲模式，透過 NVIDIA 的 megakernel 與 AMD 的 monokernel 外掛程式，將 DeepSeek-V4.1-Flash 的解碼過程融合為持久化核心執行。這使得在 GB300 上的單用戶解碼速度提升最高 44%，而在 AMD MI350X 上則提升高達 75%。

針對 MoE 架構模型（如 DeepSeek-V4.1-Flash、GLM-5.3-Flash 和 gpt-oss），在 H200 硬體上處理 8K 提示詞時，首字生成時間縮短了 30% 至 58%。

新增的 Paged Experts 功能（需手動啟用）允許 MoE 模型在單一消費級 GPU 上執行，即使模型大小超過 GPU 記憶體容量。與傳統的 CPU 卸載技術相比，此方法的執行速度快達 30 倍。

硬體支援擴展：Google TPU7x 原生整合

SGLang 現已透過 SGLang-TorchTPU 外掛程式原生支援 Google TPU7x。這是一個基於 PyTorch 的原生插件，允許使用者在 TPU 硬體上執行推理任務。

官方提供了對應的 Docker 映像檔 `lmsysorg/sglang:v0.1.0-tpu` 以簡化 TPU 環境的部署流程。

除了 TPU 支援外，版本更新還涵蓋了 NVIDIA CUDA 13、AMD MI35x/MI30x (ROCm 10)、Intel GPU (XPU) 以及 Intel CPU (Xeon) 等多種硬體平台的 Docker 映像檔。

新增模型支援與量化技術改進

本次更新新增了對多款大型語言模型（LLM）與視覺語言模型（VLM）的支援，包括 Muse Spark Open、Beam-1.0、MiniMax-M3.1-Flash、MiniCPM-V 4.7 以及 Kev。

在擴散模型方面，新增支援 Cosmos3-Nano-Sim、FastH3 Omni、FLUX.3 Image Klein、HY-Nomas 和 MOSS-Image。

量化技術方面，新增了對 MiniMax-M3.1 NVFP4 MoE 方法的支援，並修復了 BF16 NaN 在逐詞元 FP8 量化中的保留問題。此外，還引入了 MSA-v1 稀疏注意力後端與 NVFP4 KV 池。

現在可以在量化後的 MoE 模型（FP8 和 NVFP4）上服務 LoRA 適配器，這透過一個新的可選 LoRA 引擎實現，擴展了微調模型的部署彈性。

系統架構與儲存優化

對於採用 DeepSeek 風格多頭潛在注意力（MLA）的模型，現在可以在執行解碼上下文平行處理時，將前綴快取保留在 HiCache 檔案基礎的 L3 儲存層中，這有助於提升長上下文處理的效率。

在調度器與執行時優化方面，修復了多詞元組 BatchEmbeddingOutput 重新打包丟失欄位的問題，並優化了去詞元組路由器的邏輯，使其能根據請求 ID 進行路由而無需依賴詞元組工作程序的 IPC 通訊。

針對 NVIDIA Confidential Computing (CC) 環境，修復了 Blackwell 架構上的重疊調度問題，並引入了分頁主機暫存與內聯隱藏狀態/DSpark 讀取回傳優化。