硬體平台擴展與 Apple Silicon 原生支援
SGLang v0.5.22 最顯著的變化之一是正式支援在 Apple Silicon Mac 上執行。開發者現在可以使用標準的 PyTorch 後端來運行 SGLang,這意味著除了原有的 MLX 支援外,用戶可以利用更通用的 PyTorch 生態系進行推論工作。
此外,該版本加強了對 AMD 硬體的支持,DeepSeek-V4.1 模型現在可以在 AMD MI350X 和 MI355X GPU 上運行,並透過 DSpark 技術實現最高 1.9 倍的吞吐量提升。這顯示 SGLang 正持續擴展其在非 NVIDIA 硬體上的可用性。
模型載入與推理效能優化
為了減少服務啟動時的等待時間,SGLang 引入了新的 InstantTensor 載入器。根據官方發布說明,此技術能使模型權重的載入速度提升 10 倍,對於需要快速切換或部署大型語言模型的場景具有直接幫助。
在推理效能方面,DeepSeek-V4.1 在 NVIDIA H200 GPU 上的每 GPU 吞吐量最高提升了 2.3 倍。Qwen3.8-Flash-Next 在 B200 GPU 上的解碼速度加快了 12%,而 GLM-5.3-Flash 搭配 DFlash 技術在 B300 GPU 上則快了 10%。MiMo-V2.6-Pro 在 B300 上使用 DFlash 時,解碼吞吐量也達到了 1.85 倍的提升。
針對長提示詞(long-prompt)的工作負載,PD 分離架構(Prefill-Decode disaggregation)的吞吐量提升了最高 27%,且第 95 百分位的時間至第一個 Token(p95 TTFT)減半。HiSparse 功能現在也支援 EAGLE 和 MTP 技術,允許將 KV 快取存放在 CPU 記憶體中以服務長上下文請求。
新增模型支援與生態系整合
本次更新加入了多款新模型的支援,包括 LLM/VLM 類型的 Clef、PPLX-Decider v1/v1.1、EmbeddingGemma 2 以及 LLaDA2.2。在擴散模型(Diffusion)方面,則新增了 HunyuanImage-3.0-Instruct、Kandinsky 6/SR、Wan-Animate-2、SANA-Video 2.0 以及 LLaDA-Image/Turbo 等模型的 Cookbook 指南或支援。
SGLang Diffusion 現在也整合進 ComfyUI,使得 MiniMax-H3 和 Qwen-Image 2.1 可以在 ComfyUI 中透過 SGLang 執行。此外,該系統還支援載入社群提供的 GGUF 檢查點以及 LoRAs,進一步降低了使用者在本地端部署與微調模型的門檻。
升級要求與安裝方式
開發者需注意,SGLang v0.5.22 現在要求 Python 3.11 或更新的版本才能安裝與執行。這意味著舊有環境可能需要進行基礎設施的升級才能使用新功能。
安裝指令為 `uv pip install --prerelease=allow sglang==0.5.22`。官方也提供了針對不同硬體平台的 Docker 映像檔,包括 NVIDIA CUDA 13、AMD MI35x/MI30x (ROCm 10)、Intel GPU (XPU) 以及 Intel CPU (Xeon),方便使用者根據自身硬體選擇對應的容器化部署方案。



