SGLang 發布了 0.5.18 版本，新增支援多模態模型 Muse Glimmer、Intern-S2-Mobius 以及基於擴散模型的 SANA-Video。此次更新還引入了重疊檢查點預載入（overlapped checkpoint staging）與結合 All-to-All 的 TP LMHead 等效能優化功能。 此次更新透過支援 Meta 針對本地智能體任務設計的 Muse Glimmer 等前沿開源模型，擴大了 SGLang 的生態系。效能提升有助於開發者在從消費級 GPU 到大型叢集的多種硬體上，以更低的延遲和更高的吞吐量部署這些複雜模型。 主要技術增強包括重疊檢查點預載入，使 Qwen3-32B 的啟動速度提升高達 2.38 倍，以及針對 DeepSeek-V4 降低解碼時間的 TP LMHead 優化。此次更新還將依賴項更新至 torch 2.13.0，並將快取目錄統一整合至 SGLANG_CACHE_DIR 下。
事件背景
SGLang 是一個開源推理引擎，旨在優化大型語言模型與多模態模型的快速且具擴展性的服務部署。它透過管理複雜的記憶體與計算模式，讓開發者能夠在從單一 GPU 到分散式叢集的多種環境中高效部署模型。該框架支援多種模型架構，包括自回歸語言模型以及用於影像或影片生成的擴散模型。
