SGLang 發布了 v0.5.20 版本，匯入了來自 237 位貢獻者的 713 個合併請求。此次更新新增對 GLM-5.3-Flash 和 Hy4-Preview 等新自回歸模型的支援。
在效能方面，引入了用於強化學習採樣的遮罩功能，以及統一的基數樹，以提升推論效能。主要技術改進包括統一的基數樹，在 DeepSeek-V4-Flash 上將詞元命中率從 43.8% 提升至 60.8%，以及採樣遮罩在高批次大小下將解碼吞吐量提高了高達 52%。
架構上，此次發布還支援混合模型（如 Kimi-Linear）在解碼上下文並行下的 PD DSpark。此次發布擴大了 SGLang 對最新多模態與自回歸架構的相容性，確保使用者能夠利用高效能服務來運行如 GLM-5.3-Flash 等模型。採樣遮罩與基數樹的效能優化，直接造福了尋求在生產環境中降低延遲並提高吞吐量的開發者。
事件背景
SGLang 是一個為大型語言模型和多模態模型提供高效能服務的開源框架，專注於低延遲和高吞吐量的推論。自回歸模型依序生成輸出，每一步都依賴於先前的輸出，因此高效的服務對於使用者體驗至關重要。統一的基數樹和採樣遮罩功能解決了快取和強化學習訓練循環中的常見瓶頸。
