SGLang v0.5.21 已發布，新增對 DeepSeek-V4.1 和 GigaChat 3.5 等新模型的支援，並由 779 個社群貢獻驅動。此次更新還引入了動態 PD 實例切換和基於 Rust 的前綴快取等效能優化功能。 此次發布確保 SGLang 能與最新的最先進大型語言模型和擴散模型保持相容，對於尋求高效能推論的開發者而言至關重要。廣泛的社群參與突顯了該框架日益增長的生態系和採用率。 主要技術改進包括 DeepSeek-V4.1 在長提示下首個 token 速度提升 22%，以及用於低延遲分類的新 Decisions API。前綴快取現預設使用 Rust 核心，提升了分散式環境下的穩定性和效能。

事件背景

SGLang 是一個開源推論引擎，旨在透過改善推論階段的效能來最佳化大型語言模型的部署。它支援多種模型和硬體，使其成為降低 AI 應用程式成本並提升可靠性的熱門選擇。