使用者已在 SGLang 框架中成功為 Qwen 3.8 Flash Next 模型實現 SSD 卸載的 ngram 查找表，在消費級 GPU 上以大型上下文視窗實現高 Token 吞吐量且無效能損失。此優化技術讓 ngram 嵌入資料能從 SSD 儲存設備串流讀取，在維持推理速度的同時大幅降低 GPU 記憶體壓力。用於猜測解碼的 ngram 查找表儲存了常見的 Token 模式，其頻寬需求不高，因此適合透過 SSD 串流傳輸。社群基準測試顯示了令人印象深刻的結果，例如在功耗受限的 RTX 5090 上解碼速度超過 170 tok/s，以及在 RTX 3090/4080 搭配 SSD 卸載下成功運行。

事件背景

N-gram 查找表用於猜測解碼中，根據近期上下文快速檢索可能的下一個 Token，從而提升推理效率。SGLang 是一個高效能的開源推理引擎，專為低延遲和高吞吐量的 LLM 服務而設計。將資料卸載至 SSD 是一種在模型權重或快取超過可用 GPU VRAM 時管理記憶體限制的技术。

社群觀察

社群成員報告了各種消費級 GPU 上的卓越效能，並指出由於 ngram 嵌入的頻寬需求較低，SSD 卸載效果良好。此外，還有討論提到將量化表替換為 bf16 版本可在不犧牲速度的情況下獲得更好的智能，以及對為何在此特定情境下 SSD 有時能超越 RAM 的好奇。