開源專案 Strata 允許使用者在配備 NVIDIA 或 AMD 顯示卡（需 12GB VRAM 以上）及 32GB 以上 RAM 的個人電腦上，執行擁有 1250 億參數的 Qwen3.8-Flash-Next 大型語言模型。該工具透過將模型權重分散至 GPU、系統 RAM 及 SSD，並結合投機解碼技術，使模型能在本地運行，無需依賴伺服器。官方測試數據顯示，在 RTX 5070 上最高生成速度可達每秒 94 個 token，RX 9070 XT 為每秒 60 個 token；來源作者推測 RTX 3090 可達每秒 100-140 個 token，而社群用戶 snehesht 回報在 RTX 4090 上達到每秒 124 個 token。Strata 支援 Windows 和 Linux，提供多種量化版本（如 Q2_0, IQ3_S, Coder 變體等），並透過瀏覽器介面或 OpenAI/Anthropic 相容 API 與各種應用程式及編程代理整合。安裝過程可透過 AI 輔助自動設定，或手動執行腳本完成。預設情況下，Strata 一次僅處理一個請求，其他請求需排隊等待。
事件背景
Qwen3.8-Flash-Next 是由 Qwen 團隊開發的大型語言模型，通常需伺服器級硬體才能運行。Strata 利用混合專家（MoE）架構特性，僅在處理每個 token 時啟用約 10 個專家（總共 24,576 個），並將常用專家保留在 GPU，其餘存於 RAM，大型查找表存於 SSD。此外，Strata 採用投機解碼技術，由小型輔助模型預測後續 token，再由大模型驗證，從而提升生成速度 1.6-1.8 倍。模型檔案由 ISTA-DASLab、UkisAI 及 Unsloth 進行量化壓縮，Strata 使用了 llama.cpp/ggml 的部分組件，採用 MIT 授權。
社群觀察
社群對 Strata 的表現反應兩極。部分用戶如 snehesht 在 RTX 4090 上成功達到每秒 124 個 token 的速度，認為效果令人驚訝。然而，hecturchi 指出低量化版本可能導致上下文長度受限、思考功能失效、準確度大幅下降，以及工具調用和格式輸出不可靠等問題。a11r 對低於 4-bit 的量化持懷疑態度，認為會嚴重影響品質，並分享其在 RTX Pro 6000 上使用 4-bit 量化的經驗。lxe 則質疑為何這些專家快取優化技術尚未整合進標準的 llama.cpp 中。
