使用者在配備 RTX 5070 Ti 的筆電上測試 Strata 推論引擎，使用 Qwen3.8-Flash-Next 模型時，生成速度達到每秒 50 個 token，預填速度高達每秒 1500 個 token。此表現大幅超越同條件下僅達每秒 23 個 token 的標準 llama.cpp。 這顯示新興的推論引擎能在消費級硬體上帶來顯著的性能提升，讓 Qwen3.8 等較大型模型更易於在本地部署。這突顯了一個日益重要的趨勢：隨著模型規模不斷擴大，推論層的優化變得至關重要。 該引擎目前支援 Nvidia 顯示卡，AMD 支援處於實驗階段，且開發者已修復初期與 KV 快取及 CPU 降頻相關的錯誤。基準測試使用了 Qwen3.8-Flash-Next 的 IQ3_XXS 量化版本，該量化在 8 位元精度下可支援高達 20 萬個 token 的上下文長度。

事件背景

llama.cpp 等 LLM 推論引擎是用來優化大型語言模型在本地硬體上執行的軟體庫。量化技術（如 GGUF IQ3_XXS）透過降低模型精度來節省記憶體並加速運算，通常會以輕微的準確度損失為代價。KV 快取用於儲存先前的 token 資訊以支援上下文感知生成，其管理對於高效處理長上下文至關重要。

社群觀察

社群成員對其速度提升印象深刻，有人形容這與標準引擎相比簡直像魔法。大家正在討論這種速度提升是否來自貪婪解碼（greedy decoding），因為調整溫度似乎未影響輸出結果，但使用者回報其輸出品質與 llama.cpp 相當。