開發者 Niko1221 發布了 Strata v0.1.40 版本,正式為 Strix Halo 機器提供對 Qwen3.8-Flash-Next 模型的支援。該功能目前標記為實驗性質,且僅在 Linux 系統上經過測試。開發者指出,在使用典型的 Unsloth Q4 和 GSQ-RCO 模型權重時,該版本在長上下文解碼和每秒 token 數(ppts)方面表現最佳,並可支持高達 100 萬 token 的上下文長度,同時不會出現顯著的速度損失。開發者歡迎社群提供反饋及 Pull Request。

事件背景

Strata 是一個開源推理引擎,其 GitHub 儲存庫位於 https://github.com/Niko1221/Strata/。此次發布涉及 Strix Halo 機器與 Qwen3.8-Flash-Next 模型,並使用了 Unsloth 提供的 Q4 及 GSQ-RCO 模型權重進行性能測試。

社群觀察

社群用戶對開發者的工作表示感謝。用戶 wisepal_app 分享,在配備 16GB VRAM 和 96GB RAM 的筆記型電腦上,使用 Strata 搭配 DeepSeek harness 運行 flash next iq3_s 模型,在 168k 至 262k 上下文長度下可達到約每秒 27 個 token 的速度。用戶 Vegetable-Photo972 報告,在雙 RTX 3090 和 64GB RAM 的配置下,使用 Q4-XS 權重可達到預填充每秒 2300 個 token、解碼每秒 80-90 個 token 的速度。用戶 geldonyetich 表示在 AMD AI Max 395 上使用 rulith-inference 獲得了類似數據,並詢問原始數據的硬體配置。用戶 hurdurdur7 詢問是否已合併 llama.cpp 的特定 Pull Request (PR #29761)。