使用者報告指出，與傳統的 Llama CPP 設定相比，Strata 架構搭配 Qwen3.8 Next 能顯著提升慢速 DDR4 記憶體系統的推論速度。基準測試顯示，其速度穩定在每秒 45 至 70 個詞元，幾乎是標準 Llama CPP 效能的兩倍。 這項進展為在擁有顯卡但系統記憶體充足的硬體上運行大型語言模型提供了可行的解決方案。它突顯了架構創新如何緩解慢速 RAM 的瓶頸，使高參數模型對本地 AI 愛好者來說更加觸手可及。 Qwen3.8-Flash-Next 是一個擁有 1250 億參數的混合專家（MoE）模型，僅激活 60 億個參數，並針對低程式碼微調和本地部署進行了優化。IQ3_XXS 量化格式將權重保持在 80GB 以下，使其能夠放入系統記憶體同時保持合理的品質。

事件背景

Llama CPP 是一個用於在 CPU 和 GPU 上運行 LLM 的熱門函式庫，通常依賴 GGUF 量化模型。Strata 架構是一種推論優化技術，能提升效能，特別是在混合專家模型上。IQ3_XXS 等量化格式透過降低精度來減少模型大小，使較大的模型能夠在 VRAM 有限的消費級硬體上運行。

社群觀察

社群對速度提升的反應普遍正面，使用 V100 和 5090 的使用者報告了令人印象深刻的吞吐量。然而，部分使用者指出，雖然 Strata 速度很快，但 IQ3_XXS 量化模型可能出現幻覺，或感覺不如 Q8 等更高品質的量化模型聰明。