一項基準測試比較了 Qwen3.8-Next IQ3_S 與 Qwen3.8-27B UD-Q4_K_XL 兩款模型。測試使用 evalscope 透過 OpenAI 相容 API 進行，Next 模型運行於 Strata（MI50 32GB），27B 模型運行於 llama.cpp（RX 7900 XTX 24GB）。抽樣參數統一設定為 temp 1.0, top_p 0.95, top_k 20。測試涵蓋 AIME26、IFEval、BFCL v4 及 LiveCodeBench v6 的部分題目（因完整測試需數天時間）。結果顯示，Next IQ3_S 在總計 166 題中答對 151 題，27B UD-Q4_K_XL 答對 145 題。在僅有一方解出的 14 題中，Next 解出 10 題，27B 解出 4 題，符號檢定雙邊 p 值為 0.18，顯示傾向 Next 但非確鑿證明。失敗分析顯示，Next 有 9 題答錯、6 題超出 token 限制；27B 有 14 題答錯、7 題超出 token 限制。速度測試僅基於 AIME 和 LiveCodeBench 的生成部分，數據顯示 27B 在 RX 7900 XTX 上生成速度為 47.9 tok/s，耗時 7.8 小時；Next 在 MI50 上生成速度為 36.8 tok/s，耗時 10.5 小時。需注意兩款模型運行於不同硬體配置（MI50 對比 RX 7900 XTX），速度差異可能受硬體影響。

事件背景

測試中使用的 Strata 推論引擎啟動時使用了 --kv fp16 參數，llama.cpp 則使用預設的 f16 設定。