修正 Preview 版本的迴圈與推理效率問題

針對社群對 Preview 版本的反饋，v1 版本重點解決了「重複迴圈」與「思考時間過長」的問題。在 SWE-bench Verified 的 50 個任務子集中，出現重複迴圈的任務數量從 36 個降至 0 個。

推理步驟不再被截斷於 32K token，現在的中位數推理長度為 120 token，最長為 12K token。此外，v1 引入了 session continuation（會話延續）功能，使得後續對話輪次可以重用模型狀態而非重新預填充，在代理重放測試中，後續輪次的速度提升了 2.9 倍。

在代理任務表現上，SWE-bench Verified 得分從 22/50 提升至 27/50，τ²-bench 從 89/120 提升至 92/120，且 SWE 任務的中位數完成時間從 124 分鐘縮短至 82 分鐘。

開源 MIT 授權的 Agens Engine 推理引擎

團隊開源了名為 Agens Engine 的推理引擎，採用 MIT 授權。該引擎專為 Volundr 32B 的混合架構設計，其中 72 層網路裡有 54 層使用固定大小狀態而非 KV cache，僅剩 18 層保留 KV cache。

在相同 GPU、相同 v1 INT4 權重與 drafter（草稿生成器）且單一流程的條件下，Agens Engine 的解碼速度比團隊自建的 SGLang 版本快 1.4–1.6 倍（在包含思考過程的程式碼任務上最高達 1.8 倍）。

具體吞吐量數據顯示：聊天從 58 tok/s 提升至 86，程式碼從 79 提升至 113，代理任務在 8K 上下文下從 91 提升至 121，JSON 輸出從 125 提升至 199 tok/s。這些數據僅與團隊自建的 SGLang 版本比較，未與標準版 SGLang、vLLM 或 llama.cpp 進行對比。

16GB 記憶體預算下的量化版本與硬體限制

新推出的 Agens-Volundr-32B-v1-Engine-16GB 版本採用混合 2/3/4-bit 量化，平均約 2.85 bits/weight。該版本配置了 262K token 的上下文視窗，團隊實測可穩定運行至 239K token，且峰值記憶體使用量控制在 15.5 GiB 以內。

需要注意的是，這些測試是在一張 48GB 顯示卡上強制設定 16GiB 記憶體上限進行的，並非在真實的 16GB 顯示卡上測試。若 GPU 同時驅動顯示器，建議使用較短的上下文長度。實際消費級硬體（尤其是筆電 GPU）的速度可能會更慢。

在 16GB 預算限制下，短上下文的吞吐量約為：聊天 90、程式碼 118、思考 107、工具調用 112、代理任務（8K 上下文）139 tok/s。當處理完一個 219K token 的文件後，吞吐量會下降至：聊天 62、程式碼 86、思考 77、工具調用 69、代理任務 75 tok/s，且首個 token 的延遲為 151 秒。

該量化版本的模型權重下載大小約為 25GB。運行環境需要 Linux、NVIDIA CUDA 12.9 驅動程式、NVIDIA Container Toolkit，以及至少 32GB 的主機記憶體以支援 262K 上下文。

量化導致的品質權衡與基準測試結果

團隊坦承在這種位元寬度下，模型品質會有所下降。與 bf16 原始精度相比，GPQA Diamond 分數從 80.3 降至 73.7（各取最佳 4 次運行結果）。然而，程式碼能力保持穩定，HumanEval 得分為 73.2%（單次運行），與 INT4 版本的 73.8% 相近。

與 bf16 版本的 Top-1 預測一致性為 90.4%，KL 散度為 0.117。團隊強調此版本旨在本地運行，而非追求排行榜分數。

在完整基準測試對比中，部分分數出現下降：GPQA、HumanEval 和 IFBench。其中 HumanEval 和 IFBench 的下降幅度在一個標準誤差內，但 GPQA 的下降並非如此。這是為了優化代理行為與縮短推理長度所做的權衡。

儘管有上述下降，v1 版本在其他項目上表現具競爭力：LiveCodeBench v6 得分 67.9（最佳 2 次運行），比 Qwen3.8-27B 高 8.4 分；AIME 2025 數學任務得分 80.0，比 Qwen3.8-27B 高 6.7 分。長上下文處理成本較低，解碼速度從 1K 到 128K token 保持平穩。

已知限制與未來發展路線

Agens Volundr 32B 是一個 32B 參數模型，並非前沿（frontier）模型，團隊也未宣稱其為前沿模型。目前 SGLang 和 llama.cpp 仍需使用團隊提供的特定構建版本才能載入該模型。

標準版 vLLM 無法載入此模型，llama.cpp 路徑尚未支援 Metal/Mac。Agens Engine 1.0 僅支援文字處理。團隊計畫將架構上游貢獻至 llama.cpp 主線分支，並會在第一個 Pull Request 開啟時發布消息。

DFlash2 drafter（草稿生成器）已隨附發布，可加速 JSON/結構化輸出（最高 3.0 倍）、程式碼（1.9–2.2 倍）與思考過程（1.3–1.5 倍）。