香港小型團隊 Blockway 發布了 Agens Volundr 32B Preview，這是該團隊首款基於自有混合架構訓練的模型，採用 Apache-2.0 授權。該模型旨在解決長上下文場景下 KV 快取佔用記憶體的問題，其架構包含 72 層，其中僅 18 層保留 KV 快取。具體架構包括 54 層 KDA（Kimi Delta Attention，線性注意力，無 KV 快取）、17 層 BCSA（壓縮稀疏注意力，對最近 4,096 個詞元使用精確視窗，較舊上下文以 4:1 比例池化並由學習索引器讀取前 512 個區塊）以及 1 層全注意力層（第 72 層）。此外，模型還整合了 Engram（主機 RAM 中的哈希 n-gram 記憶，附加於 2 層）和 mHC（4 個殘差流）。上下文窗口為 262K。
在效能方面，使用兩張 48GB GPU 運行 BF16 版本時，解碼速度從 1K 上下文的 25.1 tok/s 降至 128K 上下文的 23.9 tok/s；預填充速度從 2,122 tok/s 降至 1,297 tok/s。使用單張 48GB GPU 運行 INT4 版本（31.7 GiB）時，解碼速度在 1K 上下文為 31.0 tok/s。聚合吞吐量在 BF16 下 8 用戶為 127 tok/s，16 用戶為 130 tok/s。搭配 DFlash2 drafter 時，JSON/工具輸出速度可提升 3.6 倍，程式碼提升 2.0 倍，思考模式提升約 1.6 倍，但在超過 8 個並發用戶時效益不佳。
基準測試顯示，該模型在 LiveCodeBench v6、HumanEval、AIME 2025 和 MATH-500 上領先 Qwen3.8-27B，在 MMLU-Pro、IFEval 和 GPQA Diamond 上表現相當，但在代理任務（tau2-bench, SWE-bench Verified）上落後。團隊表示，縮小代理任務差距是完整 v1 版本的重點，將繼續預訓練至約 10B 詞元並增加長代理會話訓練。目前模型仍需使用特定的 sglang 構建，標準 sglang 和 vLLM 尚無法載入，GGUF/llama.cpp 支援尚在規劃中。
事件背景
KV 快取（Key-Value Cache）是大型語言模型推理過程中用於儲存先前詞元鍵值對的記憶體結構，其大小隨上下文長度線性增長，成為長上下文推理的主要記憶體瓶頸。KDA（Kimi Delta Attention）是一種線性注意力機制，使用固定大小的循環狀態來替代增長的 KV 快取，從而顯著降低記憶體使用量。BCSA（Blockway Compressed Sparse Attention）是 Blockway 自訂的注意力機制，通過對較舊上下文進行壓縮和池化，並使用學習索引器選擇相關區塊，以在保持效率的同時存取長距離資訊。Engram 是一種基於哈希 n-gram 的記憶機制，存儲於主機 RAM 中，用於增強模型對特定模式的記憶能力。
社群觀察
社群討論主要集中在技術細節和可用性上。用戶 nmfisher 詢問是否有 API 可供測試，因為缺乏本地硬體和磁碟空間。用戶 Open-Adhesiveness-86 提出了關於 KDA 層前綴快取技術實現的問題，特別關注循環狀態的快照粒度以及 drafter 拒絕是否會強制重新預填充。用戶 brainExploded99 詢問詞元效率，並建議進行 QAT（量化感知訓練）。其他用戶如 PraxisOG 和 ApprehensiveTart3158 對發布表示祝贺，並詢問是否會發布技術論文或訓練細節。
