透過固定大小狀態層控制顯存增長

Blockway 指出，傳統密集模型在長代理會話中會因每層保留隨 token 數量增長的 KV Cache 而耗盡 VRAM，導致必須縮短上下文或遷移至雲端。為了解決這個問題，他們開發了 Volundr 模型，其架構設計讓 72 層中的 54 層不再使用增長的快取，而是維持一個小型、固定大小的狀態。

這種架構改變旨在讓長會話能夠保留在使用者自己的 GPU 上，而不需要依賴雲端服務。為了配合這種非標準的模型結構，團隊發現現有的推理伺服器並不適合此類模型，因此自行開發了 Agens Engine（MIT 授權）來驅動它。

引擎功能與未剪輯執行測試數據

Agens Engine 具備兩項團隊強調的功能：一是記住對話中斷的位置，使得後續提問不需要重新讀取整個歷史記錄；二是嚴格遵守使用者設定的 GPU 記憶體預算，當長上下文超出 VRAM 容量時，會將數據溢出到系統 RAM 而非讓 VRAM 無限增長。

在一段未剪輯的即時執行影片中，團隊展示讀取一本 110K token 的小說冷啟動約需 69 秒，而後續提問僅需 0.5 秒即可回答，因為引擎直接從上次中斷處繼續處理。測試期間 GPU 記憶體峰值約為 15.6 GiB。

團隊明確說明該影片是在一張 48GB 顯卡上錄製，並透過軟體限制將引擎的記憶體預算控制在 16 GiB。他們坦承目前尚未擁有真實的 16GB 顯卡進行測試，因此這些數據是基於模擬環境的結果。

社群實測結果與未來開發計畫

團隊提到，目前最佳的實際運行數據來自社群使用者 mmssix，他在 Hugging Face 上分享於一張團隊未曾測試過的 24GB 顯卡上獲得了 86.4–106.7 tok/s 的速度。這份數據已被納入專案的 README 文件中。

針對未來的開發方向，Blockway 表示正在探索 MoE（混合專家）變體，以讓更多使用者能夠運行該模型。此外，他們計畫擴大記憶表的大小，並嘗試在同一張 GPU 上並行執行圖像生成模型，利用 LLM 記憶體保持平穩的特性，在 24GB 顯卡上騰出空間給其他任務，但這僅是目標，尚未建置或測試。

平台支援方面，Windows（從 WSL2 開始）已列入路線圖，團隊也在評估 Apple Silicon 的支援可能性。他們還計畫開發一款能開箱即用的緊湊型桌面電腦。團隊強調這是一個小型團隊專案，仍有許多改進空間，並呼籲使用者在真實硬體上測試後提供反饋，特別是針對 16GB 顯卡的表現。