Agnes-AI 發布了 Agnes-3.0-Flash，這是一款擁有 33B 參數的多模態密集模型。該模型採用獨特的混合注意力解碼器架構，結合了 Delta 規則循環層與全局注意力層，並具備高達 262k token 的上下文視窗。

在架構設計上，模型共包含 72 層，其中每四層中有三層運行門控 Delta 規則（循環），一層運行標準全局注意力。這種設計使得僅有 18 層需要持有隨上下文增長的 KV 快取，其餘層的狀態則獨立於序列長度。此外，模型採用分組查詢注意力（GQA）與 SwiGLU 激活函數以優化計算效率。

事件背景

Delta 規則循環網絡允許進行與序列長度無關的狀態處理，從而隨著上下文長度的增加實現高效的擴展。分組查詢注意力（GQA）通過在多查詢頭之間共享鍵值頭，降低了記憶體頻寬需求，在速度和準確性之間取得平衡。SwiGLU 是一種將門控機制與線性單元結合的激活函數，廣泛應用於現代大型語言模型中以提升性能。

社群觀察

社群成員指出，雖然該模型是密集架構而非專家混合（MoE），但其性能在同等規模下仍達到了最先進水平。討論中強調了該模型在基準測試中對 Qwen 的強勁表現，並對背後的 Agnes-AI 實驗室表示好奇。