研究人員提出「宣告式注意力」（Declarative Attention, DA）協議，讓現成的大型語言模型能在思維鏈中自主識別需關注的上下文標記。該方法將生成過程劃分為全局（global）、聚焦（focus）與本地（local）三種模式，模型透過文本輸出發出可解析的控制信號，推理引擎藉此動態建構注意力遮罩並跳過大部分 KV 快取讀取。

在 15 項長上下文任務的零樣本評估中，應用於 Gemma-4-31B 與 Qwen-3.6-27B 的 DA 協議，使總關注標記數分別減少 52.0% 與 31.1%，準確率僅分別下降 1.27 個百分點與 2.75 個百分點。此方法將注意力選擇從外部代理評分器轉移至模型本身，有望降低推理成本，並開闢稀疏注意力的新維度。

事件背景

大型語言模型通常將大部分計算資源用於關注少量上下文標記，同時掃描整個鍵值（KV）快取以找到這些標記。傳統的優化方法常使用輕量級的外部代理來預選相關標記，但這些方法每步仍需付出 O(N) 的掃描成本。宣告式注意力利用模型自身的內部注意力機制來宣告其需要關注的位置，從而為推理引擎提供類似工具呼叫的功能。

社群觀察

社群成員對嘗試 Gemma-31B 的自訂 vLLM 實作表示興趣，並指出此方法的創新性。部分用戶質疑為何先前未探索這種內在方法，強調了其在提升推理效率方面的潛在影響。