StateBench 的四種難度等級與設計邏輯

StateBench 旨在測試語言模型如何追蹤長文件中實體資訊的演變，這類能力對於閱讀程式碼（變數賦值與重新賦值）或理解敘事（角色移動、物品轉移）至關重要。基準將問題分為四個等級，對應不同複雜度的狀態更新操作，並基於克羅恩-羅德斯理論（Krohn–Rhodes theory）進行分類，該理論描述了如何將狀態追蹤問題分解為原子原語。

第一級 R-trivial 涉及不變量賦值，模型只需恢復初始設定值，類似於記錄出生日期或程式中的 let x = 4。第二級 Aperiodic 允許按值重新賦值，模型需找出最新值並忽略舊值，類似於恆溫器設定或程式中的 x = 2 覆蓋之前的 x = 4。

第三級 Soluble 引入自我參照更新，每次更新都基於當前值，模型必須累積變化而非僅尋找最新賦值，類似於遊戲計分板累加或程式中的 x = x + 5。第四級 General finite 涉及按引用賦值，一個變數可取得另一個變數的當前值，產生跨更新的依賴關係，例如魔術師交換杯子位置以追蹤球的位置，這屬於最難的狀態追蹤問題。

為了公平比較，研究團隊從通用的有限序列變數賦值出發，衍生出三個較容易的版本，確保四個等級的問題使用相同數量的變數和不同值，且賦值出現在序列的相同位置，僅改變賦值的類型。

頂尖模型在長輸入下的表現衰退

研究團隊測試了四個頂尖閉源模型：Gemini 3.8 Flash、Claude Opus 5.5，以及 GPT-6 Sol 和 Luna。這些模型被要求讀取變數賦值序列並生成每個變數的最終值。結果顯示，所有四個模型在 R-trivial 和 Aperiodic 問題上表現良好。

然而，在 Soluble 和 General finite 問題上，隨著輸入長度增加，準確率急劇下降。在最長的 General finite 問題中，準確率降至 13% 或更低。研究指出，一個可能的因素是敏感度：在較難的等級中，更多步驟會影響最終答案，模型遺漏任何一次更新都會導致結果錯誤。

測試還發現問題格式對結果有影響。例如，2.75 億參數的混合模型和 Gated DeltaNet 模型在 RULER 風格的 R-trivial 問題上得分接近滿分，但在將同樣的問題改為電子表格編輯格式時，表現接近隨機猜測。這突顯了 StateBench 使用多種格式測試同一基礎問題的重要性。

預訓練模型與架構理論極限的驗證

研究團隊首先測試了一系列開放權重的預訓練模型，包括兩個 70 億參數模型（Olmo 3 Transformer 和 Olmo Hybrid）以及較小的 2.75 億和 27 億參數模型。這些模型均在相同數據上預訓練，且訓練時上下文長度未超過 64,000 tokens，但測試輸入遠超此長度。

結果顯示，幾乎所有模型在 R-trivial 問題上表現良好，但在 Aperiodic 問題上隨著輸入增長準確率下降，而在 General finite 問題上則維持隨機水準。這與理論預測一致：Transformer 架構被預測無法處理通用問題，而具有更靈活記憶體更新的 Gated DeltaNet 原則上可以處理所有四個等級。

這些結果表明，現有預訓練模型在處理複雜狀態追蹤時存在明顯缺陷，且不同架構的失敗點符合理論預期。這促使研究者進一步探討這些限制是來自架構本身，還是預訓練數據不足所致。

直接訓練揭示架構與訓練數據的影響差異

為了釐清問題根源，研究團隊從頭開始訓練了幾個 2.75 億參數的模型，包括兩個 Transformer 變體、兩個混合模型和兩個具有不同記憶體更新約束的 Gated DeltaNet 變體。這些模型在長度達 256 個賦值的序列上進行訓練，並在長達 64,000 個賦值（即訓練長度的 250 倍）的序列上進行測試。

隨著序列長度增加，不同架構開始出現分歧。Gated DeltaNet 和混合模型在 R-trivial、Aperiodic 和 Soluble 問題上幾乎完美泛化至測試的最長序列。Transformer 雖然學會了較容易的等級，但在長序列上表現退化，且從未學會 General finite 問題。

在最難的等級中，具有更靈活記憶體更新的 Gated DeltaNet 變體泛化能力最強，在約為訓練最長序列 10 倍的長度上仍保持近乎完美的表現。對於 Gated DeltaNet 和混合模型而言，預訓練與直接訓練之間的差距表明問題出於訓練數據而非架構限制；而 Transformer 即使在直接訓練下也無法解決最難等級，顯示其存在架構上的根本限制。

未解問題與未來研究方向

儘管取得了進展，仍有幾個問題尚未解決。新的證明顯示，具有有限記憶體更新（非負特徵值）的 Gated DeltaNet 可以在固定精度算術下解決所有 Aperiodic 任務和某些週期性任務，但其在狀態追蹤層級中的確切位置仍屬未知，包括是否能解決所有 Soluble 任務，以及數值精度或與注意力層結合如何影響其能力。

此外，StateBench 目前假設變數數量固定，而現實任務往往會隨著時間引入新實體。例如在長對話中，新的人物和物件會出現，模型需要開始追蹤它們，但當前框架尚未涵蓋這種情境。

AI2 希望 StateBench 能為研究者提供更精細的工具來找出模型失效的環節，並針對不足的能力構建訓練和評估數據。隨著循環式和混合架構的新變體不斷湧現，理解每種架構能處理哪種狀態追蹤將有助於指導未來系統的發展與訓練。