受 TypeSafe 的 Jev（一種僅輸出有界決策、選擇、概率及校準置信度的非生成式模型）啟發，開發者構建了兩個參數預算匹配（約 1509 萬參數，誤差 ±0.02%）的小型決策模型，以比較哪種架構更適合此類任務。實驗設置包括：jev-v8a 使用線性遞歸骨架（Gated Segmented State Space 架構）加決策頭；jev-transformer 使用標準注意力骨架加相同決策頭。任務為長上下文檢索決策：給定 2k–8k 字符的段落，判斷 4 個句子中哪一個出現在其中（訓練集 2000 / 驗證集 500 / 測試集 500）。所有訓練均在 Colab T4 上進行，代碼可復現。
結果顯示： 1. 準確率：兩者表現均接近隨機猜測（基準為 25%）。jev-v8a 測試準確率為 26.8%，jev-transformer 為 28.2%。在此規模下，兩者均未從任務中學習到顯著內容，作者直接報告了這一負面結果。 2. 延遲：存在明顯的交叉點。在約 1550 個 token 以下，Transformer 更快；但在 T=8192 時，線性模型速度快 2.37 倍（108.6 ms 對比 257.7 ms）。這驗證了 O(T) 與 O(T²) 複雜度理論在長序列下的預期差異。 3. 訓練速度：差距巨大。完成 6 個微調輪次，jev-v8a 耗時約 30 分鐘，而 Transformer 在 2k–8k 上下文下每個輪次需耗時 40–45 分鐘。這意味著約 6–7 倍的訓練速度差距，且隨規模擴大而加劇。
早期實驗（V2/V3，較短決策任務）顯示線性模型在準確率上完全勝出（50.4% 對比 46.2%，66.2% 對比 61.0%）。綜合來看，線性遞歸在短上下文決策中勝出或持平，在長上下文成本上佔據主導優勢，但在 15M 參數規模下，其對困難檢索任務的學習能力並不優於注意力機制。目前作者正在運行 V5 版本，即兩者的雙向變體（15M 參數，相同預算），結果將更新於倉庫。作者強調，負面結果正是重點：在此規模下，無論採用何種架構，小型決策模型都受限於準確率瓶頸。
事件背景
原文提及線性遞歸架構與標準 Transformer 架構在計算複雜度上的差異，指出前者為 O(T)，後者為 O(T²)，並說明這導致在長序列下兩者延遲表現出現顯著差異。此外，原文定義了「僅決策模型」（decision-only model）為僅輸出有界決策、選擇、概率及校準置信度的非生成式模型，與生成文本的模型不同。
