最新研究指出，用於推理的強化學習（RL）僅修改了 1-3% 的詞元，其主要功能並非教授新技能，而是作為一種稀疏的選擇機制。該研究將強化學習特徵化為識別並強化基底模型分佈中潛在的正確推理路徑。

因此，研究人員使用 REASONMAXXER 方法，在運算量減少約 1000 倍的條件下，成功複製了這些效能提升。所提出的 REASONMAXXER 方法在無需標準強化學習優化迴圈運算開銷的情況下，達成了類似的推理增益。

這一發現挑戰了「重度強化學習是 LLM 推理能力必要條件」的主流範式，暗示現有方法可能在運算上效率低下。它為更具成本效益的訓練流程開闢了道路，這些流程利用現有的模型分佈，而非依賴昂貴的優化迴圈。

事件背景

來自人類反饋的強化學習（RLHF）與可驗證獎勵強化學習（RLVR）是用於將大型語言模型與人類意圖或特定任務目標對齊的技術。傳統上，這些方法涉及廣泛的訓練迴圈，以根據獎勵訊號調整模型權重，這需要大量的運算資源。近期的趨勢集中在最佳化推理詞元，以降低與複雜邏輯任務相關的龐大運算需求。

社群觀察

社群成員對更廣泛的影響表示懷疑，指出大型公司通常將內部研究保密。此外，人們還討論了自回歸模型與類似 JEPA 的決策型模型之間的差異，部分觀點認為目前的架構可能無法完全捕捉決策的運作方式。