一位開發者透露,他們於 2025 年 3 月建構並開源了一個使用強化學習進行 JSON 約束解碼的非自回歸模型,比近期某前沿實驗室宣布的相關成果早了一年。作者強調,其作品包含了完整的訓練資料集與技術論文,而近期前沿實驗室的發布則缺乏這些內容。
該模型使用序列嵌入上的 PPO 來輸出轉換軌跡,與透過 RLCD 訓練的平行採樣 Jev 架構有所不同。討論中指出,雖然前綴快取(prefix caching)適用於 JSON 結構描述,但可能會犧牲交叉編碼器行為與自回歸預測依賴性。
事件背景
非自回歸模型會平行生成所有詞元,而非依序生成,因此與傳統的自回歸大型語言模型相比,具有顯著更快的推理速度。JSON 約束解碼確保模型的輸出嚴格符合指定的結構描述,這對於與軟體系統的可靠整合至關重要。此處使用強化學習(RL)透過獎勵正確的結構選擇和概率來引導模型的預測。
社群觀察
社群成員對該開發者表示支持,指出其早期的發表防止了前沿實驗室對該通用概念申請專利。其他人則指出,成功往往取決於時機與行銷,而技術評論則釐清了平行解碼與自回歸依賴性之間的權衡。



