ORL技術原理：透過殘差學習與熵收縮加速收斂

傳統自回歸語言模型一次生成一個token，而擴散語言模型（dLLM）理論上可以並行精煉多個token，但挑戰在於如何讓模型在較少的前向傳遞次數中快速收斂。ORL技術提出兩個關鍵機制來解決這個問題：On-Policy Residual Learning（同策略殘差學習）與Adjacent Entropy Contraction（相鄰熵收縮）。

在同策略殘差學習部分，模型不再從頭預測每個去噪步驟的所有內容，而是將前一步的預測作為殘差上下文保留並逐步精煉。由於這些殘差由模型自身生成且分佈會隨訓練改變，傳統使用離線舊殘差的訓練方式會導致與推論階段的不匹配。ORL透過直接在當前模型生成的最新軌跡上進行訓練，重現推論時遇到的確切殘差狀態來解決此問題。

在相鄰熵收縮部分，僅監督最終輸出並不能保證模型能更快收斂。該機制鼓勵每個去噪步驟相較於前一步降低不確定性，並透過門控損失函數避免對已經高置信度的預測進行不必要的調整。結果是模型學會在每次前向傳遞中完成更多token，同時維持或提升準確率。

效能數據：單請求情境下的速度與準確率提升

研究團隊在三個模型家族上測試了ORL的效果。對於QwenDLM-4B（由Qwen3-4B轉換而來的擴散模型），ORL使每次前向傳遞生成的token數增加最多6.2倍，端到端吞吐量提升約6.9倍，HumanEval pass@1準確率從82.9%提升至89.6%。

對於LLaDA-2.1-mini，ORL僅需420萬個自生成訓練token及36小時的H100 GPU後訓練時間，即可在維持相當品質的情況下實現最高3倍的吞吐量提升。對於DiffusionGemma 26B MoE，ORL進一步使每次前向傳遞生成的token數增加最多1.2倍。

與自回歸解碼的直接比較顯示，在單張H100顯卡上，QwenDLM-4B搭配ORL達到每秒1,298個token的生成速度，高於DFlash的746 tokens/s和EAGLE3的405 tokens/s（均在放寬驗證條件下達到相當的測量準確率）。這些是端到端系統比較，ORL使用dlmrt引擎，而投機解碼器使用vLLM。

硬體適配與推論引擎dlmrt的優化

為了配合ORL技術，團隊開發了名為dlmrt的自訂推論引擎，專為低延遲、單請求擴散解碼進行最佳化。不同於從CPU啟動並同步每個去噪步驟，dlmrt將整個去噪循環捕獲在CUDA Graph中並在GPU上執行，同時支援Blackwell架構GPU（包括消費級RTX 5090）上的NVFP4推論。

在相同的模型和解碼設定下，dlmrt在單張H100顯卡上的測試結果顯示，其速度比SGLang/vLLM快1.2至1.6倍。訓練方面，系統也針對高效的殘差狀態捕獲、專用注意力核心及計算平衡打包進行協同設計，使訓練步驟加速最多5.2倍。

具體的峰值數據包括：在單張RTX 5090上使用LLaDA-2.1-mini搭配ORL及NVFP4格式，達到每秒2,788個token；在8張B200顯卡上使用DiffusionGemma 26B MoE搭配ORL及NVFP4格式，達到每秒7,708個token。這些數據均為單請求解碼（batch size 1）的峰值結果，並非任意提示詞的平均值，也不是多併發請求的聚合吞吐量。

開源資源與社群參與

研究團隊已將所有相關資源完全開源，包括論文、專案頁面、互動演示、訓練程式碼、評估流程、dlmrt推論引擎以及模型檢查點。使用者可以在Hugging Face上下載模型權重，並使用GitHub上的程式碼進行訓練或推論。

擁有RTX 5090顯卡的使用者可以嘗試LLaDA-2.1-mini的ORL NVFP4檢查點搭配dlmrt引擎。團隊歡迎社群回饋，特別是關於結果再現、不同工作負載測試以及對推論引擎貢獻的意見。