Q Labs 研究團隊提出了名為「Dust」的零階優化算法，這是首種在 Transformer 語言模型預訓練任務中與反向傳播（Backprop）表現相當的方法。Dust 的核心機制是對激活值（Activations）進行擾動，而非傳統演化策略（ES）所採用的權重擾動。透過在每個 token 獨立進行節點擾動，每個 token 成為一個「虛擬群體」成員，使得單次前向傳播即可並行評估整個群體。研究顯示，在大群體規模下（即需要更多計算資源時），Dust 不僅能逼近反向傳播的效果，在某些設定下甚至超越反向傳播，暗示在計算資源充裕的環境下可能突破反向傳播的限制。與基於權重空間的先進演化策略 EGGROLL 相比，Dust 從 100 萬 token 起，效率高出 $10^3$ 至 $10^4$ 倍。此外，研究發現較大的模型在群體效率上表現更佳，2.43 億參數的模型在多數群體規模下優於小 120 倍的模型，這挑戰了零階方法無法擴展到大網路的傳統觀點。Dust 的梯度估計隨著群體增長與反向傳播的對齊度提高，且在測試範圍內（最高達 10 億 token）保持良好對齊。該方法旨在為基於搜尋的信用分配算法奠定基礎，但目前尚未達到足以取代反向傳播的計算效率，也未應用於訓練新型神經網路。
事件背景
深度學習長期依賴反向傳播作為主要的信用分配算法，其架構與硬體皆圍繞可微分性與一階梯度進行演化。然而，隨著計算資源的增加，基於搜尋的通用暴力學習算法可能因符合「苦澀教訓」（The Bitter Lesson）而更具優勢，因為通用方法最終會隨著計算量擴展而勝出。傳統演化策略（如 EGGROLL）透過擾動權重來近似梯度，但受限於每個群體成員需獨立評估，擴展成本高。Dust 透過擾動激活值並利用 token 作為虛擬群體成員，繞過了權重空間的評估瓶頸。此外，機制可解釋性研究指出推理存在於激活值中，因此對激活空間的搜尋可能將訓練轉化為對潛在推理的搜尋。
社群觀察
社群對 Dust 的應用前景與理論基礎存在分歧。部分評論者（如 blt）懷疑無導數優化算法能否產生實質影響，認為神經網路目標函數通常平滑，梯度資訊更具價值。另有評論者（如 syntacticsalt）質疑將「苦澀教訓」應用於零階方法的合理性，認為非凸性問題並未因此解決。支持者（如 mkaic）則認為零階方法不應被視為反向傳播的替代品，而是在反向傳播較弱的領域（如訓練大型 RNN 時避免時間反向傳播）具有潛力。還有評論者（如 usernametaken29）指出移除 Hessian 矩陣條件數的限制是重要進展，並期待後續發展。另有觀點（如 polyomino）建議探索混合方法，例如對已通過反向傳播訓練的檢查點進行微調，以解鎖進一步的增益。
