一篇被 NeurIPS 接受的論文提出了具有自適應表示的函數梯度下降法，該方法在多種設定下不僅能保證收斂至全局最小值，其性能更比神經網路高出整整一個數量級。此方法解決了無限維函數梯度近似難題，避免了以往簡單近似導致收斂至錯誤解的問題。 這項研究提供了一種理論嚴謹且實作可行的神經網路訓練替代方案，有望革新無限維空間中的最佳化技術。它透過提供一個能保證收斂且無固定基底方法常見近似誤差的統一框架，彌補了核方法與神經網路之間的差距。 該方法形式化了稱為「自適應表示」的廣泛近似方案類別，這些方案能動態調整以確保準確捕捉函數梯度。儘管梯度具有無限維特性，該演算法仍具備實作可行性，並在特定任務中展現出優於 AdamW 等最佳化器的顯著性能提升。

事件背景

函數梯度下降法（FGD）是一種最佳化技術，其更新變數為函數而非有限參數集，常見於梯度提升演算法中。在 FGD 中，梯度存在於無限維空間，因此無法直接儲存或計算。從業者通常使用固定基底或弱學習器來近似該梯度，但若基底不夠豐富，簡單的近似方法會導致收斂誤差。

社群觀察

社群成員對其理論優雅性表示讚賞，其中有人提到他們過去曾因為偏好神經網路而忽略了核方法。大家也提出了關於該方法局限性的問題，特別是與 AdamW 等標準最佳化器相比，其在高維數據上的實用性如何。