研究人員提出「可分離高斯和」（SSOG）作為標準縮放點積注意力（SDPA）的次二次方替代方案。此方法利用可分離的高斯核來降低計算複雜度，同時保持效能。標準注意力機制的二次方複雜度為 Transformer 處理長序列帶來瓶頸。SSOG 提供了一條更有前景的路徑，以更高效的處理方式應對更大的上下文長度，這可能影響電腦視覺和語言模型架構。SSOG 利用空間數據中固有的幾何先驗，使其在影像和影片上特別有效。社群討論指出，雖然方核（box kernels）能提供免費的多原子計算，但高斯核能為所有 token 提供更好的梯度流動，這對於學習動態至關重要。

事件背景

縮放點積注意力（SDPA）是 Transformer 模型中的核心機制，用於計算查詢、鍵和值向量之間的注意力權重。其標準實現具有 O(n^2) 的複雜度，意味著計算時間隨序列長度呈二次方增長。次二次方注意力機制旨在降低此複雜度，以改善長上下文任務的可擴展性。

社群觀察

社群欣賞 SSOG 的視覺化呈現與數學優雅性，但質疑其直接應用於語言模型的有效性。用戶指出，雖然幾何先驗在影像上效果良好，但文字需要以不同方式處理長距離依賴關係，因此可能需要根本性的方法改變。