重新審視自注意力機制的必要性

研究者 Zhang Chong 在論文中探討序列建模的基本問題：顯式的自注意力機制是否為實現強大效能與推理能力的必要條件。

論文指出，標準的多頭自注意力可被視為一種張量提升（tensor lifting）過程，即將隱藏向量映射到高維的成對互動空間，並透過梯度下降約束這個提升後的張量。

這種機制雖然表達能力極強，但在數學上難以解釋，因為經過多層處理後，很難用一組明確的不變量來描述模型行為。

基於 Grassmann 流形的替代架構設計

為了探索替代方案，論文提出了一種基於 Grassmann 流的無注意力架構，核心組件為因果 Grassmann 層（Causal Grassmann layer）。

該層的操作步驟包括：線性縮減詞元狀態、透過 Plücker 座標將局部詞元對編碼為 Grassmann 流形上的二維子空間，以及透過門控混合（gated mixing）將幾何特徵融合回隱藏狀態。

資訊傳播方式改為透過多尺度局部視窗中低秩子空間的受控變形進行，使得核心計算發生在有限維度的流形上，而非無結構的張量空間中。

語言建模與推理任務的測試結果

在 Wikitext-2 語言建模基準測試中，參數量為 1300 萬至 1800 萬的純 Grassmann 模型達到了驗證困惑度，其數值落在與參數量匹配的 Transformer 模型約 10% 至 15% 的差距範圍內。

在 SNLI 自然語言推理任務中，研究者在 DistilBERT 之上疊加了一個 Grassmann-Plücker 頭部，結果顯示該配置略優於標準的 Transformer 頭部。

具體數據顯示，Grassmann-Plücker 頭部的最佳驗證準確率為 0.8550，測試準確率為 0.8538；相比之下，Transformer 頭部的對應數值分別為 0.8545 和 0.8511。

計算複雜度與社群技術質疑

論文分析了 Grassmann 混合的計算複雜度，聲稱在固定秩的情況下，其運算量隨序列長度呈線性擴展。

作者認為這種基於流形的設計為神經推理提供了一條更具結構化的幾何與不變量解釋路徑。

然而，社群評論指出該方法存在資訊取捨問題，因為 Grassmann 流形僅保留子空間的方向，丟失了實際線性映射的基底資訊。

另有評論質疑論文中的配對操作定義（使用 zt, zt+Delta）可能存在因果關係上的錯誤，應為 (zt, zt-Delta) 以避免預測未來時作弊。

還有觀點認為，嚴格遵循數學定義可能在實際硬體上導致類似函數式語言的延遲問題，且在小規模序列上已有許多有效的無注意力替代方案。