Reddit 使用者 /u/Public-Feedback-6705 發布了一份關於「後 Transformer 架構」的對比表，旨在梳理不同架構在推理、記憶和適應能力方面的改進，特別關注在實際計算和能源預算限制下的效率。該作者認為，AI 的下一個前沿可能不再僅是規模擴展，而是如何在有限資源中榨取更多智能。對比表涵蓋了來自不同實驗室的多種架構，包括 Mamba-2/3、RWKV-7、BDH (Dragon Hatchling)、xLSTM、Titans、Qwen3-Next、Kimi Linear、MiniMax-01/M1、Jamba、Nemotron-H、Falcon-H1、Zamba2、LFM2、StripedHyena 2 以及 HRM 等。
表格詳細列出了各架構的核心機制與重疊情況： 1. **核心機制**：Mamba-2/3 使用選擇性狀態空間模型（SSM），Mamba-3 增加了複數值狀態與 MIMO；RWKV-7 為可並行化 RNN，具恆定記憶體且無 KV 緩存；BDH 基於神經元圖，注意力從局部交互中湧現；xLSTM 使用指數門控與矩陣記憶；Titans 包含由測試時「驚奇度」更新的神經長期記憶模組；Qwen3-Next 與 Kimi Linear 採用門控 DeltaNet 或 Delta Attention，線性與 Softmax 注意力比例約為 3:1；MiniMax-01/M1 使用 Lightning Attention（Softmax，比例 7:1）並結合 MoE；Jamba 系列為 Mamba 與注意力約 7:1 混合並結合 MoE；Nemotron-H 將多數注意力層替換為 Mamba-2；Falcon-H1 在每個區塊內並行運行注意力與 Mamba-2 頭；Zamba2 使用 Mamba-2 骨架並每隔 N 層插入共享權重注意力區塊；LFM2 透過硬體迴路搜尋發現，結合 10 個門控短卷積區塊與 6 個 GQA 區塊；StripedHyena 2 結合三種 Hyena 卷積運算子與注意力；HRM 則由兩個耦合循環模組（慢速規劃器與快速工作者）組成，單次前向傳播。
2. **重疊情況**：表格指出這些架構並非互斥，存在多種重疊。例如，Mamba-2/3 透過 SSD 實現線性注意力；RWKV-7 具有動態狀態演化（測試時快速權重）；BDH 具有赫布突觸（測試時快速權重）且具腦啟發特性；xLSTM 具協方差更新（測試時快速權重）；Titans 具測試時記憶與腦啟發框架；Qwen3-Next 與 Kimi Linear 同時具備線性與 Softmax 注意力（每 4 層中 1 層）及 Delta 規則（測試時快速權重）；MiniMax-01/M1 與 Jamba 系列具備線性與 Softmax 注意力（每 8 層中 1 層）；Nemotron-H、Falcon-H1、Zamba2 繼承了線性與 Softmax 注意力；LFM2 與 StripedHyena 2 僅具 Softmax 注意力；HRM 模組內部可能包含 Softmax 注意力且具測試時快速權重。作者標註「?」表示不確定或依賴變體，「Inherited」表示歸因於組件。
事件背景
原始來源未提供關於傳統 Transformer 架構計算複雜度或後 Transformer 架構技術定義的背景資訊。基礎稿中關於「二次方增長」及「線性擴展」的描述缺乏原文支持，故予以刪除。
社群觀察
原始來源未包含社群評論內容。
