Pathway 發布了其 1.5 億參數的 BDH(Dragon Hatchling)模型,該模型在 ARC-AGI-1 基準測試中創下了新的成本效率紀錄。這項表現引發了社群討論,認為這可能標誌著 Andrew Curran 所預言的後 Transformer 架構取得重大突破。

BDH 架構受生物啟發,將記憶、適應和推論整合到單一計算結構中,而非將記憶附加在語言模型之外。這項進展的重要性在於它挑戰了 Transformer 架構的主導地位,並在旨在衡量通用智力的基準測試中展現了卓越的效率。若經證實,它可能為開發人工通用智能(AGI)提供更具擴展性且成本效益更高的替代方案。

然而,目前的聲稱僅基於單一基準測試的分數,部分專家認為其範圍可能有限。

事件背景

ARC-AGI 基準測試基於「人類易解、AI 難解」的原則設計,旨在衡量真正的通用智力,而不僅僅是模式匹配。後 Transformer 架構(如狀態空間模型 SSM)正在興起,以解決傳統 Transformer 的二次擴展限制,提供更高效的長序列處理能力。

社群觀察

社群情緒偏向懷疑,許多用戶認為僅憑單一基準測試就宣稱進入後 Transformer 時代為時過早。評論者強調,在該模型被視為真正的架構突破之前,必須證明其在多個基準測試中的泛化能力以及在更大規模下的擴展性。