Sebastian Raschka 分析了 GPT-6 Astra 向循環變壓器（looped transformers）和循環深度（recurrent depth）的架構轉變。這種設計透過重複使用權重來實現隱藏推理能力，允許模型在節省 GPU 記憶體的同時模擬更深的網路。此轉變可能增強演算法推理能力，並使內部思考過程比標準變壓器堆疊更難監控。循環變壓器透過重複應用固定的變壓器區塊以模擬深度網路的層數，利用權重展開實現強大的演算法模擬與收斂，同時使用更少的參數。

事件背景

標準變壓器在固定的層數上平行處理輸入，而循環架構則隨時間步序貫處理數據。循環變壓器透過迭代應用相同的網路權重來彌補這一差距，使模型能夠像循環神經網絡一樣精煉其內部狀態，同時在每次循環中保留注意力機制的平行處理優勢。

社群觀察

社群成員讚賞對循環如何產生隱藏推理的清晰解釋，並指出這本質上是權重 tied 的深度展開。其他人則討論了這些新架構對生產力的實際影響以及監控思考軌跡的難度。