一位開發者分享了整合 Engram 表格與滑動視窗注意力（SWA）的 26 億參數模型的詳細架構規格。此次更新強調了該配置如何將 n-gram 查詢卸載至靜態記憶體表格，從而優化小型語言模型的效率。 這種方法展示了透過結合動態注意力與靜態記憶體來提升小型模型效能的可行途徑，有望減少對龐大參數數量的依賴。它驗證了使用條件記憶體原語以提升推理能力，而不必按比例增加運算資源的趨勢。 該模型使用具有上下文感知注意力頭的 43 億 Engram 表格，而嵌入層和語言模型頭則保持凍結以節省訓練資源。在架構上，它採用 3:1 的 SWA 層疊策略（4k/4k/8k），後接一個全局層，總計 41 層。
事件背景
Engram 表格是一種記憶體機制，用於儲存 n-gram 序列，使模型能夠高效檢索過去上下文，而無需將每個詞元通過厚重的 Transformer 層。滑動視窗注意力（SWA）將每個詞元的注意力範圍限制在固定的局部視窗內，與完整的注意力機制相比，顯著降低了計算複雜度。
社群觀察
社群成員對 AttnRes 與 Engram 的結合表現出濃厚興趣，指出 n-gram 能有效將知識從前饋網路（FFN）中移出。一位使用者分享了使用三元權重的成功經驗，在大幅節省記憶體的同時，提升了模型的穩定性並降低了損失值。
