開發者結合 Engram 條件記憶表格、OLMo 分詞器以及縮減至 2048 的 d_model 維度，訓練出一個僅有 20 億參數的微型模型。此架構使模型能夠利用 40 個 SWA/Global 區塊，在僅使用 1500 萬個訓練 token 的情況下便展現出驚人的連貫性。此方法解決了 Llama 模型的授權限制問題，並透過更小的體積優化了行動裝置與邊緣運算的部署。它證明了將靜態記憶查找與高效的注意力機制結合，即使在有限的訓練數據下也能產生實用的結果。由於 N-gram 雜湊的詞彙大小限制，Engram 表格消耗了約 10 億個參數，使總模型大小達到約 30 億參數。訓練過程利用 7B OLMo 模型生成的機率來引導 token 預測。
事件背景
Engram 是一種條件記憶機制，透過將可訓練的嵌入表格注入 Transformer 層，並利用滾動 N-gram 雜湊進行索引，提供對 token 序列統計資料的直接存取。OLMo 分詞器採用字節對編碼（BPE），與 Allen Institute for AI 的開源語言模型相關。SWA（滑動視窗注意力）與 Global 區塊作為架構組件，透過建模粗塊與局部 token 之間的依賴關係，有助於減輕推論瓶頸。
社群觀察
社群成員對該模型在行動裝置部署上的潛力表示興趣，指出 9B MoE 模型目前仍是他們本地測試的上限。使用者也詢問了所需的運算資源，以及 N-gram 特徵是否可以添加到已預訓練的模型中。
