研究人員提出了 EngramEdit，這是一種透過編輯 DeepSeek Engram 等條件記憶架構中共享的 n-gram 嵌入來更新大型語言模型事實知識的方法。該方法旨在解決不同事實表達可能激活不同 n-gram 嵌入，以及更新共享嵌入可能意外改變模型對其他事實預測的挑戰。
EngramEdit 的運作機制包括：首先計算目標記憶表示，使模型在多種表達方式下預測更新後的事實；接著聯合更新共享的 n-gram 嵌入以匹配這些目標，並對頻繁重複使用的嵌入施加更強的懲罰，以保留無關知識。
實驗結果顯示，EngramEdit 透過條件記憶實現了獨立的事實知識更新，達到近乎完美的編輯成功率。修訂後的知識可在未見過的表達方式和多跳推理中使用，在思維鏈（CoT）提示下，其準確率約為最強基準方法的三倍。即使隨著事實更新的不斷累積，無關知識和通用能力仍大部分得以保留。這些發現表明，EngramEdit 將條件記憶轉化為可編輯的知識介面，將其角色從模型擴展延伸至支持解耦的知識更新。
事件背景
條件記憶架構（如 DeepSeek Engram）使用輸入的 n-gram 來查找學習到的嵌入，以有限的額外計算擴展大型語言模型（LLM）的容量。除了模型擴展之外，這種架構展示了將事實知識儲存與通用計算解耦的潛力，提供了一條在保持 Transformer 主幹固定的情況下更新事實知識的有前途的路徑。
社群觀察
社群討論集中在該技術的實際應用潛力與潛在限制：
1. **技術可行性與擔憂**：有用戶指出，若論文正確，可交換的 n-gram 表格用於保持模型最新狀態的理論可能成真。然而，也有用戶提出對「連續編輯」（sequential edits）而非批次編輯的擔憂，指出 ROME/MEMIT 等現有方法在單次編輯表現良好但在應用數千次後會嚴重退化。該用戶擔心 EngramEdit 中的頻率懲罰機制可能導致熱門詞元被凍結，而稀有詞元吸收所有變化，從而導致尾部漂移累積。此外，也有疑問關於編輯是否能存活於與訓練表達式完全沒有共享 n-gram 的改寫中。
2. **模組化領域專家**：有用戶建議這可能有助於實現「模組化領域專家」，即訓練針對數學、生物學或特定主題（如哈利波特）的 n-gram 模組以減少幻覺，並讓用戶選擇載入哪些模組。該用戶認為核心問題仍在於如何訓練小型且高效的推理核心，而不被隨機知識膨脹，然後按需插入領域知識模組。
3. **即時學習與開源**：有用戶認為「在工作中學習」（on-the-job learning）是顯而易見的下一步，且是機器學習擅長的領域。該用戶認為大型實驗室無法解決此問題，因為他們無法控制客戶教給模型的內容，因此這必須由開源社群率先實現。
