研究人員透過將 Qwen3.8-Flash-Next 的凍結 n-gram 記憶體注入 Qwen3.5-0.8B 模型，在不微調主幹的情況下，將困惑度降低了 5.05%。這種參數高效的方法利用小型訓練讀取器和動態的 token 依賴線性閥門，在特定的解碼器層控制記憶體的注入。 這項實驗展示了一種參數高效遷移學習的新方法，證明較大型模型的預訓練統計模式可以增強較小的架構。它為標準的微調方法（如 LoRA）提供了一種潛在的替代方案，能以最低的計算開銷提升語言建模效能。 該設定保持 Qwen3.5-0.8B 主幹和約 51B 參數的 PLE 記憶體凍結，僅在解碼器第 3 層和第 9 層訓練一個小型 R=1 讀取器。動態閥門允許記憶體強度隨 token 變化，優化了先前因固定晚期層注入而損害 LAMBADA 等任務表現的問題。
事件背景
N-gram 語言模型是一種統計模型，根據前 n 個項目來預測序列中的下一個項目，是自然語言處理中的基礎概念。參數高效微調（PEFT）技術（如 LoRA）允許模型通過僅訓練少量參數並保持預訓練權重凍結來適應新任務。此方法利用了從較大型模型中注入統計模式到較小型模型而無需完整重新訓練的概念。
社群觀察
社群成員對小型模型擁有大型記憶體區塊的概念表示感興趣，但也有人質疑其與標準 LoRA 訓練相比的實際應用價值。一位評論者指出，使用凍結主幹訓練的 LoRA 實際上優於這種 PLE+Adapter 方法，暗示由於數據校正差異而非原始數據傳輸，這種遷移可能是一條死胡同。
