COUNT 技術利用主機記憶體儲存 N-gram 計數，提升語言模型訓練效率與免訓練適應能力

研究團隊提出 COUNT 方法，透過在主機記憶體中預存 N-gram 出現頻率來增強語言模型，無需額外訓練參數。在固定運算預算下，此技術可使 10 億參數模型的驗證損失改善程度相當於增加 57% 運算資源的模型，並支援推理階段切換特定領域數據以實現免訓練任務適應。

AI 新聞雷達編輯團隊·本站收錄：2026/10/21 04:03（台灣時間）·閱讀約 2 分鐘

本站收錄時間為新聞雷達完成整理的時間，不代表事件發生時間。原文日期僅在取得明確來源證據時顯示；未標示者請參閱下方原始來源。

30 秒掌握

COUNT 利用主機記憶體儲存預計算的 N-gram 計數，避開傳統方法需佔用昂貴 GPU 記憶體進行嵌入層訓練的限制。

在 10 億參數模型的預訓練中，加入 COUNT 作為額外輸入嵌入，其驗證損失改善效果等同於使用多 57% 運算資源的模型。

當 GPU 記憶體受限時，讓主幹參數佔滿 GPU 並搭配 COUNT 使用，比將記憶體分割給額外學習的 N-gram 嵌入層能帶來更佳效能。

該技術允許在推理階段直接載入特定領域語料的 N-gram 計數表，無需重新訓練即可適應新任務。

利用主機記憶體儲存預計算數據以擴展模型能力

語言模型的規模化研究近期轉向記憶體使用量的擴展，其中為 N-gram 添加嵌入層是一種常見策略。傳統方法從頭訓練這些嵌入參數，需要高速讀寫功能，因此必須佔用昂貴的 GPU 記憶體。

然而，普通主機系統記憶體成本低廉且在現有訓練方法中未被充分利用。COUNT（Counting Offline Unlocks N-gram Transformers）技術透過在主機上儲存預計算的 N-gram 計數，在不增加學習參數的情況下構建 N-gram 嵌入。

該方法利用語料庫中的頻率數據，將語言模型自身的解嵌入層輸出進行加權組合，這些輸出對應於當前 N-gram 歷史之後最常出現的下一個詞元。

在固定的運算預算下，將 COUNT 作為額外輸入嵌入加入 10 億參數語言模型的預訓練過程中，可顯著改善驗證損失。研究數據顯示，這種改善程度相當於一個擁有額外 57% 運算資源的語言模型所能達到的效果。

在 GPU 記憶體受限的情境下，使用 COUNT 讓主幹網路參數填滿 GPU 記憶體，其表現優於將記憶體分割給額外學習的 N-gram 嵌入層的做法。

除了提升訓練效率，COUNT 還提供了在推理階段進行任務適應的新途徑。使用者可以在不進行任何訓練的情況下，於推理時切換載入來自特定領域語料的 N-gram 計數表。

這種機制允許模型根據新的任務需求調整其對詞元序列的預測權重，從而實現免訓練的領域適應。