通用詞彙表在特定領域任務中的雙重浪費

現有的大型語言模型通常繼承為多領域、多語言設計的通用詞彙表，這對於僅處理單一語言或固定格式（如 JSON）的專用模型而言，造成了兩類顯著的成本浪費。第一類是碎片化，即重複出現的結構性文本（如評分系統中的固定開頭、能力名稱）被切分成多個 Token，導致每次請求都需支付額外的生成成本。第二類是冗餘，模型在每個生成步驟中仍需對數萬個該領域幾乎不會使用的詞彙進行概率計算，這不僅佔用記憶體頻寬，也增加了計算負擔。

為何生成 Token 的成本遠高於讀取輸入

推論過程分為預填充（Prefill）與解碼（Decode）兩個階段，其中解碼階段的成本結構截然不同。在預填充階段，模型一次性處理所有輸入，權重讀取可被重複利用，瓶頸在於計算能力；但在解碼階段，模型逐個生成 Token，每次都需要完整的網絡前向傳播，且受限於記憶體頻寬，因為 GPU 大部分時間都在等待數據從記憶體傳輸。

在 Dharma-AI 測試的葡萄牙語作文評分系統中，生成一個 Token 的成本相當於讀取輸入 Token 成本的 7.4 倍，且這個比例會隨硬體、批次大小和上下文長度變化。此外，模型最後一層的 LM Head 需要為詞彙表中的每個條目儲存參數行，對於 Qwen3-4B 這樣的小型模型，這部分佔據了近 10% 的參數量。由於解碼階段受限於記憶體頻寬，詞彙表中任何一個未被使用的條目都會在每一步生成中產生相同的數據傳輸成本，因此單純減少 Token 數量而不考慮其位置與價值，無法有效降低成本。

VocabX 如何透過成本加權與雙層優化解決問題

VocabX 改變了詞彙選擇的標準，不再僅依據 Token 出現的頻率，而是計算每個候選 Token 能節省的成本與時間。系統會根據 Token 出現的位置（如系統提示、用戶訊息或模型回應）乘以不同的價格權重進行評估，由於生成階段的成本遠高於輸入階段，VocabX 優先優化那些出現在模型輸出中的高價值結構。

該方法同時在兩個層面進行優化：子字元層面重新設計領域詞彙的切分方式，多字詞層面則識別重複出現的長片段（如完整的 JSON 封套或句子）並將其合併為單一的 Macro Token。為了找到這些重複片段，VocabX 使用了五種專門化的搜尋器，分別針對長單詞、整行文本、短語、完整句子以及包含標點符號的結構進行挖掘。實驗顯示，若缺少這五種搜尋器的協同作用，Token 減少量將大幅下降 55.6 個百分點。

利用統計估算克服採樣數據的局限性

在選擇高價值 Token 時，傳統方法通常依賴於對部分文檔的採樣來評估候選詞彙的收益，這導致那些在採樣集中未出現但在整體語料庫中頻繁出現的罕見但高價值詞彙被錯誤地評為零收益。例如，一個在 50,000 份文檔中出現 37 次的短語，在僅包含 400 份文檔的採樣集中出現的機率僅約 26%，這使得許多潛在的高價值優化機會被遺漏。

VocabX 引入了一種統計估算方法，基於可見候選詞彙的行為模式來推估不可見候選詞彙的潛在收益，從而讓那些在採樣中罕見但在整體語料庫中頻繁出現的詞彙重新進入評估範圍。僅這一改進就在合約語料庫上將 Token 減少率從 44.7% 提升至 52.8%，顯著提高了詞彙優化的覆蓋率與效率。

實際應用中的成本節省與品質平衡

在針對 Qwen3-4B 基礎模型的葡萄牙語作文評分系統測試中，使用 VocabX 重新訓練的模型將平均回應長度從 350 個 Token 減少至 101 個，推論成本降低了 77.0%，同時綜合評測分數（結合評分準確度與規則違反篩選能力）從 0.703 提升至 0.810。測試環境使用 RTX 5090 GPU 和 vLLM 推理伺服器，所有對比實驗均基於相同的基礎模型、數據集和訓練配方，僅詞彙表不同。

實驗過程中發現了一個關鍵的權衡：過度壓縮可能損害模型品質。最初版本的 VocabX 將評分等級與周圍的 JSON 結構合併為單一 Macro Token，雖然這是最緊湊的方案，但導致評測分數降至 0.689，低於生產環境基線。這是因為將關鍵決策（評分）與結構混合後，模型無法獨立選擇評分結果。最終方案保留了評分等級作為獨立 Token，雖然每個回應增加了 2 個 Token，但成功將評測分數提升至 0.810，並實現了比過度壓縮版本更高的成本節省率（77.0% vs 73.3%）。

跨領域與多模型家族的泛化能力驗證

為了驗證 VocabX 的通用性，研究團隊在合約、醫療論文、科學論文、新聞和 Python 程式碼五個公開領域上，針對 Qwen3、Llama-3.1 和 Gemma-3 三個模型家族進行了對比測試。結果顯示，VocabX 在所有十五種組合中均超越了現有的參考方法（如 Fast Vocabulary Transfer, Multi-word Tokenization 等），Token 壓縮率高出 1.2 至 9.3 個百分點。

在推論成本方面，經過剪枝的 VocabX 版本同樣在所有測試中領先，平均優勢分別為 Qwen3 提升 10.2 個百分點、Llama-3.1 提升 7.5 個百分點、Gemma-3 提升 13.6 個百分點。以合約領域為例，VocabX 在詞彙表大小僅為 113,426 條目的情況下達到了 62.6% 的 Token 減少率，而表現最好的現有方法（In-place BPE）需要 207,803 條目才能達到 61.8% 的減少率，顯示 VocabX 在更小的詞彙表規模下實現了更高的效率。