Reddit 社群討論指出，Qwen 與 Gemma 在分詞（tokenization）策略上存在顯著差異。具體而言，Qwen 會將多個空白字元及 HTML 標籤（如 </div>）視為單一 token；相比之下，Gemma 則會將這些內容拆分為多個 token。

這種基於 Byte Pair Encoding (BPE) 的結構差異，引發了關於上下文視窗效率與程式碼適用性的辯論。Qwen 將常見程式概念與完整詞彙分組的方式，可能簡化了語法表示；而 Gemma 的方法則傾向將程式碼視為字母與詞彙片段。此外，社群成員指出 Qwen 擁有顯著更大的詞彙量，這允許其進行更激進的 token 壓縮。

事件背景

分詞是將原始文字轉換為 token 的過程，token 是大語言模型 (LLM) 輸入的基本單位。Qwen 使用超過 150,000 個 token 的大詞彙量並採用 Byte Pair Encoding (BPE) 來最小化 token 數量，而 Gemma 則採用不同的 BPE 配置，對特定字元與標籤進行更細粒度的分詞。

社群觀察

社群用戶普遍認為，Qwen 的策略透過將語法視為原子單位來優化程式碼效率，但也有人警告與 Gemma 的字元級處理相比，它可能會損失細微差異。討論也涉及效能影響，部分用戶指出 Gemma 在某些基準測試中具有更快的 token 生成速度。