Reddit 用戶利用 Unsloth 工具，將原本 711GB 的 Kimi K3 模型體積縮減至 478GB。此次縮減是透過 IQ2-XXS 量化技術，並移除與非英語語言相關的特定專家 MLP（多層感知機）所達成。這項修剪技術專門針對多語言組件進行處理，同時保留了核心的英文能力。

事件背景

專家混合架構（MoE）是一種模型設計，其中包含多個較小的神經網路（專家），並根據輸入內容選擇性激活，從而以較低的運算成本實現更大的模型容量。IQ2-XXS 等量化格式透過降低模型權重的精度來節省記憶體，但可能會犧牲一些準確度。MoE 中的「專家」一詞指的是這些專門的子網路，儘管其知識通常是分佈式的，而非孤立於單一主題。

社群觀察

社群成員討論了移除多語言專家是否真的能將語言隔離，部分觀點認為語言能力相互關聯，因此非英語的表現將會受損。另一些人則批評「專家」一詞暗示了特定的知識孤島，建議與其修剪已經量化的 MoE 模型，不如直接運行較小的稠密模型來獲得更實用的效果。