Hugging Face 研究人員開發出新方法，提升大型語言模型知識蒸餾的記憶體效率。該方法透過快取最佳預測結果並使用融合的分塊損失函數，將峰值 GPU 記憶體需求從 250GB 降至約 128GB。此突破顯著降低訓練與部署的計算成本及硬體門檻，解決 AI 部署的關鍵瓶頸，讓更多工程師能輕鬆應用。技術核心在於利用快取與分塊損失機制優化記憶體，使高效訓練無需過多 GPU 資源，提升大型應用的實用性。

事件背景

知識蒸餾是一種機器學習技術，將知識從大型預訓練的「教師模型」轉移至較小的「學生模型」。此過程讓小型模型能達到與大型模型相當的效能，同時具備更快的速度與更低的部署成本，廣泛用於優化大型語言模型以適應生產環境。