物理啟發式剪枝：將 LLM 區塊移除轉化為伊辛優化問題

Hugging Face Blog 介紹了一種將大型語言模型（LLM）的區塊移除任務，重新定義為伊辛優化問題的新方法。該技術透過將區塊間的互動映射至伊辛玻璃模型，並將剪枝過程解決為受限二元優化問題，實現了結構化剪枝。此方法能在最大化壓縮效率的同時，最小化對 Transformer 區塊輸出的影響。

在實際應用中，當壓縮率達到 50% 時，該模型的 MMLU 指標提升了 23 分。這種受物理啟發的方法優於先前的剪枝技術，利用物理學中的組合優化技術，大幅降低了高效推理的計算成本。這項為模型壓縮帶來的新穎貢獻，有望實現大型模型更快、更便宜的部署。

事件背景

伊辛模型是統計力學中用於描述相變和磁性質的數學框架，常應用於解決如最大割問題等困難的組合優化問題。在機器學習領域，物理啟發方法將物理原理整合到模型結構中，將物理視為一種有意義的壓縮形式。