Hugging Face 發布了 LFM2.5 檢查點，該模型由 LiquidAI 開發，利用液態時間常數（LTC）網路與量化感知蒸餻（QAD）技術，打造出高效能的大型語言模型。此次發布特別針對邊緣裝置，透過結合新穎的架構與先進的訓練技術，實現更優異的效能表現。

這項進展解決了資源受限裝置上高效 AI 推論的關鍵需求。透過利用液態時間常數動態與量化感知蒸餻，LiquidAI 展示了在本地部署強大模型且不犧牲準確性的可行途徑。

LFM2.5 架構採用液態時間常數網路，這是一種具有與隱藏狀態耦合的可變時間常數的動力系統。同時，量化感知蒸餻的使用有助於恢復量化模型的準確性，並解決訓練不穩定性和數據依賴問題。

事件背景

液態時間常數（LTC）網路是一種連續時間模型，它使用由非線性互連閥門調製的線性一階動力系統，允許時間常數隨變化。量化感知蒸餻（QAD）是一種訓練技術，其中量化後的學生模型透過最小化其輸出與凍結的高精度教師模型（例如 BF16）輸出之間的 KL 散度來學習，從而有效恢復量化過程中損失的準確性。