Hugging Face 發布了 LFM2.5-VL-DSpark 模型,該模型創新性地結合了液態神經網絡(Liquid Neural Networks)與 Mamba 架構,顯著加速了視覺語言處理任務。此次發布深入探討了利用狀態空間模型進行多模態任務的高效推理技術。

該模型利用線性時間序列建模,有效解決了傳統基於 Transformer 的視覺語言模型所面臨的計算瓶頸。這標誌著多模態 AI 在部署效率和可訪問性方面的重要進步。

在架構設計上,該模型利用液態神經網絡的特性,使神經元能根據輸入動態調整時間常數,並結合 Mamba 狀態空間模型以高效處理長序列。這種混合方法旨在特定的視覺語言基準測試中超越標準 Transformer。

事件背景

視覺語言模型(VLMs)是能夠理解並生成包含圖像和文本內容的 AI 系統,例如描述照片或回答關於視覺數據的問題。傳統的 VLM 通常依賴於 Transformer 架構,但在處理長序列時計算成本高且速度較慢。

Mamba 是一種基於結構化狀態空間模型的新興深度學習架構,具有線性時間複雜度,與 Transformer 相比,它在處理長序列時更快且更節省記憶體。液態神經網絡是一種受生物神經元啟發的循環神經網絡,以其在動態環境中的適應性和穩定性而聞名。