Hugging Face 與 LiquidAI 發布了 LFM2.5-VL-3B,這是一款利用液態狀態機(liquid state machines)來提升邊緣硬體處理速度與效率的視覺語言模型。此發布為裝置端 AI 推論提供了傳統 Transformer 架構之外的一個具吸引力的替代方案。該模型已針對邊緣部署進行優化,社群測試證實 Q6 量化與 f16 mmproj 變體可適應 4GB 的 VRAM。使用者也正在將其純文字變體應用於單板電腦(SBC),以執行摘要生成和工具呼叫等任務。

事件背景

液態狀態機是一種受生物神經元啟發的循環神經網絡,以其高效處理時間數據和動態適應能力而聞名。視覺語言模型(VLM)結合視覺與文字資料,用於理解影像並生成文字描述,這對於自動駕駛和機器人等應用至關重要。邊緣 AI 指的是在裝置本地上運行 AI 演算法,而非在雲端,從而降低延遲並減少頻寬使用。

社群觀察

社群成員正在有限 VRAM 的筆記型電腦上積極測試該模型,並指出量化版本能很好地適應 4GB 的限制。此外,人們也對在單板電腦上使用純文字變體進行摘要生成感興趣,並將其與其他模型(如 Gemma 和 PaddleOCR)進行比較。