OpenBMB 展示了 MiniCPM-V 4.7 的示範,這是一個 35B-A3B 參數的混合專家(MoE)視覺語言模型,能夠在行動裝置上本地運行,據稱僅需約 3GB 記憶體。該模型的主要應用場景包括閱讀現實世界標誌、理解複雜文件、對視覺資訊進行推理以及結合現實約束進行規劃。其關鍵技術在於「前瞻專家排程」(Lookahead Expert Scheduling, LES),該技術並非單純縮小模型,而是透過預測並預載專家模組來優化 MoE 推論,以減少瓶頸。此外,OpenBMB 還發布了針對資源受限裝置的較小 MiniCPM-V 4.7 1B 模型,並引入了「自我重播微調」(Self-Replay Fine-Tuning, SRFT)技術,旨在讓開發者能針對特定任務自訂模型,同時保留其通用能力。這一進展顯示多模態助手正逐步從雲端轉向直接在手機上運行。

事件背景

「前瞻專家排程」(Lookahead Expert Scheduling, LES)是 MiniCPM-V 4.7 的關鍵技術之一。根據來源描述,該技術並非單純縮小模型,而是透過預測並預載專家模組來優化 MoE 推論,以減少瓶頸。