OpenBMB 發布了 MiniCPM-V 4.7 系列的最新模型 MiniCPM-V 4.7-35B-A3B，這是該系列中首款採用混合專家（MoE）架構的模型。該模型延續了單圖、多圖及影片理解能力，並結合了更強大的基礎能力、高效的視覺編碼技術以及端側推理優化。
MiniCPM-V 4.7-35B-A3B 的主要特點包括： 1. **首款開源 MoE 模型實現無損順暢端側推理**：透過引入「前瞻專家調度」（Lookahead Expert Scheduling, LES）技術，結合細粒度逐層量化和 DSpark 推測取樣整合，該模型成為首款能在端側設備上順暢運行且不犧牲性能的開源 MoE 模型。在 iPhone 17 Pro Max 上，其解碼速度達到每秒 13 個 token 以上。 2. **性能與效率的新帕累托前沿**：在指令模式（Instruct mode）下，MiniCPM-V 4.7-35B-A3B 在較短的推理時間內取得了比 Qwen3.6 35B-A3B 更高的總分，推進了多模態大型語言模型（MLLMs）在性能與效率之間的平衡點。 3. **高效架構**：基於 LLaVA-UHD v4 的 intra-ViT 早期壓縮技術，該模型在視覺編碼器內部早期壓縮視覺 token，從而減少後續編碼層的計算量。它支援混合 4x/16x 視覺 token 壓縮，允許開發者在視覺細節與推理成本之間進行平衡。 4. **廣泛的平台與晶片支援**：支援 iOS、Android 和 HarmonyOS 系統，並提供開源的端側部署支援。同時，它為 Rockchip、Houmo、Intel、AMD 和 Arm 等晶片平台提供 Day-0 支援，擴展了移動和本地計算設備的部署選項。 5. **開發者友好**：支援 SGLang、vLLM、llama.cpp 和 Ollama 等推理框架，以及 SWIFT 和 LLaMA-Factory 等微調框架。提供 GGUF、BNB、AWQ 和 GPTQ 量化變體，並新增 FP8 量化支援。此外，還發布了「自我重放微調」（Self-Replay Fine-Tuning）方法，幫助開發者以低成本擴展模型能力，同時減少對現有能力的遺忘。
GGUF 格式模型已發布於 Hugging Face 對應的倉庫。
事件背景
MiniCPM-V 系列是 OpenBMB 開發的多模態大型語言模型系列，專注於單圖、多圖及影片理解。MiniCPM-V 4.7-35B-A3B 作為該系列首款 MoE 模型，標誌著在端側設備上運行高參數 MoE 模型技術的突破。LLaVA-UHD v4 是一種視覺語言模型架構，其 intra-ViT 早期壓縮技術旨在通過在視覺編碼器內部壓縮視覺 token 來提高計算效率。
社群觀察
社群討論顯示，該模型曾在 Reddit 上發布後一度出現 404 錯誤，隨後重新發布，用戶對其回歸表示興奮。用戶 jacek2023 指出，llama.cpp 對該模型的支持已經合併，因此現在可以運行該模型。部分用戶如 Repulsive_Initial308 認為這可能是 35B 模型的潛在繼任者。另有用戶 Gloomy_Letterhead395 對發布持謹慎態度，留言稱「別給我們希望」。
