模型架構與核心能力

Ming-3.0-audio-flash 是由 inclusionAI 開發的原生音訊語言混合專家(MoE)模型,總參數量為 126B,但在每個推論步驟中僅啟動 6.5B 參數。

該模型接受音訊與文字指令作為輸入,輸出可以是純文字,或包含透過內建語音或參考語音合成的語音回應。

主要支援語言為中文與英文,並宣稱能處理各種口音、方言以及噪音環境下的多說話者錄音。

應用場景:從語音辨識到多維度感知

模型強調在複雜條件下的語音辨識能力,包括處理噪音干擾、不同口音及多人重疊說話的錄音。

除了語音轉文字與口語問答外,它還具備長錄音理解功能,能分析並回答關於長時間錄音內容的問題。

其感知範圍擴展至非語音聲音,包括環境場景聲與音樂,並能針對這些音訊內容進行推理與互動。

本地部署參考配置與硬體需求

模型卡片文件提供了透過 Transformers、SGLang 和 vLLM-Omni 進行本地部署的路徑說明。

官方驗證過的 SGLang 設定需要四張 GPU 來處理文字輸出;而 vLLM-Omni 的 128K 參考配置文件則使用八張 80GB H800 GPU。

需注意的是,這些數據僅為參考配置,並非模型運行的最低硬體要求,實際需求可能因具體任務與優化策略而異。