模型架構與參數規模

Ming-3.0-audio-tiny 是由 inclusionAI 開發的緊湊型原生音訊語言混合專家(Mixture-of-Experts, MoE)模型。

該模型總共有 9.3B 參數,但在每次推論步驟中僅啟動 2.7B 參數。

模型接受音訊輸入搭配文字指令,輸出為文字或包含合成語音的文字回應。

語言支援與辨識能力

主要支援語言為中文與英文,涵蓋多種口音與方言。

在複雜環境下,模型能處理噪音干擾及多說話者錄音的語音辨識任務。

除了語音內容,模型還具備長音訊理解能力,能夠分析長時間的錄音檔案。

多維度感知與互動功能

模型不僅限於語音處理,還能理解非語音聲音、聲學場景以及音樂內容。

具備音訊推理能力,可針對音訊內容進行問答與邏輯推導。

在互動方面,除了產生文字回應外,還支援透過內建音色或使用者提供的參考音色來合成語音回覆。

授權與發布資訊

該模型以 MIT 授權條款發布。

相關資源包括 GitHub 儲存庫、Hugging Face 上的 Flash 與 Tiny 版本連結,以及範例程式碼。