NVIDIA 與 Hugging Face 宣布推出 Magpie,這是一款專為建構低延遲、多語音聲代理而設計的開放權重文字轉語音模型。此次發布為開發人員提供了即時對話介面所需的完整部署控制與彈性。Magpie 透過實現最小延遲的即時互動,解決了 AI 產業中關鍵的基礎設施需求,這對語音助理和即時翻譯等應用至關重要。其開放權重的特性使其相比封閉原始碼替代品,具備更高的透明度與客製化能力。該模型採用編碼器-解碼器 Transformer 架構,並使用靈活的標記化方案,支援特定語言的音素標記器與通用的位元組級標記化。它從底層開始針對多語合成進行優化,能高效處理多種語言。

事件背景

文字轉語音(TTS)技術將書面文字轉換為自然的語音,這是 AI 語音代理的關鍵組成部分。低延遲 TTS 對於即時應用尤為重要,因為它能最小化輸入與輸出之間的延遲,從而創造更自然的對話流程。開放權重模型提供模型參數,但不一定包含完整的訓練程式碼或數據,在開放原始碼與專有模型之間提供了折衷方案。