即時同聲傳譯技術與應用場景

Hy-SimulMT 是由騰訊混元開發的即時同聲傳譯模型,主要針對會議、演講和訪談等需要即時溝通的環境設計。

該模型的核心功能是持續接收輸入音訊,並在說話者發言的同時進行翻譯,同步產生翻譯後的文字與語音輸出。

為了減少傳統翻譯等待時間對對話流暢度的干擾,模型採用即時處理機制,並透過即時聲音複製技術保留說話者的音色特徵,力求在準確傳達訊息的同時維持自然感。

效能評估數據與比較結果

騰訊結合公開基準測試、真實世界音訊以及與專業同聲傳譯員的比較,來評估翻譯品質與響應速度之間的平衡。

在 RealSI 長音訊評估項目中,Hy-SimulMT 達到的 StreamLAAL(流式平均絕對延遲)約為 3 秒,這是比較清單中所有系統裡最低的數值。

在翻譯品質方面,該模型的 GEMBA 評分超越了參與比較的開源模型,並高於五個商業 API 中的四個。

技術架構與使用限制

GitHub 儲存庫提供了 SimulInfer 推理服務和 SimulTrain 訓練工具,供開發者進行整合與調整。

需要注意的是,語音輸出功能和聲音複製功能並非內建於模型本身,而是需要額外配置文字轉語音(TTS)服務才能運作。

用戶也可以透過 Hy Translate App 體驗該模型的即時翻譯功能。