單一模型整合多項語音任務與自然語言控制

Nemotron 3.5 Transcribe 是一個開放權重模型，將轉錄、說話者標註（diarization）、翻譯和音訊問答功能整合在同一個檢查點中。它支援 40 種語言的轉錄，其中 31 種可與英語互譯，並能對 13 種語言進行說話者歸屬標註。

開發者可透過自然語言指令引導輸出格式，例如要求標註說話者、翻譯成英語或提取會議決策。模型支援詞級時間戳記，適用於需要精確對應音訊與文字內容的應用場景。

該模型專為處理錄音音訊設計，不支援即時串流。目前可透過 vLLM 進行自託管部署，未來將推出量化版本以支援在 RTX Spark、DGX Spark 或 Jetson AGX Thor 等本地硬體上運行。

高效能架構與基準測試表現

Nemotron 3.5 Transcribe 採用混合 Mamba–Transformer 專家混合（MoE）語言模型搭配語音編碼器，每個 token 僅約 4B 參數活躍，總參數量為 30B。這種架構使其在 Artificial Analysis 的準確度與活躍參數帕累托前沿上佔據領先位置。

在 Hugging Face Open ASR Leaderboard 英語項目中，該模型以 5.33% 平均詞錯誤率（WER）位居開放權重模型第一。在多語言項目中，七種語言的平均 WER 為 4.62%，長音訊項目則為 10.98%，均為評估中的開放權重模型最低值。

在 Artificial Analysis Speech-to-Text Leaderboard 上，該模型以約 4B 活躍參數達到 2.8% AA-WER，與擁有 24B 參數的模型並列第一。在 AA-AgentTalk 測試集中，其 WER 為 1.8%，優於次佳開放權重模型的 2.3%。

在說話者標註方面，該模型在 David AI DAI-ASR-I18N 排行榜的 21 種語言項目中取得最低的錯誤率（DER）18.26%，並在 VoiceArena Diarization-Bench 英語完整會話測試中以 32.4% cpWER 位居 14 個系統之首。

Granary v2：支援訓練與微調的開放資料管線

Granary v2 是 NVIDIA Nemotron 語音集合的一部分，提供經過嚴格清洗的多語言語音資料。公開清單涵蓋 48 種語言、16 個來源語料庫共 463,062 小時音訊，較 Granary v1 的 25 種語言大幅擴展。

該資料集為每段錄音生成三種轉錄形式：文字正規化逐字稿、含口語錯誤的反向文字正規化（ITN）以及無口語錯誤的 ITN。此外還包含音訊描述、代碼切換修復、基於語音的問答對及翻譯品質評分。

資料處理管線分為四個階段：音訊準備、轉錄生成、任務標籤產生與高保真過濾。在高保真階段，例如將 VoxPopuli 資料集的 35.4 萬小時過濾至 11.1 萬小時，以確保訓練資料的高品質。

開發者可利用 NeMo Curator 工具在自有錄音或授權公開語料庫上執行此管線，或直接使用 Granary v2 的公開清單進行模型微調與適應性調整。

醫療領域微調案例：降低專業詞彙錯誤率

NVIDIA 發布了基於 Eka Care 印度醫療語音基準的微調案例研究，該基準包含 3,619 個片段。透過結合合成語音、Common Voice 口音英語及 MultiMed 醫療錄音，構建了約 245 小時的微調資料集。

僅透過優化提示詞（指定語言與文字格式），即可將完整基準的 WER 從 30.8% 降至 23.8%。進一步使用 LoRA 技術微調語音編碼器與投影層，並合併適配器後，在保留說話者測試集上將 WER 從最佳提示基線的 22.44% 降至 12.17%，相對降低 45.8%。

微調後的模型在關鍵字錯誤率（KW-WER）與語義錯誤率（SW-WER）上均有顯著改善，並超越了開放權重醫療專用模型與通用 ASR 模型。然而，在 LibriSpeech test-clean 通用英語測試中，WER 從 1.54% 輕微上升至 1.69%，顯示領域適應可能對通用能力產生輕微影響。

整個微調流程包括文字生成、語音合成與評估，在單一 NVIDIA GB300 GPU 上約需 14 GPU-小時完成。建議開發者保留至少 100 個真實標註片段用於檢查點選擇，並同時評估領域實體準確率與通用語音保留能力。

部署選項與生態系整合

開發者可從 Hugging Face 或 ModelScope 下載模型檢查點，並透過 vLLM 或 SGLang-Omni 進行自託管服務。若不需自託管，可使用 Baseten、DeepInfra 或 Simplismart 提供的託管端點。

Agora 等合作夥伴已展示應用案例，例如利用詞級時間戳記將課堂錄音轉錄並與回放同步顯示，幫助學生回顧教學內容。

NeMo Speech 微調工具鏈提供了從基線選擇、資料檢查到訓練驗證的完整工作流程，並支援透過編碼代理（coding agent）自動化執行這些步驟。ModelScope 也透過 ms-swift 框架支援該模型的微調。