audio.cpp 專案發布了一系列效能改進,重點在於降低記憶體使用量並提升推理速度,同時保持模型輸出的正確性與一致性。其中 Higgs Audio TTS 的峰值顯存使用量減少 48%,現約需 6GB VRAM;HTDemucs 在 CUDA 環境下速度提升 2.21 倍,Vulkan 環境下提升 1.95 倍;PocketTTS 在 CPU 上速度提升 2.23 倍,並減少 9% 的 RAM 使用量。

其他模型的改進包括:ACE-Step 系列減少 6-7% VRAM,CUDA 速度提升 1.06-1.08 倍,Vulkan 提升 1.16-1.20 倍;MOSS-TTS v1.5 克隆功能減少 21% VRAM,CUDA 速度提升 1.05 倍;MOSS-TTSD Q8 克隆功能減少 11% VRAM,CUDA 速度提升 1.04 倍;Echo-TTS (Memory Saver) 減少 20% VRAM;Qwen3-TTS 減少 16-20% VRAM;IndexTTS2/2.5 減少 12% VRAM;HTDemucs six-stem 在 CUDA 下速度提升 1.99 倍。

這些改進屬於執行層級的最佳化,旨在讓現有模型在本地運行時更具實用性。WebUI 新增了一個實驗性的生成歷史記錄功能,允許用戶回顧之前的輸出並恢復其設定。目前 audio.cpp 支持超過 110 個音訊模型系列和 190 多個變體,並持續在 CUDA、Vulkan、Metal、AMD/HIP 和 CPU 上改進記憶體效率和推理速度。開發團隊正在尋找貢獻者以改進 WebUI 的前端開發和 UI/UX 設計。

事件背景

audio.cpp 是一個支持多種音訊模型系列的開源推理引擎,涵蓋 CUDA、Vulkan、Metal、AMD/HIP 和 CPU 等多種硬體平台。Higgs Audio TTS、HTDemucs 和 PocketTTS 為該引擎支持的特定音訊模型,分別用於文字轉語音、音訊源分離和輕量級語音合成。

社群觀察

社群用戶對更新表示歡迎,並提出以下討論與請求: 1. 用戶 Acceptable-Cycle4645 詢問下一個希望優化的模型。 2. 用戶 nickm_27 提到 Omni voice 目前運作良好,但注意到目前的 GGUF 檔案會顯示關於舊版佈局的警告,詢問是否會針對該模型進行處理。 3. 用戶 Chromix_ 感謝統一的模型體驗,並請求增加模型混合自定義功能,允許在不同量化精度(如 BF16、Q8、Q4)之間混合使用,以更好地管理顯存限制,因為目前配置似乎半硬編碼在 GUI 中。 4. 用戶 Over_Possibility7875 認為 TTS 更新的低顯存需求對於與角色扮演模型堆疊使用很有用,並詢問語音品質與其他選項相比如何。