開發者推出了一款名為「Embedding Gemma Transcribe」的免費 macOS 應用程式，將 Google 的多模態嵌入模型 EmbeddingGemma 2 改造為語音轉文字工具。該應用利用 EmbeddingGemma 2 將文字、圖像、音訊和影片映射到同一共享向量空間的特性，透過訓練一個小型「讀取器」（reader）將音訊片段映射至文字空間，並從約 229,000 個英文單字中匹配最接近的詞彙來生成轉錄文本，最後由一個微型模型添加標點符號和大寫字母。基礎模型 EmbeddingGemma 2 保持凍結狀態，僅訓練讀取器部分，訓練過程在 8 張 H100 GPU 上耗時不到兩小時，使用開放授權的英語語音數據。

在效能方面，該應用在基礎款 M3 MacBook Air（8 GB RAM）上運行於 Neural Engine，達到 288 倍即時速度，即處理一小時音訊僅需約 12.6 秒。相比之下，IBM Granite Speech 5.0 TurboCTC 在同一設備上約為 150 倍即時速度（25.7 秒/小時）。其他基準測試顯示，NVIDIA Parakeet TDT 0.6B v3 在 M4 Pro 上為 156 倍，在 M5 Pro 上為 335 倍；Phonon-2 在 M5 Pro 上為 480 倍。開發者指出，這些比較並非完全同條件的排名，僅供參考。

目前該工具的詞錯誤率（WER）約為 5%，高於領先語音模型的 2-3%。開發者認為透過改進讀取器的訓練可以縮小這一差距，這將是下一個迭代版本的目標。該應用僅支援 macOS 14+ 及 Apple Silicon 架構，首次啟動時需下載 715 MB 的模型檔案。用戶可透過拖放音訊文件或按住右側 Option 鍵進行即時口述，所有處理均在裝置端完成，音訊不會離開機器。

事件背景

EmbeddingGemma 2 是一款多模態嵌入模型，能夠將文字、圖像、音訊和影片映射到單一的共享向量空間中。這種架構使得語音輸入與對應的文字在向量空間中具有接近的距離，從而允許通過直接讀取該空間中的位置來識別語音內容。該方法的核心在於不重新訓練基礎模型，而是訓練一個輕量級的讀取器來橋接音訊編碼器輸出與文字空間。

社群觀察

作者 Shahir 在討論區澄清，這最初僅是一項實驗，旨在驗證是否可利用 EmbeddingGemma 2 中文字與音訊共享向量空間的特性來進行語音轉文字轉換。速度並非主要目標，而是副作用。準確度雖不及雲端模型，但足以滿足日常使用。

用戶 raajg 詢問是否可以限制詞彙範圍至個人常用詞，以構建更小的模型僅匹配這些詞彙。

用戶 whstl 建議將此類模型轉換為 CoreML 格式以利用 Neural Engine 加速，並分享了自己成功運行 Spleeter、Whisper 等模型的經驗。

用戶 sbdaman 感嘆從疫情前自動轉錄功能幾乎不可用到現在本地每小時音訊僅需 13 秒處理的技術飛躍。

用戶 saaaaaam 分享了在舊款 M1 MacBook Air 上使用 Parakeet v3 和 MacWhisper 的體驗，表示其速度極快，點擊後幾乎立即完成轉錄。