純語音訓練與全雙工互動機制

Dessa 由 Block 內部的小型 AI 研究實驗室開發，該團隊成員多來自前 Toronto 深度學習新創 Dessa。團隊宣稱 Dessa 是首個僅從人類語音中學習、能進行逼真即時對話的 AI，訓練過程中完全沒有使用文字資料或預訓練模型。

與傳統將語音轉為文字再處理的語音 AI 不同，Dessa 採用端到端的語音對語音（speech-to-speech）架構。這使得模型能夠直接理解並生成包含情緒、諷刺、笑聲、嘆息或聲音顫抖等細微語音特徵的內容，避免了文字轉換過程中丟失的資訊。

該模型具備全雙工（full-duplex）能力，意味著它可以像人類一樣同時聽取與說話。Dessa 學會了在對話中何時插話、何時給予簡短的回應信號（如「嗯」、「知道了」），以顯示其正在參與對話，而非等待對方說完才回應。

硬體需求與訓練效率

根據官方說明，Dessa 的推理速度超過即時處理所需，因此使用者不會感受到明顯的延遲或等待時間。該模型可在 MacBook Pro M4 Max 或更高規格的硬體上本地執行，無需依賴雲端伺服器。

在訓練資源方面，團隊表示僅使用一台 NVIDIA GB200 NVL72 系統即完成 Dessa 的訓練。相較於大型語言模型（LLM）需要海量文字資料，Dessa 學習語言所需的「詞彙量」大幅減少，但由於語音數據的複雜性與重複率低，其訓練難度被描述為極高。

團隊指出，單個口語詞彙所佔用的位元組數遠高於對應的文字形式，且同一句話兩次發聲的音訊數據也不相同，這使得純語音學習對機器而言極為艱難。

開發動機與安全考量

團隊提出開發 Dessa 的三個主要原因：好奇心、促進人機理解以及安全性。他們希望驗證模型是否能像嬰兒一樣，僅透過聆聽而非閱讀文字來學會說話。

在安全性方面，團隊指出目前的語音 AI 往往無法感知使用者聲音中的情緒變化，例如當使用者處於痛苦或緊急狀態時，AI 可能仍繼續執行任務而未能察覺異常。Dessa 被視為解決此類問題的一步，旨在讓 AI 能更自然地理解人類的情感狀態。

團隊認為語音是與智慧互動最自然的方式，現有的語音 AI 將語音扁平化為文字，不僅降低了互動品質，也可能帶來潛在風險。

社群回饋與技術限制討論

官方展示了多段真實對話錄音，內容涵蓋回憶電影、慶祝週年紀念、提供生活建議等場景，並包含 Dessa 與第三方模型 GPT-Live-1 的對話。這些示範強調了模型在語氣變化、即時反應與情感表達上的能力。

社群評論對該技術呈現兩極看法。部分用戶認為這對於語言教育具有價值，能提供無壓力且高品質的對話練習夥伴；另有用戶讚賞其在本地硬體上實現低延遲與高表現力的成就。

然而，也有批評指出模型雖然聽起來自然，但實際內容缺乏深度智慧，類似青少年的意識流。此外，有觀點認為全雙工示範中的插話行為顯得過於人工化，並非自然的對話節奏。

團隊強調，Dessa 與 GPT-Live-1 的對話示範中，兩者皆為 AI 生成聲音，且 GPT-Live-1 開發者未對 Dessa 進行審查或背書。

未來研究與安全測試

Dessa 團隊將此模型視為深度學習的新領域，並邀請一小群 AI 安全研究員獲得早期存取權限，以尋找尚未預見的風險。這顯示開發者意識到純語音模型可能帶來傳統文字模型未涵蓋的安全挑戰。

團隊表示，他們自 2012 年起便從事深度學習模型開發，並有超過八年的生成式語音模型經驗。該實驗室直接向 Block 共同創辦人 Jack Dorsey 匯報。

來源重點介紹了訓練數據來源與硬體效率，未提及具體參數規模。