inclusionAI 發布了 Realtime-Venus 系統,提供兩個檢查點:Realtime-Venus-Omni 與 Realtime-Venus-Audio。Realtime-Venus-Omni 是一款具備 90 億參數的音視覺互動模型,基於 MiniCPM-o 4.5 架構調整而成,支援主動互動、語義中斷處理及免訓練的長視頻記憶功能。該模型解決了多模態人工智慧中的關鍵缺口,使系統能夠持續感知並回應,而無需等待明確的提示,顯著提升了人機互動的自然度。Realtime-Venus-Audio 則專注於音訊主導的互動。
事件背景
全雙工通訊允許同時雙向傳輸,對於人類對話中常見的說話者中斷或重疊至關重要。多模態大型語言模型(MLLM)如 MiniCPM-o 整合文字、影像、影片和音訊輸入以理解複雜語境。語義中斷處理功能使模型能檢測用戶是否意圖接管對話,從而提升響應速度與自然度。
社群觀察
社群成員對該模型的功能表示熱情,有評論指出該實驗室目前「正在大顯身手」。主要的討論集中在實時部署所需的硬體需求,以及在電話等行動裝置上運行量化版本的可能性。



