一個開源專案展示了運行於 RTX 和 Jetson Orin 硬體上的兩個 Gemma 模型之間的即時語音對話，並具備口型同步與手勢功能。該系統利用 Cortexist Little Gemma 引擎在桌面和邊緣設備上進行高效推理。此實作突顯了在 Jetson Orin 等資源受限的邊緣硬體上運行複雜多模態 LLM 代理的可行性。它為旨在創建具有自然溝通功能的互動式具身 AI 代理的機器人開發者提供了實用的參考。該流程使用 reSpeaker Flex 4 麥克風陣列進行音訊輸入，並支援口型同步和表情，推理由基於 C 語言的 Little Gemma 引擎處理，其在 Jetson Orin 上的表現優於 llama.cpp。然而，Gemma 12B 模型存在上下文視窗限制，在約 12k token 後會停止回應。
事件背景
Jetson Orin 是 NVIDIA 為邊緣 AI 和機器人應用設計的系統模組系列，以低功耗外形提供高運算能力。reSpeaker Flex 是由 XMOS XVF3800 驅動的模組化麥克風陣列解決方案，具備波束成形和降噪等 AI 聲學演算法，確保在嘈雜環境中清晰捕捉語音。
社群觀察
社群成員讚賞了逼真的口型同步以及不同模型尺寸所呈現的獨特聲音特徵。部分用戶指出了 12B 模型的上下文視窗限制，而其他人則表示有興趣使用 Raspberry Pi 或雙 Jetson 等更便宜的硬體來複製此設置。
