整合 Gemini 技術以維持即時場景連貫與邏輯
Genie 4 並非獨立運作,而是深度整合了 Gemini 家族的能力。Gemini Omni 負責錨定模擬的真實外觀與行為,而其他 Gemini 模型則提供複雜推理能力,協助維持模擬的連貫性與連續性。
為了實現即時互動中的邏輯一致性,系統採用 Gemini 3.8 Flash 作為迴路中的引導代理。當 Genie 4 生成世界時,Gemini 持續觀察場景,將目標分解為步驟序列,並審查傳入的影格以追蹤進度及驗證每一步是否成功。
若世界發生變化或使用者介入,Gemini 會即時調整計畫。這種架構旨在解鎖具有可靠因果關係、程序化行為和多步推理能力的世界模擬。
原生音訊生成與即時自然語言控制
Genie 4 是首款能原生生成音訊的即時世界模型。每個生成的世界都帶有該場景特有的環境聲音,例如樹木中的風聲或海浪拍打海灘的聲音。
除了環境音效,模型還引入了互動對話功能。角色可以根據使用者的輸入或世界中發生的事件進行交談與反應,所有過程均在即時完成。
使用者可以使用自然語言即時修改模擬內容,例如改變天氣、移動相機或引入新的人物與物體。Gemini 會將提示詞脈絡化以匹配周圍場景,並在兩次輸入之間監控並引導場景,確保世界連貫地推進。
物理模擬與人物動態的寫實度提升
Genie 4 基於對世界的先進物理理解,能夠模擬空氣動力學、碰撞等真實世界物理場景。官方宣稱其在人物模擬方面取得了顯著進展,創造出能自然移動、有機回應環境並可即時互動操控的角色。
示範案例包括西瓜從石座上掉落、楓樹種子飄落草地,以及 1980 年代日本鄉村火車站的擁擠人群與火車進站場景。這些演示強調了光影、材質紋理及人物動作的細節表現。
然而,社群測試者指出物理模擬仍有缺陷。例如在一個大理石半身像掉落在西瓜上的片段中,當半身像應該因物理慣性翻倒時,畫面卻顯示其未翻倒。這顯示模型在處理特定碰撞與剛體動力學時尚未達到完美準確度。
應用場景測試:從影視預覽到機器人訓練
DeepMind 與來自創意產業、新聞業、教育、遊戲及工程領域的受信任測試者合作,評估 Genie 4 在實際工作流程中的潛力。測試者指出,高寫實度、原生音訊與即時操控能力使得概念能快速轉化為逼真模擬。
在創意指導方面,電影製作者將 Genie 4 用作預覽和構想的快速「草稿模式」,可即時進入場景模擬並調整鏡頭角度、燈光、對話與動作。新聞攝影師則測試如何將單張二維歷史照片轉化為動態環境模擬,以視覺化短期環境事件(如洪水或野火)的展開。
遊戲開發者利用該工具從初始想法快速生成可探索的原型,測試視覺風格與互動機制。此外,企業夥伴正評估其作為快速「零到一」場景生成工具的潛力,特別是在機器人訓練環境方面。DeepMind 也展示了 Gemini 4 Argon 與 Genie 4 協同工作,模擬 Apptronik Apollo 人形機器人下西洋棋的場景。
技術限制、安全防護與未來發展方向
官方明確指出 Genie 4 仍處於早期實驗階段,存在顯著限制。雖然模型能在短時間內維持連貫環境,但隨著模擬時間延長、經過多次複雜提示編輯或在場景中導航時,視覺細節和物體恆存性可能會發生漂移或改變。
目前仍在研究中的問題包括複雜物理互動、即時音訊準確度、可讀文字渲染、空間準確度以及長期一致性。社群回饋也證實了這些限制,例如有測試者指出西洋棋模擬中出現不符合規則的步數,且物體移動邏輯不連貫。
在安全方面,Genie 4 包含嚴格的安全防護欄,並在發布前經過內部嚴格的安全評估以防止生成有害內容。所有由 Genie 4 生成的影片與音訊均包含 SynthID 數位浮水印技術,以便識別 AI 生成內容。
DeepMind 認為未來的進展方向在於混合世界模型,結合程式碼與語言模型的邏輯結構推理能力,以及像素級模擬的豐富感官表現。目前將 Genie 與 Gemini 模型更緊密結合是朝此方向邁出的初步步驟。




