GPT-4o(在此情境中稱為 Astra)透過思維鏈推理,成功在即時環境中控制機器人清理桌面。這段影片突顯了該模型處理視覺輸入並執行實體動作的即時能力,依賴即時多模態處理以對場景做出反應。這項成就標誌著多模態智能體能力的重大突破,彌合了高階語言推理與低階運動控制之間的差距。這表明大型語言模型可以有效擔任通用機器人的「大腦」,而不僅依賴確定性的視覺模型。該系統利用思維鏈(CoT)推理,讓模型在執行動作前先對任務進行思考,這對於提升機器人表現至關重要。
事件背景
思維鏈(CoT)提示技術要求模型在產生最終答案前先生成中間推理步驟,這已被證明能提升複雜任務的表現。在機器人領域,這通常被稱為具身思維鏈,模型會將推理過程錨定在實體場景和機器人狀態上,以更有效地規劃動作。
社群觀察
社群意見兩極,部分用戶對其實時能力感到驚嘆,另一些人則認為確定性視覺模型足以應付此類任務。此外,還有關於運算需求的討論,指出若要達到人工通用智能(AGI)級別的速度,模型每秒需處理數千個 token。



