從模擬到實體：Microduck 訓練與部署流程

NVIDIA 與 Hugging Face 合作發布了一篇教學文章，詳細說明如何使用 Isaac Lab 3.0 和 Newton 框架來訓練 Microduck 雙足機器人的行走策略。Microduck 是一款由 Pollen Robotics 開發的低價開源機器人，此次整合旨在讓開發者能在 GPU 並行模擬環境中快速訓練策略，隨後將模型匯出為 ONNX 格式並部署到實體機器人上。

整個工作流程包括在 Linux 工作站安裝 Isaac Lab、使用預設的 Microduck 任務進行訓練、評估策略效能、匯出 ONNX 檔案，最後透過 SSH 連線將模型傳輸至機器人板載系統執行。這種方法解決了模擬與現實之間因摩擦、延遲和機械間隙造成的差異問題。

利用 Newton 與 BAM 精確模擬馬達物理特性

為了讓訓練出的策略能適應真實硬體，Isaac Lab 整合了 Newton 求解器以及基於 Newton 的 Better Actuator Models (BAM)。這些工具用於模擬伺服馬達的響應特性，包括韌體控制器行為、電氣限制、摩擦力和延遲。

系統還引入了「背隙」（backlash）預設參數，用以模擬齒輪箱中的機械間隙。當關節改變方向時，傳動裝置可能會在接合前產生微小移動。透過在訓練過程中隨機化這些物理參數（如質量、質心、地面摩擦、轉子慣量、編碼器偏移、電池電壓降和指令延遲），策略能夠學習到更魯棒的行為，以應對真實機器人可能遇到的各種變異。

訓練設定與 GPU 並行加速技術

Isaac Lab 透過在 GPU 上並行執行數千個模擬環境來加速訓練過程。文章指出，在啟用粗糙地形和背隙模擬的配置下，使用 16 張 GPU 進行分散式訓練可達到每秒 125 萬步的處理速度。

Microduck 的策略接收 61 個觀察值作為輸入，並輸出 14 個關節位置作為動作。開發者需確保在匯出和部署過程中，觀察值的順序、正規化方式以及動作縮放保持一致。訓練任務分為平地行走與粗糙地形（包含階梯、斜坡和不平整地面）兩種變體，後者用於測試策略的適應性。

匯出 ONNX 模型並部署至實體機器人

訓練完成後，開發者可使用 Isaac Lab 的 RSL-RL 播放工作流自動匯出 TorchScript (.pt) 和 ONNX (.onnx) 檔案。Microduck 的板載執行環境僅支援載入 ONNX 格式的策略，因此需使用 policy.onnx 進行硬體交接。

部署過程涉及將 ONNX 檔案複製到機器人主機，並透過 robotctl 指令載入策略。開發者可以使用遊戲手把等控制介面測試站立、慢速行走、轉向和停止等功能。若機器人跌倒，系統設計允許其在恢復平衡後繼續行走，展示了訓練策略的魯棒性。

社群分享與 Microduck Arena 競賽機制

開發者可將匯出的 ONNX 模型上傳至 Hugging Face Hub 進行分享，或提交至 Microduck Arena 參與競賽。Microduck Arena 是一個用於測試相容策略並比較排行榜結果的 Hugging Face Space。

Arena 接受符合特定規範的模型：必須包含 61 個觀察值、14 個動作值，且檔案大小上限為 64 MiB。這使得開發者能夠在標準化的挑戰中評估自己訓練的策略效能，並與其他社群成員的成果進行比較。

進階應用：感知任務與靈巧操作

除了基本的行走策略，Isaac Lab 3.0 還支援更複雜的機器人學習任務，包括灵巧操作和基於視覺的導航。開發者可以擴展 Microduck 的策略，加入頭部相機的深度資訊和機器人狀態觀察值，以處理涉及感知的任務。

文章提供了連結範例，指導開發者如何訓練 Kuka-Allegro 機械臂進行物體抓取與重新定向，以及如何利用 SimReady Central Library 中的資產建立自定義環境。這些進階功能展示了該框架在處理多模態輸入和複雜物理互動方面的潛力。