解析NVIDIA Isaac Sim 4.0的新功能

由物理 AI 驅(qū)動(dòng)的 AI 機(jī)器人時(shí)代已經(jīng)來(lái)臨。物理 AI 模型能夠理解周?chē)h(huán)境，并在物理世界中自主完成復(fù)雜的任務(wù)。許多復(fù)雜任務(wù)都難以編程（如靈巧的操作和人形機(jī)器人在崎嶇的地形上運(yùn)動(dòng)），需要依賴(lài)在仿真環(huán)境中使用強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練而成的生成式物理 AI 模型。

借助基于 NVIDIA Omniverse 的參考應(yīng)用 NVIDIA Isaac Sim，開(kāi)發(fā)者可以在遵守物理定律的虛擬環(huán)境中設(shè)計(jì)、仿真、測(cè)試和訓(xùn)練 AI 機(jī)器人和自主機(jī)器。

NVIDIA Isaac Sim 可幫助團(tuán)隊(duì)生成合成數(shù)據(jù)、訓(xùn)練機(jī)器人策略，并運(yùn)行多種假設(shè)場(chǎng)景，以便在部署前驗(yàn)證整個(gè)機(jī)器人堆棧。

本文介紹了最新的 Isaac Sim 4.0 版本，其中包括 NVIDIA PhysX5.4 和 Isaac Lab。Isaac Sim 4.0 現(xiàn)已開(kāi)放下載，它基于 NVIDIA Omniverse Kit 106 構(gòu)建，讓開(kāi)發(fā)者能夠更輕松地控制工作流。

NVIDIA Isaac Sim 4.0 的新功能

Isaac Sim 4.0 提供強(qiáng)大的新功能并增強(qiáng)了現(xiàn)有功能，為您的機(jī)器人工作流提供強(qiáng)大助力，其中包括：

通過(guò) PIP 加快安裝速度

改進(jìn)了基于向?qū)У膶?dǎo)入和系統(tǒng)兼容性檢查器的可用性

新的資產(chǎn)、環(huán)境、機(jī)器人、環(huán)境傳感器

新的 PhysX 功能，如仿真關(guān)節(jié)、TGS 求解器、殘差可視化等

用于強(qiáng)化學(xué)習(xí)的多 GPU 和多節(jié)點(diǎn)功能

以下將對(duì)這些新功能進(jìn)行詳細(xì)介紹，并介紹在仿真階段使用的全新 PhysX 和傳感器功能。

通過(guò) PIP 安裝更快地上手

現(xiàn)在，您可以使用 Python 包管理器（例如 PIP）在本地或遠(yuǎn)程系統(tǒng)上安裝 Isaac Sim。這極大地加速并簡(jiǎn)化了使用開(kāi)發(fā)者所熟悉的相同開(kāi)發(fā)環(huán)境的安裝過(guò)程，在基于云的 IDE（如 Jupyter）中輕松部署 Isaac Sim。

此外，您現(xiàn)在還可以使用兼容性檢查器來(lái)檢查系統(tǒng)需求和兼容性，在開(kāi)始安裝之前獲得即時(shí)反饋。

改進(jìn)基于向?qū)У膶?dǎo)入的可用性

每次仿真都需要先構(gòu)建虛擬環(huán)境和其中的機(jī)器人。為了加快這項(xiàng)工作，Isaac Sim 現(xiàn)在提供了一個(gè)向?qū)?，引?dǎo)用戶(hù)如何在預(yù)先設(shè)計(jì)的環(huán)境中導(dǎo)入和調(diào)優(yōu)機(jī)器人。向?qū)е羞€有大量其它選項(xiàng)文檔，最常見(jiàn)的工具包括 CAD 導(dǎo)入器、傳感器、裝配機(jī)器人等。

圖 1. Isaac Sim 中的導(dǎo)入向?qū)峁┝擞糜趯?dǎo)入

機(jī)器人的相關(guān)工具、每個(gè)工具的離線指南

以及一系列按順序排列的建議步驟

更多資產(chǎn)庫(kù)

使用以下新資產(chǎn)進(jìn)行仿真：

預(yù)建倉(cāng)庫(kù)模型

機(jī)器人模型

?優(yōu)傲機(jī)器人 UR20 和 UR30 機(jī)械臂 波士頓動(dòng)力公司的 Spot 機(jī)器人

人形機(jī)器人

1X Neo 宇樹(shù) Unitree H1 Agility Digit 傅利葉 Fourier GR1 Sanctuary AI Phoenix 小鵬 PX5

傳感器

Ouster SICK Velodyne

用于仿真和檢查關(guān)節(jié)的

全新 PhysX 5.4 功能

一旦場(chǎng)景構(gòu)建完成、機(jī)器人在環(huán)境中設(shè)置完畢，您就可以在機(jī)器人模型上使用 NVIDIA PhysX 5.4 的一些新功能。

例如，“仿真關(guān)節(jié)”功能讓您可以對(duì)機(jī)器人的耦合關(guān)節(jié)位置進(jìn)行建模。您可以對(duì)平行夾爪機(jī)制、四連桿、平行夾爪或機(jī)械手的機(jī)械耦合元件進(jìn)行建模。仿真關(guān)節(jié)可以捕捉 URDF 規(guī)范關(guān)系：

關(guān)節(jié)位置 = 倍增器*參考關(guān)節(jié)位置 + 補(bǔ)償

關(guān)節(jié)速度受到類(lèi)似約束，并且相互作用是雙向的。仿真關(guān)節(jié)為滿(mǎn)足約束條件而施加的力會(huì)根據(jù)倍增器反饋給參考關(guān)節(jié)（即齒輪傳動(dòng)裝置）。

圖 2. 在 Isaac Sim 中仿真的用于機(jī)器人操作?

的平行夾爪?？墒褂?“仿真關(guān)節(jié)” 功能

來(lái)仿真平行機(jī)制

通過(guò)在特定仿真場(chǎng)景中將機(jī)械臂定位到特定的姿勢(shì)，“物理檢查器”功能支持創(chuàng)建單個(gè)關(guān)節(jié)和最多關(guān)節(jié)。在實(shí)際仿真之前，團(tuán)隊(duì)還可以直觀地檢查碰撞和自由度。

圖 3. “物理檢查器” 用戶(hù)界面顯示了

ANYmal 四足機(jī)器人的腿部定位調(diào)整情況

全新仿真功能

仿真階段的一些新功能旨在幫助增強(qiáng)物理和傳感器仿真。

增強(qiáng)的物理仿真

物理仿真在機(jī)器人整體運(yùn)動(dòng)和性能中起著不可或缺的作用。Isaac Sim 4.0 中新的增強(qiáng)功能提供了更好的仿真、可視化和調(diào)試工具。

最新的 TGS 求解器采用了一種新模式，有助于提高求解器的收斂性和碰撞保真度。通過(guò)新引入的求解器選項(xiàng)，TGS 能夠考慮重力和其它外力，并在每個(gè) TGS 位置迭代（子步驟）中闡明關(guān)節(jié)動(dòng)作，而不是在時(shí)間步開(kāi)始時(shí)。在 “物理場(chǎng)景高級(jí)”選項(xiàng)或 USD PhysxSceneAPI EnableExternalForcesEveryIteration屬性中啟用該模式。

對(duì)于高性能仿真，在求解器迭代次數(shù)和仿真保真度之間找到適當(dāng)?shù)钠胶馐欠浅Ｖ匾?。新的殘差?bào)告功能可在時(shí)間步結(jié)束時(shí)顯示與求解器收斂質(zhì)量相對(duì)應(yīng)的數(shù)據(jù)，從而幫助完成仿真調(diào)優(yōu)。數(shù)據(jù)可以在物理場(chǎng)景中匯總查詢(xún)，也可以按關(guān)節(jié)和最大坐標(biāo)關(guān)節(jié)進(jìn)行查詢(xún)。

圖 4. 移動(dòng)機(jī)器人越過(guò)障礙物，

仿真數(shù)據(jù)可視化器顯示相關(guān)仿真的殘差數(shù)據(jù)

您不僅可以看到求解器的殘差數(shù)據(jù)，還可以通過(guò)新的“仿真數(shù)據(jù)可視化窗口”檢測(cè)位置和方向等仿真數(shù)據(jù)。支持的屬性包括身體位置和方向、求解器殘差等。欲了解更多信息，請(qǐng)參閱可視化工具文檔。

此外，還可以使用統(tǒng)一的 API 來(lái)查詢(xún)剛體和關(guān)節(jié)鏈接的線性加速度和角加速度。例如，報(bào)告的值可用于計(jì)算慣性測(cè)量單元的仿真輸出。

其它功能包括 SDF 碰撞改進(jìn)、接觸摩擦力報(bào)告等。

更好地支持傳感器仿真

傳感器是機(jī)器人感知堆棧的核心。Isaac Sim 擁有一套不斷擴(kuò)增的真實(shí)傳感器模型庫(kù)，可以仿真地面真實(shí)感知和基于物理的傳感器。

最新版本包括對(duì)非可視材料的 RTX 支持，其中材料的光學(xué)特性擴(kuò)展到非可視光譜，如紅外線、無(wú)線電波和紫外線，從而實(shí)現(xiàn)了更先進(jìn)的新型傳感器建模。此外，您還可以利用基于 RTX 的雷達(dá)，這些雷達(dá)使用新型 RTX 非可視材料功能集，來(lái)準(zhǔn)確地模擬雷達(dá)對(duì)不同類(lèi)型材料和環(huán)境的響應(yīng)。

此外，IMU 傳感器后端現(xiàn)在兼容 Tensor API。這有助于將 IMU 傳感器的物理后端與其它 Isaac Sim 傳感器和節(jié)點(diǎn)統(tǒng)一起來(lái)，從而能夠更一致地訪問(wèn)最新的物理數(shù)據(jù)。

基于 OmniGraph 的傳感器管線的性能改進(jìn)包括：只在需要時(shí)運(yùn)行管線，而不是每幀都運(yùn)行，從而減少了管線的開(kāi)銷(xiāo)。

利用 Isaac Lab 加速?gòu)?qiáng)化學(xué)習(xí)

基于 Isaac Sim 的 Isaac Lab 是一個(gè)統(tǒng)一、模塊化、開(kāi)源的機(jī)器人學(xué)習(xí)框架，旨在簡(jiǎn)化強(qiáng)化、仿真和演示學(xué)習(xí)以及運(yùn)動(dòng)規(guī)劃等常見(jiàn)工作流。它集成了開(kāi)源框架 Orbit 的功能，該框架由 NVIDIA、波士頓動(dòng)力人工智能研究所、蘇黎世聯(lián)邦理工學(xué)院和多倫多大學(xué)聯(lián)合開(kāi)發(fā)。

Isaac Lab 利用 PyTorch 分布式框架在 Linux 上進(jìn)行多 GPU 和多節(jié)點(diǎn)訓(xùn)練，幫助團(tuán)隊(duì)進(jìn)行擴(kuò)展。使用 OSMO 可以輕松地在異構(gòu)環(huán)境上擴(kuò)展這些作業(yè)，OSMO 是一個(gè)云原生協(xié)調(diào)平臺(tái)，用于調(diào)度復(fù)雜的多階段和多容器異構(gòu)計(jì)算工作流。

當(dāng)在多個(gè) GPU 上運(yùn)行時(shí)，可實(shí)現(xiàn)更高的 rollout FPS（如圖 5 所示）。FPS 的提高意味著可以在相同的時(shí)間內(nèi)生成更多的軌跡和經(jīng)驗(yàn)，從而為模型提供更豐富的數(shù)據(jù)集以供其學(xué)習(xí)。與在單個(gè) GPU 上進(jìn)行訓(xùn)練相比，該模型可以更快地收斂并達(dá)到更高的性能水平。

圖 5. 使用多個(gè) GPU 進(jìn)行強(qiáng)化學(xué)習(xí)時(shí)

每秒生成幀數(shù)的性能比較

在強(qiáng)化學(xué)習(xí)中，機(jī)器人必須執(zhí)行大量相互獨(dú)立的場(chǎng)景。當(dāng)這些機(jī)器人在多個(gè)攝像頭上執(zhí)行任務(wù)時(shí)，對(duì)這些機(jī)器人的進(jìn)展進(jìn)行可視化可能會(huì)非常繁瑣，而分塊渲染有助于在單一視圖中可視化所有這些場(chǎng)景。分塊渲染的工作原理是將多個(gè)攝像頭輸出的圖像串聯(lián)起來(lái)，渲染出一張大圖像，而不是每個(gè)攝像頭生成的多張小圖。

圖 6. 分塊渲染將多個(gè)攝像頭的輸出

合并為一張大圖像

此外，對(duì)于有許多環(huán)境的大型強(qiáng)化學(xué)習(xí)場(chǎng)景，PhysX 5.4 中的新優(yōu)化功能最多可將環(huán)境克隆速度提高到上一版本的 3 倍。

生態(tài)系統(tǒng)的采用情況

1X、Agility Robotics、波士頓動(dòng)力人工智能研究所、波士頓動(dòng)力、傅立葉、銀河通用、逐際動(dòng)力、星動(dòng)紀(jì)元、Sanctuary AI 和優(yōu)必選等領(lǐng)先的機(jī)器人開(kāi)發(fā)商正在整合 Isaac Lab，用于開(kāi)發(fā)下一代機(jī)器人和人形機(jī)器人。其中許多公司已經(jīng)利用 Isaac Sim 在真實(shí)環(huán)境中測(cè)試了他們的機(jī)器人，并生成用于模型訓(xùn)練的合成數(shù)據(jù)。

了解波士頓動(dòng)力公司與 NVIDIA 以及波士頓動(dòng)力人工智能研究所合作開(kāi)發(fā) Spot強(qiáng)化學(xué)習(xí)研究工具包。

該工具包整合了先進(jìn)的仿真、NVIDIA Jetson AI 技術(shù)和精準(zhǔn)機(jī)器人控制，可高效地將四足機(jī)器人從虛擬環(huán)境過(guò)渡到真實(shí)世界的應(yīng)用中。

Isaac Lab 在 BSD-3 許可下開(kāi)源，可通過(guò) GitHub 上的 isaac-sim/IsaacLab 獲取。

在 Isaac Sim 中

更好地支持 ROS 開(kāi)發(fā)者??

Isaac Sim 的最新版本為 ROS 開(kāi)發(fā)者提供了豐富的新功能，使得在 Isaac Sim 中測(cè)試和仿真機(jī)器人變得前所未有的簡(jiǎn)單。首先是更易于使用，支持從 ROS2 節(jié)點(diǎn)導(dǎo)入 URDF，可在 URDF 文件或包含機(jī)器人描述的 ROS2 節(jié)點(diǎn)之間切換。對(duì)于 Cyclone DDS 用戶(hù)，Isaac Sim 也在 Linux 系統(tǒng)上支持 Isaac ROS 或 Nav2 相關(guān)的工作流。

其它新功能包括：

簡(jiǎn)化并改進(jìn)了端到端工作流，支持 ROS2 啟動(dòng)。

ROS2 服務(wù)質(zhì)量，可通過(guò) QoS 設(shè)置來(lái)配置任何 ROS 訂閱者或發(fā)布者。

支持任何可用消息類(lèi)型的 ROS2 發(fā)布者/訂閱者和服務(wù)器/客戶(hù)端?？捎脕?lái)連接系統(tǒng)中安裝的任何可用消息以及自定義消息。

開(kāi)始開(kāi)發(fā)您的機(jī)器人解決方案

要想獲取以下附加資源和參考架構(gòu)的更新信息，來(lái)支持您的開(kāi)發(fā)目標(biāo)，請(qǐng)注冊(cè) NVIDIA 開(kāi)發(fā)者計(jì)劃。

NVIDIA Isaac ROS 基于開(kāi)源 ROS 2 軟件框架構(gòu)建，包含一套加速計(jì)算數(shù)據(jù)包和 AI 模型的集合，為世界各地的 ROS 開(kāi)發(fā)者帶來(lái)由 NVIDIA 賦能的加速。

NVIDIA Isaac Sim 是基于 NVIDIA Omniverse 構(gòu)建的一款參考應(yīng)用，可幫助開(kāi)發(fā)者在基于物理的虛擬環(huán)境中設(shè)計(jì)、仿真、測(cè)試并訓(xùn)練 AI 機(jī)器人和自主機(jī)器。它包括用于機(jī)器人學(xué)習(xí)的輕量級(jí)應(yīng)用 NVIDIA Isaac Lab。

NVIDIA Isaac Perceptor 是一個(gè)用于自主移動(dòng)機(jī)器人（AMR）和自動(dòng)導(dǎo)引車(chē)（AGV）的參考工作流。

NVIDIA Isaac Manipulator 為工業(yè)機(jī)械臂提供了全新的基礎(chǔ)模型和參考工作流。

NVIDIA Jetson 是面向自主機(jī)器和嵌入式應(yīng)用的領(lǐng)先平臺(tái)。

加入 NVIDIA 機(jī)器人開(kāi)發(fā)者論壇，通過(guò)有關(guān) Isaac ROS 和 Isaac Sim 的自學(xué)培訓(xùn)和網(wǎng)絡(luò)研討會(huì)了解更多信息。