博士生構(gòu)建能控制機(jī)器人仿真的NVIDIA Omniverse擴(kuò)展程序

“Omniverse 先鋒面對(duì)面”系列文章

介紹使用 NVIDIA Omniverse 3D 模擬和協(xié)作平臺(tái)推動(dòng)藝術(shù)創(chuàng)作或設(shè)計(jì)流程的個(gè)人創(chuàng)作者和開(kāi)發(fā)者。

加州大學(xué)洛杉磯分校博士生 Yizhou Zhao 憑借用于機(jī)器人仿真環(huán)境的“IndoorKit”擴(kuò)展程序贏得“Extend the Omniverse”競(jìng)賽。

除專(zhuān)心攻讀統(tǒng)計(jì)學(xué)博士學(xué)位、進(jìn)行人工智能和機(jī)器人領(lǐng)域的數(shù)據(jù)驅(qū)動(dòng)研究以及開(kāi)展其愛(ài)好的帆船運(yùn)動(dòng)之外，Yizhou Zhao 還參加了 NVIDIA Omniverse（一個(gè)用于連接和構(gòu)建自定義 3D 管線(xiàn)和元宇宙應(yīng)用的平臺(tái)）開(kāi)發(fā)者比賽并獲得獎(jiǎng)項(xiàng)。

這位加州大學(xué)洛杉磯分校的五年級(jí)博士生在首屆#ExtendOmniverse 競(jìng)賽中獲得了第一名。開(kāi)發(fā)者通過(guò)創(chuàng)建Omniverse 擴(kuò)展程序來(lái)參加該比賽即有機(jī)會(huì)贏取NVIDIA RTX GPU。

Omniverse 擴(kuò)展程序是向所有用戶(hù)開(kāi)放的、可利用 Python 創(chuàng)建和擴(kuò)展 Omniverse 應(yīng)用功能的核心構(gòu)件。

Zhao 的獲獎(jiǎng)作品名為“IndoorKit”。用戶(hù)可利用該擴(kuò)展程序在室內(nèi)場(chǎng)景中輕松加載和記錄機(jī)器人仿真任務(wù)。用戶(hù)只需點(diǎn)擊幾個(gè)頁(yè)面選項(xiàng)，該擴(kuò)展程序就能利用室內(nèi)環(huán)境、機(jī)器人和其他物體來(lái)自動(dòng)填充場(chǎng)景，以設(shè)置機(jī)器人操作任務(wù)。

Zhao 表示：“一般情況下，如果不具備場(chǎng)景構(gòu)建、布局采樣和機(jī)器人控制領(lǐng)域的大量技能，很難在仿真環(huán)境中部署機(jī)器人任務(wù)。我構(gòu)建的擴(kuò)展程序利用通用場(chǎng)景描述（USD）框架將資產(chǎn)導(dǎo)入強(qiáng)大的 Omniverse 用戶(hù)界面，可實(shí)現(xiàn)即時(shí)場(chǎng)景設(shè)置以及對(duì)機(jī)器人的精確控制?！?/p>

在“IndoorKit”擴(kuò)展程序中，用戶(hù)只需要點(diǎn)擊“添加物體”、“添加房屋”、“加載場(chǎng)景”、“記錄場(chǎng)景”等按鈕，就能操縱環(huán)境的各個(gè)方面并直接進(jìn)行機(jī)器人仿真。

憑借通用場(chǎng)景描述（USD）這一開(kāi)源、可擴(kuò)展的框架，Zhao 借助用于連接 Autodesk Maya 和 Blender 軟件的Omniverse 連接器順利地將 3D 模型導(dǎo)入其構(gòu)建的虛擬環(huán)境中。

“IndoorKit”擴(kuò)展程序還借助NVIDIA Isaac Sim機(jī)器人仿真平臺(tái)的資產(chǎn)和 Omniverse 內(nèi)置的PhysX，實(shí)現(xiàn)對(duì)機(jī)器人進(jìn)行準(zhǔn)確、連貫的操縱。

另外，“IndoorKit”還可以隨機(jī)調(diào)整場(chǎng)景中的燈光、房間材質(zhì)等。以上視頻重點(diǎn)介紹了 Zhao 使用該擴(kuò)展程序構(gòu)建的一個(gè)場(chǎng)景。

Omniverse 在機(jī)器人領(lǐng)域的應(yīng)用

“IndoorKit”擴(kuò)展程序架起了一座連接 Omniverse 與機(jī)器人仿真研究的橋梁。

Zhao 表示：“很難想象在 Omniverse 出現(xiàn)之前，人們是如何實(shí)現(xiàn)精準(zhǔn)控制機(jī)器人的?！贝送猓琙hao 還提出了四大理由，來(lái)說(shuō)明為什么 Omniverse 是構(gòu)建該擴(kuò)展程序的理想平臺(tái)：

Python 的普及意味著許多開(kāi)發(fā)者可以用它來(lái)構(gòu)建擴(kuò)展程序，使更多人能夠開(kāi)展機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域的研究。

在 Omniverse 平臺(tái)使用 NVIDIA RTX GPU 可以在很大程度上加速機(jī)器人的控制和訓(xùn)練速度。

Omniverse 的光線(xiàn)追蹤技術(shù)可實(shí)現(xiàn)實(shí)時(shí)、逼真的場(chǎng)景渲染。Zhao 表示，與過(guò)去相比，他花在實(shí)驗(yàn)設(shè)置和仿真上的時(shí)間減少了 90%。

Omniverse 平臺(tái)的實(shí)時(shí)高級(jí)物理模擬引擎 PhysX 支持各種功能，包括液體、顆粒和柔體模擬等。Zhao 表示，“這些都是機(jī)器人研究的前沿領(lǐng)域”。

最后，他說(shuō)道：“藝術(shù)、工程和研究的未來(lái)趨勢(shì)是將建模、動(dòng)畫(huà)與仿真模擬等一切連接到一起。Omniverse 可以做到這一點(diǎn)?！?/p>

審核編輯：湯梓紅