使用NVIDIA ISAAC Sim和NVIDIA ISAAC Replicator縮小Sim2Real差距

合成數(shù)據(jù)是計(jì)算機(jī)視覺應(yīng)用中訓(xùn)練機(jī)器學(xué)習(xí)模型的重要工具。 NVIDIA 的研究人員介紹了一種 結(jié)構(gòu)化域隨機(jī)化 Omniverse Replicator 中的系統(tǒng)，可以幫助您使用合成數(shù)據(jù)訓(xùn)練和優(yōu)化模型。

Omniverse Replicator 是在 NVIDIA Omniverse 平臺(tái)上構(gòu)建的 SDK ，它使您能夠構(gòu)建自定義的合成數(shù)據(jù)生成工具和工作流。 NVIDIA ISAAC Sim 開發(fā)團(tuán)隊(duì)使用 Omniverse Replicator SDK 構(gòu)建 NVIDIA ISAAC Replicator ，這是一個(gè)特定于機(jī)器人的合成數(shù)據(jù)生成工具包，在 NVIDIA ISAAC Sim 應(yīng)用程序中公開。

我們探索了在最近的一個(gè)項(xiàng)目中使用從合成環(huán)境生成的合成數(shù)據(jù)。 Trimble 計(jì)劃部署 Boston Dynamics 的 Spot 在各種室內(nèi)設(shè)置和施工環(huán)境中。但 Trimble 必須開發(fā)一個(gè)經(jīng)濟(jì)高效且可靠的工作流程來訓(xùn)練基于 ML 的感知模型，以便 Spot 能夠在不同的室內(nèi)環(huán)境中自主運(yùn)行。

通過在 NVIDIA ISAAC Replicator 內(nèi)使用結(jié)構(gòu)化域隨機(jī)化從合成室內(nèi)環(huán)境生成數(shù)據(jù)，您可以訓(xùn)練現(xiàn)成的物體檢測(cè)模型，以檢測(cè)真實(shí)室內(nèi)環(huán)境中的門。

Sim2Real 域間隙

鑒于合成數(shù)據(jù)集是通過模擬生成的，因此彌合模擬與真實(shí)世界之間的差距至關(guān)重要。該間隙稱為域間隙，可分為兩部分：

外觀間隙：兩個(gè)圖像之間的像素級(jí)差異。這些差異可能是由于對(duì)象細(xì)節(jié)、材質(zhì)的不同，或者在合成數(shù)據(jù)的情況下，所使用的渲染系統(tǒng)的能力不同。

內(nèi)容差距：指域之間的差異。這包括場(chǎng)景中對(duì)象的數(shù)量、類型和位置的多樣性以及類似的上下文信息等因素。

克服這些領(lǐng)域差距的關(guān)鍵工具是領(lǐng)域隨機(jī)化（ DR ），它增加了為合成數(shù)據(jù)集生成的領(lǐng)域的大小。 DR 有助于確保我們包括最符合現(xiàn)實(shí)的范圍，包括長(zhǎng)尾異常。通過生成更廣泛的數(shù)據(jù)，我們可能會(huì)發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)更好地概括整個(gè)問題范圍。

可以使用高保真 3D 資源和基于光線跟蹤或路徑跟蹤的渲染，使用基于物理的材質(zhì)（如 MDL 定義的材質(zhì)），進(jìn)一步縮小外觀差距。驗(yàn)證的傳感器模型及其參數(shù)的域隨機(jī)化也有幫助。

創(chuàng)建合成場(chǎng)景

我們通過 NVIDIA Omniverse SketchUp 連接器將室內(nèi)場(chǎng)景的 BIM 模型從 Trimble SketchUp 導(dǎo)入 NVIDIA ISAAC Sim 。然而，它看起來很粗糙，在 Sim 和現(xiàn)實(shí)之間有很大的外觀差距。視頻 1 顯示 Trimble _ DR _ v1.1.usd 。

合成數(shù)據(jù)生成

此時(shí)，開始了合成數(shù)據(jù)生成（ SDG ）的迭代過程。對(duì)于目標(biāo)檢測(cè)模型，我們?cè)谒袑?shí)驗(yàn)中使用 TAO DetectNet V2 和 ResNet-18 主干。

我們將所有模型超參數(shù)常數(shù)固定為其默認(rèn)值，包括批量大小、學(xué)習(xí)速率和數(shù)據(jù)集擴(kuò)展配置參數(shù)。在合成數(shù)據(jù)生成中，可以迭代調(diào)整數(shù)據(jù)集生成參數(shù)，而不是模型超參數(shù)。

圖 3根據(jù)模型評(píng)估的反饋調(diào)整數(shù)據(jù)集生成參數(shù)的合成數(shù)據(jù)生成過程

Trimble v1.3 場(chǎng)景包含 500 個(gè)光線跟蹤圖像和環(huán)境道具，除門旋轉(zhuǎn)外，沒有 DR 組件。門紋理保持不變。在該場(chǎng)景中進(jìn)行的訓(xùn)練在真實(shí)測(cè)試集（約 1000 張圖像）上產(chǎn)生了 5% 的 AP 。

從模型對(duì)真實(shí)圖像的預(yù)測(cè)中可以看出，該模型未能充分檢測(cè)到真實(shí)的門，因?yàn)樗^度適合模擬門的紋理。該模型在具有不同紋理門的合成驗(yàn)證數(shù)據(jù)集上的較差性能證實(shí)了這一點(diǎn)。

另一個(gè)觀察結(jié)果是，模擬中的照明保持穩(wěn)定不變，而現(xiàn)實(shí)中有各種照明條件。

為了防止過度擬合門的紋理，我們對(duì)門紋理應(yīng)用了隨機(jī)化，在 30 種不同的木紋紋理之間隨機(jī)化。為了改變照明，我們?cè)谔旎ò迳咸砑恿?DR ，以隨機(jī)化燈光的運(yùn)動(dòng)、強(qiáng)度和顏色?，F(xiàn)在，我們正在隨機(jī)化門的紋理，重要的是為模型提供一些學(xué)習(xí)信號(hào)，了解除了矩形外，門是由什么組成的。我們?yōu)閳?chǎng)景中的所有門添加了逼真的金屬門把手、踢腳板和門框。在實(shí)際測(cè)試集上，對(duì)該改進(jìn)場(chǎng)景中的 500 幅圖像進(jìn)行訓(xùn)練，獲得 57% 的 AP 。

這個(gè)模型比以前做得更好，但在測(cè)試真實(shí)圖像中，它仍然對(duì)盆栽植物和墻上的 QR 碼做出假陽性預(yù)測(cè)。它在走廊圖像上也做得很差，在那里我們有多個(gè)門。

為了使模型對(duì)墻壁上的 QR 碼等噪聲具有魯棒性，我們將 DR 應(yīng)用于具有不同紋理的墻壁紋理，包括 QR 碼和其他合成紋理。

我們?cè)诂F(xiàn)場(chǎng)增加了一些盆栽植物。我們已經(jīng)有了一條走廊，所以為了從中生成合成數(shù)據(jù)，沿著走廊添加了兩個(gè)攝像頭以及天花板上的燈。

我們添加了光溫 DR ，以及強(qiáng)度、運(yùn)動(dòng)和顏色，以使模型在不同的光照條件下更好地概括。我們還注意到，在真實(shí)圖像中，有各種各樣的地板，如閃亮的花崗巖、地毯和瓷磚。為了模擬這些，我們應(yīng)用 DR 將地板材料隨機(jī)分為不同種類的地毯、大理石、瓷磚和花崗巖材料。

類似地，我們添加了 DR 組件，以在不同顏色和不同種類的材料之間隨機(jī)化天花板的紋理。我們還添加了 DR 可見性組件，以便在模擬過程中在走廊中隨機(jī)添加幾個(gè)推車，希望將模型對(duì)真實(shí)圖像中推車的誤報(bào)降到最低。

通過僅對(duì)合成數(shù)據(jù)進(jìn)行訓(xùn)練，從該場(chǎng)景生成的 4000 幅圖像的合成數(shù)據(jù)集在真實(shí)測(cè)試集上獲得了約 87% 的 AP ，實(shí)現(xiàn)了良好的 Sim2Real 性能。

Omniverse 中的合成數(shù)據(jù)生成

使用 Omniverse 連接器、 MDL 和 DeepSearch 等易于使用的工具，沒有 3D 設(shè)計(jì)背景的 ML 工程師和數(shù)據(jù)科學(xué)家可以創(chuàng)建合成場(chǎng)景。

NVIDIA ISAAC Replicator 通過生成具有結(jié)構(gòu)化域隨機(jī)化的合成數(shù)據(jù)，輕松彌補(bǔ) Sim2Real 差距。通過這種方式， Omniverse 使合成數(shù)據(jù)生成可以用于引導(dǎo)基于 perception 的 ML 項(xiàng)目。

這里介紹的方法應(yīng)該是可擴(kuò)展的，并且應(yīng)該可以增加感興趣的對(duì)象的數(shù)量，并在每次需要檢測(cè)其他新對(duì)象時(shí)輕松生成新的合成數(shù)據(jù)。

關(guān)于作者

Geetika Gupta 是 HPC + AI 和 Edge 應(yīng)用的領(lǐng)先產(chǎn)品。自 NVIDIA 開普勒一代以來，她一直擔(dān)任數(shù)據(jù)中心 GPU 的產(chǎn)品經(jīng)理，現(xiàn)在專注于 HPC + AI 和流式數(shù)據(jù)用例的融合。 Geetika 擁有加州大學(xué)洛杉磯分校安德森學(xué)院的 MBA 學(xué)位和 IITBHU 的機(jī)械工程學(xué)士學(xué)位。

Nyla Worker 是 NVIDIA 的解決方案架構(gòu)師，專注于嵌入式設(shè)備的模擬和深入學(xué)習(xí)。她在機(jī)器人和自動(dòng)車輛的深度學(xué)習(xí)邊緣應(yīng)用方面擁有豐富的經(jīng)驗(yàn)，并為嵌入式設(shè)備開發(fā)了加速推理管道。

審核編輯：郭婷