使用Omniverse Replicator構(gòu)建自定義合成數(shù)據(jù)生成管道

提供合成數(shù)據(jù)生成工具和服務(wù)的公司以及開發(fā)人員現(xiàn)在可以使用 Omniverse Replicator SDK 。 Omniverse Replicator SDK 構(gòu)建在 NVIDIA Omniverse 平臺(tái)上，在 Omniverse Code 。

Omniverse Replicator 是一個(gè)高度可擴(kuò)展的 SDK ，構(gòu)建在可擴(kuò)展的 Omniverse 平臺(tái)上，用于物理精確的 3D 合成數(shù)據(jù)生成，以加速 AI perception Network 的訓(xùn)練和性能。開發(fā)人員、研究人員和工程師現(xiàn)在可以使用 Omniverse Replicator 來(lái)引導(dǎo)現(xiàn)有的深度學(xué)習(xí)感知模型，并利用大規(guī)模真實(shí)照片合成數(shù)據(jù)提高其性能。

圖 1 ：。 Replicator 使用基于 Omniverse 開放標(biāo)準(zhǔn)的平臺(tái)以及 OmniGraph 和 Farm 體系結(jié)構(gòu)提供的可擴(kuò)展性和可伸縮性

Omniverse Replicator 為開發(fā)人員提供了一個(gè)非常出色的平臺(tái)，以構(gòu)建特定于其神經(jīng)網(wǎng)絡(luò)需求的合成數(shù)據(jù)生成應(yīng)用程序。它建立在開放標(biāo)準(zhǔn)上，如 通用場(chǎng)景描述 （ USD 、 PhysX 和 材料定義語(yǔ)言 （ MDL ），具有易于使用的 Python API ，還具有可擴(kuò)展性，支持自定義隨機(jī)化器、注釋器和編寫器。通過(guò)基于 CUDA 的 OmniGraph 實(shí)現(xiàn)核心注釋器功能，支持閃電般的數(shù)據(jù)生成，這意味著可以立即預(yù)覽輸出。與組合時(shí) Omniverse 農(nóng)場(chǎng) 和 SwiftStack 輸出， Replicator 在云中提供了巨大的可擴(kuò)展性。

Omniverse Replicator SDK 由六個(gè)主要組件組成，用于定制合成數(shù)據(jù)工作流：

語(yǔ)義架構(gòu)編輯器： 通過(guò)對(duì) 3D 資產(chǎn)及其 PRIM 進(jìn)行語(yǔ)義標(biāo)記， Replicator 可以在渲染和數(shù)據(jù)生成過(guò)程中注釋感興趣的對(duì)象。語(yǔ)義模式編輯器提供了一種通過(guò)用戶界面將這些標(biāo)簽應(yīng)用于舞臺(tái)上的 prim 的方法。

Visualizer： 這為分配給三維資源的語(yǔ)義標(biāo)簽以及二維/三維邊界框、法線、深度等注釋提供了可視化功能。

Randomizers： 域隨機(jī)化是 Replicator 最重要的功能之一。使用隨機(jī)化器，您可以創(chuàng)建隨機(jī)化場(chǎng)景，從資源、材質(zhì)、照明和攝影機(jī)位置以及其他隨機(jī)化功能進(jìn)行采樣。

Omni.syntheticdata： 這提供了與 Omniverse RTX 渲染器和 OmniGraph 計(jì)算圖形系統(tǒng)的低級(jí)集成。它還支持 Replicator 的地面真相提取注釋器，將任意輸出變量（ AOV ）從渲染器傳遞到注釋器。

Annotators： 這些接收來(lái)自 Omni 的 AOV 和其他輸出。 syntheticdata extension 為深度神經(jīng)網(wǎng)絡(luò)（ DNN ）訓(xùn)練生成精確標(biāo)記注釋。

Writers： 處理來(lái)自注釋器的圖像和其他注釋，并生成 DNN 特定的數(shù)據(jù)格式以供培訓(xùn)。

人工智能訓(xùn)練中的合成數(shù)據(jù)

為感知任務(wù)訓(xùn)練 DNN 通常涉及從數(shù)百萬(wàn)張圖像中手動(dòng)收集數(shù)據(jù)，然后手動(dòng)注釋這些圖像和可選的增強(qiáng)。

圖 2 ：。數(shù)據(jù)收集和注釋任務(wù)圖

手動(dòng)數(shù)據(jù)收集和注釋既費(fèi)力又主觀。大規(guī)模收集和注釋真實(shí)圖像，即使是簡(jiǎn)單的注釋，如二維邊界框，也會(huì)帶來(lái)許多后勤挑戰(zhàn)。涉及到的注釋（如分段）是資源受限的，手動(dòng)執(zhí)行時(shí)精度要低得多。

圖 3 ：。語(yǔ)義分割任務(wù)的復(fù)雜性

收集和注釋后，數(shù)據(jù)將轉(zhuǎn)換為 DNN 可用的格式，然后對(duì) DNN 進(jìn)行感知任務(wù)培訓(xùn)。網(wǎng)絡(luò)架構(gòu)中的超參數(shù)調(diào)整或更改是優(yōu)化網(wǎng)絡(luò)性能的典型后續(xù)步驟。對(duì)模型性能的分析可能會(huì)導(dǎo)致數(shù)據(jù)集中的潛在更改，但在大多數(shù)情況下，這需要另一個(gè)手動(dòng)數(shù)據(jù)收集和注釋周期。這種手動(dòng)數(shù)據(jù)收集和注釋的迭代周期是昂貴、乏味和緩慢的。

利用合成生成的數(shù)據(jù)，團(tuán)隊(duì)可以以經(jīng)濟(jì)高效的方式引導(dǎo)和增強(qiáng)大規(guī)模訓(xùn)練數(shù)據(jù)的生成，并提供精確的注釋。此外，合成數(shù)據(jù)生成還有助于解決與長(zhǎng)尾異常、缺乏可用培訓(xùn)數(shù)據(jù)和在線強(qiáng)化學(xué)習(xí)相關(guān)的挑戰(zhàn)。與手動(dòng)收集和注釋數(shù)據(jù)不同，合成生成的數(shù)據(jù)具有較低的攤銷成本，這有利于數(shù)據(jù)收集/注釋和模型訓(xùn)練周期的典型迭代性質(zhì)。

圖 4 ：。 Omniverse Replicator ，用于生成具有精確注釋的大規(guī)模訓(xùn)練數(shù)據(jù)

Omniverse Replicator 通過(guò)利用 Omniverse 平臺(tái)的許多核心功能和最佳實(shí)踐，包括但不限于物理精確的照片級(jí)數(shù)據(jù)集和對(duì)超大數(shù)據(jù)集的訪問(wèn)，解決了這些挑戰(zhàn)。

物理精確的光繪數(shù)據(jù)集要求使用 RTX 技術(shù)、基于物理的材料和物理引擎進(jìn)行精確的光線跟蹤和路徑跟蹤，所有這些都是 Omniverse 平臺(tái)的核心技術(shù)。

圖 5 ：。使用 Omniverse Replicator 增強(qiáng)倉(cāng)庫(kù)場(chǎng)景中的傳感器注釋

基于 通用場(chǎng)景描述 （ USD ）， Omniverse 無(wú)縫連接到其他 3D 應(yīng)用程序，因此開發(fā)人員可以引入定制內(nèi)容，或者編寫自己的工具來(lái)生成不同的域場(chǎng)景。 生成這些資產(chǎn)通常是一個(gè)瓶頸，因?yàn)樗枰缍鄠€(gè) GPU 和節(jié)點(diǎn)進(jìn)行擴(kuò)展。

Omniverse Replicator 通過(guò)利用 Omniverse Farm ，允許團(tuán)隊(duì)一起使用多個(gè)工作站或服務(wù)器來(lái)支持渲染或合成數(shù)據(jù)生成等工作。合成數(shù)據(jù)生成工作流并非“一勞永逸”為了成功地使用合成數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，必須在真實(shí)數(shù)據(jù)集上對(duì)網(wǎng)絡(luò)進(jìn)行迭代測(cè)試。 Replicator 通過(guò)將模擬世界轉(zhuǎn)換為一組可學(xué)習(xí)的參數(shù)來(lái)提供這種以數(shù)據(jù)為中心的 AI 培訓(xùn)。

使用 Omniverse Replicator 和 TAO Toolkit 加速現(xiàn)有工作流

開發(fā)人員、工程師和研究人員可以將 Omniverse Replicator 與現(xiàn)有工具集成 加快 AI 模型培訓(xùn)。例如，一旦生成了合成數(shù)據(jù)，開發(fā)人員就可以使用 NVIDIA TAO 工具包 。 TAO 工具包利用遷移學(xué)習(xí)的力量，讓開發(fā)人員在沒(méi)有人工智能專業(yè)知識(shí)的情況下，針對(duì)其用例培訓(xùn)、調(diào)整和優(yōu)化模型。

圖 6 ：用于合成數(shù)據(jù)生成和模型培訓(xùn)的 Omniverse Replicator 和 TAO toolkit 工作流

使用 Omniverse Replicator 構(gòu)建應(yīng)用程序

Kinetic Vision 是一家面向零售、內(nèi)部物流、消費(fèi)制造和消費(fèi)包裝產(chǎn)品等大型工業(yè)客戶的系統(tǒng)集成商。他們正在開發(fā)基于 Omniverse Replicator SDK 將為客戶提供高質(zhì)量的合成數(shù)據(jù)作為一項(xiàng)服務(wù)。

當(dāng)深度學(xué)習(xí)模型訓(xùn)練所需的數(shù)據(jù)不可用時(shí)， Omniverse Replicator 生成合成數(shù)據(jù)，可用于擴(kuò)充有限的數(shù)據(jù)集。 閃電 AI （前身為 Grid.AI ）使用 NVIDIA Omniverse 復(fù)制器根據(jù)通用場(chǎng)景描述（ USD ）生成物理上精確的 3D 數(shù)據(jù)集，可用于訓(xùn)練這些模型。用戶可以簡(jiǎn)單地拖放 3D 資產(chǎn)，在生成數(shù)據(jù)集后，用戶可以從最新的最先進(jìn)的計(jì)算機(jī)視覺(jué)模型中進(jìn)行選擇，以自動(dòng)對(duì)合成數(shù)據(jù)進(jìn)行訓(xùn)練。

圖 7 ： Lightning AI 應(yīng)用程序顯示在 Replicator 生成的合成數(shù)據(jù)上訓(xùn)練和測(cè)試的 DNN

在 NVIDIA， ISAAC Sim DRIVE Sim 團(tuán)隊(duì)利用 Omniverse Replicator SDK 構(gòu)建特定領(lǐng)域的合成生成工具，用于機(jī)器人的 ISAAC Replicator 和用于自主車輛培訓(xùn)的 DRIVE Replicator 。 Omniverse Replicator SDK 為開發(fā)人員提供了一組核心功能，可以利用 Omniverse 平臺(tái)提供的所有優(yōu)勢(shì)構(gòu)建任何特定于領(lǐng)域的合成數(shù)據(jù)生成管道。借助 Omniverse 作為 3D 模擬、渲染和 AI 開發(fā)功能的開發(fā)平臺(tái)， Replicator 提供了定制的合成數(shù)據(jù)生成管道。

可利用性

這個(gè) Omniverse Replicator SDK 現(xiàn)已在中提供 Omniverse Code ，可從 Omniverse 啟動(dòng)器下載。

關(guān)于作者

Nyla Worker 是 NVIDIA 的解決方案架構(gòu)師，專注于嵌入式設(shè)備的模擬和深入學(xué)習(xí)。她在機(jī)器人和自動(dòng)車輛的深度學(xué)習(xí)邊緣應(yīng)用方面擁有豐富的經(jīng)驗(yàn)，并為嵌入式設(shè)備開發(fā)了加速推理管道。

Bhumin Pathak 是 NVIDIA 合成數(shù)據(jù)生成 SDK （也稱為 Replicator ）的高級(jí)產(chǎn)品經(jīng)理。他喜歡在計(jì)算機(jī)圖形學(xué)、 3D 仿真和機(jī)器學(xué)習(xí)的交叉領(lǐng)域工作。在加入 NVIDIA 之前，他曾在迪士尼擔(dān)任人工智能的應(yīng)用研究員，并在思科和三星擔(dān)任其他各種職務(wù)。

審核編輯：郭婷