從 0 到 1 搭建機(jī)器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件進(jìn)行數(shù)據(jù)合成和訓(xùn)練

問(wèn)

從頭開(kāi)始創(chuàng)建機(jī)器人是不是很有挑戰(zhàn)性？

答

從零開(kāi)始創(chuàng)建一個(gè)機(jī)器人并非及其困難，使用合適的工具，就能夠輕松達(dá)到事半功倍的效果。

問(wèn)

那么應(yīng)該怎么開(kāi)始呢？

答

從 0 到 1 搭建機(jī)器人系列文章將從第一步開(kāi)始，拆解并串聯(lián)起關(guān)于機(jī)器人創(chuàng)建的必要知識(shí)和所涉工具，希望能以 NVIDIA 提供的前沿解決方案為您鋪平開(kāi)發(fā)實(shí)踐的道路。

今天我們將先從數(shù)據(jù)標(biāo)記、模型訓(xùn)練開(kāi)始，出場(chǎng)的是Isaac Sim Replicator和NVIDIA TAO 工具套件，前者用于生成合成數(shù)據(jù)，后者可對(duì)合成數(shù)據(jù)進(jìn)行訓(xùn)練，為機(jī)器人的仿真打下堅(jiān)實(shí)的基礎(chǔ)。

虛擬環(huán)境和合成數(shù)據(jù)

在現(xiàn)實(shí)世界中，制造機(jī)器人需要從頭開(kāi)始創(chuàng)建數(shù)據(jù)集，涉及到采集和注釋海量真實(shí)圖像等，這一過(guò)程耗時(shí)又費(fèi)錢(qián)，存在人力協(xié)調(diào)方面的挑戰(zhàn)，而且會(huì)減緩部署速度。因此，開(kāi)發(fā)人員轉(zhuǎn)向了合成數(shù)據(jù)生成 (SDG）、預(yù)訓(xùn)練 AI 模型、遷移學(xué)習(xí)和機(jī)器人仿真這幾種方式。

合成數(shù)據(jù)是計(jì)算機(jī)模擬或算法所生成的帶有注釋的信息，可以用于代替真實(shí)數(shù)據(jù)。雖然是人造數(shù)據(jù)，但合成數(shù)據(jù)能夠從數(shù)學(xué)或統(tǒng)計(jì)學(xué)上反映真實(shí)數(shù)據(jù)。研究表明，在訓(xùn)練 AI 模型方面，合成數(shù)據(jù)與基于實(shí)際物體、事件或人的數(shù)據(jù)一樣好。采用合成數(shù)據(jù)生成 (SDG) 無(wú)疑可以節(jié)省時(shí)間并降低成本。

預(yù)訓(xùn)練 AI 模型則是一種為了完成某項(xiàng)特定任務(wù)而在大型數(shù)據(jù)集上進(jìn)行訓(xùn)練的深度學(xué)習(xí)模型，既可以直接使用，也可以根據(jù)某個(gè)應(yīng)用的具體需求進(jìn)行進(jìn)一步微調(diào)。比如，在創(chuàng)建一個(gè)能夠識(shí)別獨(dú)角獸的模型時(shí)，首先會(huì)為其提供獨(dú)角獸、馬、貓和其他動(dòng)物的圖像作為傳入數(shù)據(jù)。然后再構(gòu)建具有代表性的數(shù)據(jù)特征層。從線條、顏色等簡(jiǎn)單特征開(kāi)始，深入到復(fù)雜的結(jié)構(gòu)特征。依據(jù)計(jì)算出的概率，這些特征將被賦予不同程度的相關(guān)性。一個(gè)生物看起來(lái)越像馬，它是獨(dú)角獸而不是貓的概率就越大。這些概率值被存儲(chǔ)在 AI 模型的每個(gè)神經(jīng)網(wǎng)絡(luò)層。隨著層數(shù)的增加，模型對(duì)表征的理解程度也在提高。試想一下，若要從頭開(kāi)始創(chuàng)建一個(gè)這樣的模型，通常需要調(diào)用包含數(shù)十億行數(shù)據(jù)的巨大數(shù)據(jù)集，幾乎是一個(gè)‘事倍功半’的過(guò)程。相反，如果在預(yù)訓(xùn)練模型基礎(chǔ)上進(jìn)行開(kāi)發(fā)，則可以更快創(chuàng)建出 AI 應(yīng)用，無(wú)需處理堆積如山的傳入數(shù)據(jù)或計(jì)算密集的數(shù)據(jù)層的概率。NVIDIA NGC即匯集了通過(guò) GPU 優(yōu)化的 AI 軟件、模型和 Jupyter Notebook 示例，包括各種預(yù)訓(xùn)練模型以及為 NVIDIA AI 平臺(tái)優(yōu)化的 AI 基準(zhǔn)和訓(xùn)練方式。

熟悉 NVIDIA 的開(kāi)發(fā)者對(duì) Isaac Sim 一定不會(huì)感到陌生，這是一個(gè)機(jī)器人仿真應(yīng)用程序，用于創(chuàng)建虛擬環(huán)境和生成合成數(shù)據(jù)。更進(jìn)一步，Isaac Sim Replicator 是一個(gè)建立在可擴(kuò)展的Omniverse平臺(tái)上的高度可擴(kuò)展 SDK，它可以生成物理級(jí)精確的 3D 合成數(shù)據(jù)來(lái)加速 AI 感知網(wǎng)絡(luò)的訓(xùn)練和性能。開(kāi)發(fā)者可以使用 Isaac Sim Replicator 生成的大規(guī)模逼真合成數(shù)據(jù)，來(lái)引導(dǎo)和提高現(xiàn)有深度學(xué)習(xí)感知模型的性能。

有關(guān)于仿真測(cè)試的更多技術(shù)應(yīng)用細(xì)節(jié)，我們將在以后的機(jī)器人系列文章中具體談到。

數(shù)據(jù)標(biāo)注和模型訓(xùn)練

選擇好合適的模型后，就可以進(jìn)一步訓(xùn)練和微調(diào)出更為準(zhǔn)確的 AI 模型了，這也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一個(gè)框架，可使用自定義數(shù)據(jù)訓(xùn)練、調(diào)整和優(yōu)化（TAO: Train, Adapt, and Optimize）計(jì)算機(jī)視覺(jué) （CV） AI 模型和對(duì)話式 AI 模型，所需時(shí)間非常少，也無(wú)需擁有大型訓(xùn)練數(shù)據(jù)集或 AI 專(zhuān)業(yè)知識(shí)。

TAO 工具套件是 TAO 的低代碼版本，基于 TensorFlow 和 PyTorch 構(gòu)建，通過(guò)抽象出 AI/深度學(xué)習(xí)框架的復(fù)雜性來(lái)加速模型訓(xùn)練過(guò)程。有了 NVIDIA TAO 工具套件，開(kāi)發(fā)者可以進(jìn)行遷移學(xué)習(xí)，通過(guò)適應(yīng)和優(yōu)化，在短時(shí)間內(nèi)達(dá)到最先進(jìn)的精度和生產(chǎn)級(jí)吞吐量。在 NVIDIA GTC23 上，NVIDIA 發(fā)布了NVIDIA TAO 工具套件 5.0，帶來(lái)了 AI 模型開(kāi)發(fā)方面的突破性功能提升。

AI 輔助的數(shù)據(jù)標(biāo)注和管理

如前文所述，數(shù)據(jù)標(biāo)注仍然是一個(gè)昂貴且耗時(shí)的過(guò)程。對(duì)于 CV 任務(wù)尤其如此，比如需要在標(biāo)注對(duì)象周?chē)上袼丶?jí)別分割掩碼的分割任務(wù)。通常，分割掩碼的成本是對(duì)象檢測(cè)或分類(lèi)的 10 倍。

通過(guò) TAO 工具套件 5.0 ，用最新的 AI 輔助標(biāo)注功能對(duì)分割掩碼進(jìn)行標(biāo)注，速度更快，成本更低?？梢允褂萌醣O(jiān)督分割架構(gòu) Mask Auto Labeler (MAL) 來(lái)幫助進(jìn)行分割注釋?zhuān)约肮潭ê褪站o用于對(duì)象檢測(cè)的邊界框。實(shí)況數(shù)據(jù)中對(duì)象周?chē)乃缮⑦吔缈蚩赡軙?huì)導(dǎo)致非最佳檢測(cè)結(jié)果，但通過(guò) AI 輔助標(biāo)注，可以將邊界框收緊到對(duì)象上，從而獲得更準(zhǔn)確的模型。

NVIDIA TAO 工具套件自動(dòng)標(biāo)記工作流程

在任何平臺(tái)、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型導(dǎo)出。無(wú)論是 GPU、CPU、MCU、DLA 還是 FPGA 的邊緣或云上的任何計(jì)算平臺(tái)，都可以部署使用 NVIDIA TAO 工具套件訓(xùn)練的模型。NVIDIA TAO 工具套件簡(jiǎn)化了模型訓(xùn)練過(guò)程，優(yōu)化了模型的推理吞吐量，為數(shù)千億臺(tái)設(shè)備的 AI 提供了動(dòng)力。

除了傳統(tǒng)對(duì)象檢測(cè)和分割，NVIDIA TAO 工具套件也加速了其他的各種 CV 任務(wù)。TAO 工具套件 5.0 中新增的字符檢測(cè)和識(shí)別模型使開(kāi)發(fā)人員能夠從圖像和文檔中提取文本。文檔轉(zhuǎn)換實(shí)現(xiàn)了自動(dòng)化，并加速了在保險(xiǎn)和金融等行業(yè)的用例。

為了提高透明度和可解釋性， TAO 工具套件以開(kāi)源形式提供。開(kāi)發(fā)者能夠從內(nèi)部層查看特征圖，并繪制激活熱圖，以更好地理解 AI 預(yù)測(cè)背后的推理過(guò)程。此外，訪問(wèn)源代碼使開(kāi)發(fā)者能夠靈活地創(chuàng)建定制的 AI，提高調(diào)試能力，并增加對(duì)模型的信任。

到此為止，我們已經(jīng)完成了數(shù)據(jù)的合成和訓(xùn)練，接下來(lái)讓我們一起期待如何進(jìn)行機(jī)器人模型的仿真與測(cè)試吧！

• 下載 NVIDIA TAO 工具套件（https://developer.nvidia.com/tao-toolkit-get-started）并開(kāi)始創(chuàng)建自定義 AI 模型。

• 您也可以在 LaunchPad （https://www.nvidia.com/en-us/launchpad/ai/develop-fine-tune-computer-vision-models-with-tao-automl/）上體驗(yàn) NVIDIA TAO 工具套件。

點(diǎn)擊“閱讀原文”，或掃描下方海報(bào)二維碼，在 8 月 8日聆聽(tīng)NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場(chǎng)發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開(kāi)發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。