基于NVIDIA Jetson的機器人面臨的結(jié)果、系統(tǒng)和挑戰(zhàn)

進行高精度的實時推理是一項具有挑戰(zhàn)性的任務(wù)，尤其是在能見度較低的環(huán)境中。借助 NVIDIA Jetson 嵌入式平臺，最近結(jié)束的國防高級研究計劃局（ DARPA ）地下挑戰(zhàn)賽（ SubT ）團隊能夠以高精度和高吞吐量檢測感興趣的物體。在這篇文章中，我們將介紹在系統(tǒng)競賽的最后一站中團隊所面臨的結(jié)果、系統(tǒng)和挑戰(zhàn)。

SubT 挑戰(zhàn)賽是由 DARPA 組織和協(xié)調(diào)的國際機器人競賽。該競賽鼓勵研究人員為機器人開發(fā)新的方法來繪制、導(dǎo)航和搜索環(huán)境，這些環(huán)境會帶來各種挑戰(zhàn)，例如能見度低、存在危險、地圖未知或通信基礎(chǔ)設(shè)施差。

2019 冠狀病毒疾病包括三個初步的電路事件：隧道電路、城市電路和洞穴電路（由于 COVID-19 大流行而取消），以及最終的綜合挑戰(zhàn)課程。每個賽道和決賽都在不同的環(huán)境和不同的地形中舉行。據(jù)活動組織者介紹，比賽在 3 個不同的階段舉行， 2021 九月在 KY 。路易斯維爾舉行了最后一場比賽。

SubT Challenge 的競爭對手利用 NVIDIA 技術(shù)滿足其硬件和軟件需求。團隊使用桌面/服務(wù)器 GPU 來訓(xùn)練使用 NVIDIA Jetson 嵌入式平臺部署在機器人上的模型，以實時檢測感興趣的工件和對象，這是確定獲勝團隊的主要標(biāo)準(zhǔn)。七分之五的競爭對手也使用 Jetson 平臺進行實時目標(biāo)檢測。

次級挑戰(zhàn)

SubT 挑戰(zhàn)的靈感來自于第一響應(yīng)者在搜索救援行動或災(zāi)難響應(yīng)期間面臨的真實場景。

通過本次比賽開發(fā)的最先進的方法將有助于降低搜索救援人員和急救人員在探索未知地下環(huán)境時的傷亡風(fēng)險。此外，自動機器人將協(xié)助工作人員探索環(huán)境，尋找幸存者、感興趣的物體，并進入對人類有風(fēng)險的地點。

圖 1 。 DARPA 地下挑戰(zhàn)探索了繪制、導(dǎo)航和搜索復(fù)雜地下環(huán)境的創(chuàng)新方法和新技術(shù)。 – 圖片由 DARPA 提供 。

技術(shù)挑戰(zhàn)

這場比賽包含了各種技術(shù)挑戰(zhàn)，比如應(yīng)對一些機器人可能無法輕松操縱的未知、無結(jié)構(gòu)和不平的地形。

這些環(huán)境通常沒有任何與中央司令部通信的基礎(chǔ)設(shè)施。從感知角度來看，這些環(huán)境的可見度很低，機器人必須找到感興趣的工件和物體。

競爭團隊的任務(wù)是通過開發(fā)新型傳感器融合方法，以及開發(fā)新的或修改現(xiàn)有機器人平臺來應(yīng)對這些挑戰(zhàn)，這些平臺具有不同的定位和檢測感興趣對象的能力。

CERBERUS 團隊

CERBERUS 團隊（用于地下環(huán)境中自主探索的協(xié)作步行和飛行機器人）是世界各地多所大學(xué)和工業(yè)組織的聯(lián)合財團。

該團隊與四個名為 ANYmal 的四足機器人、五個主要由內(nèi)部制造、具有可變大小和有效載荷能力的無人機，以及一個超級巨型機器人形式的漫游機器人一起參加了比賽。在比賽決賽中，該團隊最終使用了四個 ANYmal 機器人和超級巨型機器人進行探索和人工制品檢測。

每個 ANYmal 機器人都配備了兩臺基于 CPU 的計算機和一臺 NVIDIA Jetson AGX Xavier 。漫游者機器人配備了 NVIDIA GTX 1070 GPU 。

CERBERUS 團隊使用改進版的 You Only Look One （ YOLO ）模型進行目標(biāo)檢測。該模型使用兩個 NVIDIA RTX 3090 GPU 在 40000 個標(biāo)記圖像上進行訓(xùn)練。

在部署到 Jetson 上進行實時推理之前，使用 TensorRT 對訓(xùn)練后的模型進行了進一步優(yōu)化。 Jetson AGX Xavier 能夠以 20 赫茲的集體頻率進行推理。在比賽總決賽中， CERBERUS 團隊率先發(fā)現(xiàn)了環(huán)境中 40 件文物中的 23 件，奪得了第一名。

CERBERUS 團隊還使用 GPU 繪制地形高程圖，并訓(xùn)練 ANYmal 四足機器人的移動策略控制器。使用 Jetson AGX Xavier 實時繪制高程圖。 ANYmal 機器人在崎嶇地形下的移動策略訓(xùn)練是使用桌面 GPU 離線完成的。

團隊聯(lián)袂主演

在南加利福尼亞州 NASA 噴氣推進實驗室（ JPL ）的研究人員以及其他大學(xué)和工業(yè)合作者的帶領(lǐng)下，團隊合作地下自主機器人（ Co STAR ）在 2020 年的比賽中獲勝，該比賽專注于探索復(fù)雜的地下城市環(huán)境。

他們還成功地參加了 2021 屆混合人工和自然環(huán)境的比賽，排名第五。聯(lián)袂主演的團隊帶著四個位置、四個哈士奇機器人和兩架無人機參加了比賽。

在最后一輪中，由于意外的硬件問題，團隊最終使用了一個 Spot 和三個哈士奇機器人。每個機器人都配備了一臺基于 CPU 的計算機以及一臺 NVIDIA Jetson AGX Xavier 。

在目標(biāo)檢測方面，該團隊使用 RGB 和熱圖像。他們使用 YOLO v5 模型的中型變體來處理高分辨率圖像以進行實時推斷。該團隊訓(xùn)練了兩種不同的模型，對捕獲的 RGB 和熱圖像進行推理。

基于圖像的模型使用約 54000 個標(biāo)記幀進行訓(xùn)練，而熱圖像模型使用約 2400 個標(biāo)記圖像進行訓(xùn)練。為了訓(xùn)練模型在他們的定制數(shù)據(jù)集上，團隊 Co Star 使用了在 COCO 數(shù)據(jù)集上的預(yù)訓(xùn)練的 YOLO V5 模型，并使用NVIDIA 傳輸學(xué)習(xí)工具包（稱為 TAO 工具包）進行傳輸學(xué)習(xí)。

使用兩個內(nèi)部部署的 NVIDIA A100 GPU 和一個由八個 V100 GPU 組成的 AWS 實例對模型進行訓(xùn)練。在 Jetson AGX Xavier 上部署模型之前，團隊使用 TensorRT 修剪模型。

使用這種設(shè)置，團隊合作星能夠在 28 赫茲的頻率下對五臺 RealSense 相機接收到的 RGB 圖像和一臺熱敏相機接收到的圖像進行推斷。在最后一次運行中，機器人能夠檢測到指定區(qū)域中存在的所有 13 個工件。由于部署現(xiàn)場意外的硬件問題導(dǎo)致部署延遲，因此勘探時間有限。

配備 NVIDIA Jetson 平臺和NVIDIA GPU 硬件，在 DARPA SUT 事件中競爭的團隊能夠有效地訓(xùn)練模型以進行實時推理，解決地下環(huán)境所帶來的挑戰(zhàn)與精確的目標(biāo)檢測。

關(guān)于作者

Mitesh Patel 是 NVIDIA 的開發(fā)者關(guān)系經(jīng)理，他與高等教育研究人員合作，使用 NVIDIA SDK 和平臺執(zhí)行他們的想法。在加入NVIDIA 之前，他是富士施樂帕洛阿爾托實驗室有限公司的高級研究科學(xué)家，致力于開發(fā)室內(nèi)本地化技術(shù)，用于醫(yī)院的資產(chǎn)跟蹤和制造設(shè)施的送貨車跟蹤等應(yīng)用。 Mitesh 于 2014 在澳大利亞悉尼科技大學(xué)獲得了來自自動系統(tǒng)中心（ CAS ）的機器人學(xué)博士學(xué)位。

審核編輯：郭婷