如何結(jié)合深度學(xué)習(xí)和深度圖在三個項目中取得有效的成果

對于機(jī)器人感知來說，RGB圖加卷積網(wǎng)絡(luò)已經(jīng)變成了感知系統(tǒng)的標(biāo)配。在機(jī)器人和通常的計算機(jī)視覺任務(wù)中，人們會從從VGG或者ResNet等網(wǎng)絡(luò)模型中借鑒基礎(chǔ)結(jié)構(gòu)以及預(yù)訓(xùn)練權(quán)重，隨后利用遷移學(xué)習(xí)的方法在特定任務(wù)的數(shù)據(jù)上進(jìn)行微調(diào)來實現(xiàn)對于特定任務(wù)的學(xué)習(xí)。但對于某些任務(wù)來說，只知道場景的顏色信息只能提供有限的感知。例如要訓(xùn)練機(jī)器人抓取一個新的未知物體，那么這時候理解物體及所處環(huán)境的幾何形貌就比感知它的顏色紋理重要的多。

rgb圖和對應(yīng)的深度圖（圖例用灰色）

進(jìn)行操作的物理過程主要依賴于物體的幾何、位姿和其他與顏色無關(guān)的信息（或者是顏色不變量）。可以想象一下你在手里轉(zhuǎn)筆的過程，我們可以流暢的旋轉(zhuǎn)而不需要盯著它看，這是因為我們已經(jīng)對于手指和筆接觸點的空間位置、朝向有了極為深入的理解和認(rèn)識。那么我們不禁要問，我們可以利用彩色圖獲取對于物體如此深入的理解嗎？

其實在視覺領(lǐng)域還有一個可供選擇的解決方案：深度圖。這是一種單通道灰度圖，包含了相機(jī)到物體的深度信息，同時提供了對于物體顏色不變的信息。并且我們還可以利用濾波器來消除背景噪聲，這在很多機(jī)器人任務(wù)上十分有效。接下來的文章中將會介紹研究人員如何結(jié)合深度學(xué)習(xí)和深度圖在以下三個項目中取得有效的成果：Dex-Net用于機(jī)器人抓取、物體分割和機(jī)器人鋪床的任務(wù)。

感知深度

深度圖一般在特定的視角下編碼了對于環(huán)境中物體的距離信息。近年來隨著計算機(jī)視覺的發(fā)展，深度感知領(lǐng)域也產(chǎn)生了很多進(jìn)展。

傳統(tǒng)獲取深度圖的方法是利用雙目立體視覺獲取視差信息從而得到環(huán)境的深度的。而今天大多使用的深度傳感器則是基于結(jié)構(gòu)光傳感器的原理，通過將已知模式的紅外光投影到環(huán)境并解算來實現(xiàn)深度的獲取。另一種方法是通過激光雷達(dá)來獲取環(huán)境精確的深度信息，但缺點是高昂的成本和成像速度。

所以Kinect的出現(xiàn)提供了一種消費級的RGB-D成像系統(tǒng)，可以通過硬件更快更便宜的獲取環(huán)境的深度信息。如今很多機(jī)器人系統(tǒng)中，比如FetchRobot和Toyoya的機(jī)器人都裝配有相似的感知系統(tǒng)，而且這一技術(shù)還在不斷改進(jìn)，Intel的realsense和Photoneo公司的產(chǎn)品都提供了更為優(yōu)異的表現(xiàn)。

在深度圖的幫助下，研究人員們可以使用深度信息幫助機(jī)器人導(dǎo)航、實時建圖和跟蹤、為室內(nèi)環(huán)境建模等任務(wù)。同時深度圖為機(jī)器人提供了距離障礙物的遠(yuǎn)近信息，這也使得它們在導(dǎo)航中獲得了壁障和定位的能力。

同時深度圖還被用于在游戲中實時地檢測、識別和定位人體的各個部分，移除造成模糊的因素（比如光線和衣服等）。更有研究人員利用模擬的深度圖像來引導(dǎo)機(jī)械臂接近物體。目前人們已經(jīng)可以利用圖形學(xué)的方法較為精確的通過模擬生成大量的深度數(shù)據(jù)了。

這些結(jié)果表明，對于某些任務(wù)深度圖可以編碼足夠多的有用信息和色彩不變信息用于幫助訓(xùn)練任務(wù)。下面將用三個例子來具體說明。

機(jī)器人抓取

抓取很多類從未見過的物體對于機(jī)器人來說依然是一個嚴(yán)峻的挑戰(zhàn)。盡管很多研究人員利用RGB圖像來完成這一任務(wù)，但需要耗費大量的時間來進(jìn)行訓(xùn)練。而最新進(jìn)展的關(guān)鍵在于可以利用渲染技術(shù)，基于幾何和相機(jī)位置，通過3D模型合成精確的深度圖。

Bair的Dexterity Network（Dex-Net）是一個綜合了算法、代碼和數(shù)據(jù)集的項目用于訓(xùn)練機(jī)器人的抓取策略，它結(jié)合了大規(guī)模的合成數(shù)據(jù)集、機(jī)器人模型和隨機(jī)采樣，以及深度學(xué)習(xí)技術(shù)。Dex-Net在抓取中引入了域隨機(jī)化的概念，集中于利用簡單的夾具來抓取復(fù)雜的物體。在先前的研究中，研究人員提出了670萬張圖片的虛擬數(shù)據(jù)集用于訓(xùn)練抓取質(zhì)量模型。目前他們將這一模型拓展到了深度圖上。

首先生成和增強(qiáng)大量的物體網(wǎng)格模型，隨后對于每個模型生成多種抓取位置，最后計算每一個物體及其抓取的魯棒性，并生成對應(yīng)的模擬深度圖。其中通過估計抓取成功的概率來計算魯棒性。

研究人員將Dex-Net拓展了新功能，可以自動生成用于物體模型抓取的改進(jìn)數(shù)據(jù)集。抓取同時定義了位姿角度和夾爪的深度。上圖描述了生成數(shù)據(jù)的流程。研究的目標(biāo)是訓(xùn)練出一個可以通過深度圖來檢測夾爪是否可以成功夾住物體的模型。

抓取質(zhì)量網(wǎng)絡(luò)的架構(gòu)

研究人員利用這一數(shù)據(jù)集訓(xùn)練了抓取質(zhì)量網(wǎng)絡(luò)（Grasp Quality,GQ-CNN），用于檢測每一次抓取成功的可能性。人們可以利用GQ-CNN檢測不同抓取方式，并從中選取概率最高的方案來使用。

2017年，Dex-Net拓展到了箱內(nèi)分揀任務(wù)（bin-picking），這需要從一堆無需的物體中一個個的分揀出物體。Bair的研究人員將bin-picking理解為部分觀測的馬爾科夫決策過程，同時利用仿真來生成物體堆進(jìn)行學(xué)習(xí)。通過仿真，可以得到物體位置的完整信息，并利用監(jiān)督策略對GQ-CNN進(jìn)行的微調(diào)，最后將學(xué)習(xí)到的策略用于ABB YuMi機(jī)器人上，實現(xiàn)了在僅僅利用深度圖的情況下在3mins內(nèi)分揀除了十個物體。下圖顯示了Dex-Net顯示的抓取點（紅點），其中第一行是真實數(shù)據(jù)，第二行是仿真數(shù)據(jù)。

箱內(nèi)物體分割

實例分割任務(wù)需要判斷圖像中的像素分屬于哪一個物體，它廣泛應(yīng)用于視覺任務(wù)和機(jī)器人感知中。例如機(jī)器人需要在箱子里抓取物體時，就需要先對其中的物體進(jìn)行分析以便區(qū)分不同物體。

先前的研究主要集中在利用RGB圖實現(xiàn)的Mask R-CNN上，但訓(xùn)練需要大量手工標(biāo)注的數(shù)據(jù)。同時用于訓(xùn)練Mask R-CNN的數(shù)據(jù)包含的物體個數(shù)有限，可能還不足以完成貨倉內(nèi)地分揀任務(wù)，對于微調(diào)所需要的數(shù)據(jù)也需要手工耗時耗力的得到。所以研究人員們提出可以放松算法的要求可以再得到物體的掩膜后再來預(yù)測類別，這樣就可以對大規(guī)模的物體預(yù)測掩膜，此時物體的幾何信息就顯得更加重要。

這一任務(wù)的數(shù)據(jù)現(xiàn)有相似的3D模型生成物體堆，再從中獲取精確的深度圖和對應(yīng)的掩膜圖

基于幾何的分割來說，我們可以利用仿真和渲染技術(shù)來獲取大規(guī)模類別豐富的，同時帶有標(biāo)簽的深度數(shù)據(jù)集。研究人員假設(shè)這些深度圖包含了用于分割的足夠信息，這主要是每個物體可以由深度圖中的像素邊界來進(jìn)行區(qū)分。利用1600個3D模型和pybullet物理引擎，生成了50k的箱內(nèi)物體堆深圖數(shù)據(jù)。由于物體已知，生成深度圖和掩膜的精度得到了有效的保證。最終利用這一深度數(shù)據(jù)集，研究人員訓(xùn)練出了SD Mask R-CNN網(wǎng)絡(luò)，從合成的深度圖中分割出每一個實例。

在實際中算法的表現(xiàn)，第一行是高精度數(shù)據(jù)第二行是低精度數(shù)據(jù)，最后一列是本算法的結(jié)果。

令人驚奇的是，這個沒有見過任何真實數(shù)據(jù)的SD Mask R-CNN表現(xiàn)超過了點云分割和精調(diào)過的Mask R-CNN。值得注意的是，真實數(shù)據(jù)和仿真數(shù)據(jù)的物體并不相同，這意味著SD Mask R-CNN確實能夠預(yù)測出新的物體掩膜，同時利用深度圖時可以減少主干網(wǎng)絡(luò)的大?。ú噬珗DResNet101，深度圖ResNet-35）。

實例分割被解耦成了分類和分割兩個任務(wù)。對于數(shù)據(jù)集中十個物體的分類，僅僅使用VGG在10mins內(nèi)就能訓(xùn)練達(dá)到95%的準(zhǔn)確率。這一工作證明SD Mask R-CNN可以與分類網(wǎng)絡(luò)串行工作，這使得對于不同物體集的訓(xùn)練變得容易。

總的來說，利用深度圖代替RGB圖實現(xiàn)分割給我們帶來了以下啟示：

- 深度編碼的幾何信息足以對物體進(jìn)行實例分割；

- 深度圖可以便捷迅速的生成，并且訓(xùn)練結(jié)果能有效遷移到真實數(shù)據(jù)上；

- 在不同物體間深度線索的表示更為一致，利用深度圖訓(xùn)練的網(wǎng)絡(luò)具有更好的泛化性。

機(jī)器人鋪床

機(jī)器人鋪床是一個典型的家庭應(yīng)用場景，它容錯性高、時間充裕同時也是人類不喜歡的工作。研究人員先前通過RGB圖像來訓(xùn)練機(jī)器人，而最近使用深度感知技術(shù)將鋪床的技能遷移到不同顏色和問題的毯子上。

雜亂的床，前四個為訓(xùn)練數(shù)據(jù)，后兩個彩色為測試數(shù)據(jù)。

機(jī)器人需要將鋪床分解成一下幾個任務(wù)，首先需要識別毯子的角，然后移動到合適的位置抓起這個角最大化毯子的面積（鋪開），最后在進(jìn)行折疊。再一次強(qiáng)調(diào)一個假設(shè)：深度圖中包含了鋪床任務(wù)中所需毯子角點足夠可靠的幾何信息。

為了收集訓(xùn)練數(shù)據(jù)，研究人員在毯子角上放置了紅色mark，利用機(jī)器人的RGB-D攝像頭就可以自動地獲取彩色和深度信息。隨后利用收集到的深度圖和對應(yīng)的角點信息來訓(xùn)練卷積網(wǎng)絡(luò)從不同的毯子布置中找到可以抓取的角點。

由于抓取點檢測和物體檢測任務(wù)類似，這里使用了YOLO模型作為預(yù)訓(xùn)練，并添加了幾層用于微調(diào)。模型在2018張深度數(shù)據(jù)上進(jìn)行了訓(xùn)練，結(jié)果顯示雖然YOLO適用于彩色場景檢測的，但依然可以基于它在深度圖上得到很好的結(jié)果。

深度圖帶來的額外優(yōu)勢是可以通過距離信息濾除干擾。

利用深度圖實現(xiàn)抓取點檢測的結(jié)果。結(jié)果顯示這種方法大大超過了基線，幾乎實現(xiàn)了與人類同樣的水準(zhǔn)。

上圖顯示了算法對于青色毯子抓取點的檢測結(jié)果。抓取網(wǎng)絡(luò)并沒有利用青色毯數(shù)據(jù)進(jìn)行訓(xùn)練，由于測試數(shù)據(jù)深度圖和訓(xùn)練的深度圖十分類似，即使不一樣的顏色也能獲得優(yōu)異的結(jié)果。隨著機(jī)器人移動到另一側(cè)，距機(jī)器人最近的抓取點也被很好的檢測出來。（RGB訓(xùn)練的抓取網(wǎng)絡(luò)表現(xiàn)就不如深度圖訓(xùn)練的網(wǎng)絡(luò)，因為訓(xùn)練數(shù)據(jù)都是白色床單。為了獲得更好的效果就需要投入更多顏色和紋理的床單采集數(shù)據(jù)。）

深度魅力

這些項目表明深度圖攜帶了足夠的信息支撐抓取點檢測、實例分割和變形物體角點檢測。隨著深度傳感器質(zhì)量和分辨率的提高，對于機(jī)器人也將變得日益重要。人們可以很便捷快速地合成深度圖，這種具有顏色不變性和豐富幾何信息的數(shù)據(jù)，同時可以充分利用其固有的特性來去除噪聲和干擾。同時深度圖比RGB維度更低，網(wǎng)絡(luò)更傾向于從中學(xué)習(xí)出邊緣和空間模式。