基于視覺的機器人抓取系統(tǒng)

0

導(dǎo)讀

抓取綜合方法是機器人抓取問題的核心，本文從抓取檢測、視覺伺服和動態(tài)抓取等角度進(jìn)行討論，提出了多種抓取方法。各位對機器人識別抓取感興趣的小伙伴，一定要來看一看！千萬別錯過~

目錄/ contents

1. 引言

1.1抓取綜合方法

1.2 基于視覺的機器人抓取系統(tǒng)

2. 抓取檢測、視覺伺服和動態(tài)抓取

2.1抓取檢測

2.2 視覺伺服控制

2.3動態(tài)抓取

3. 本文實現(xiàn)的方法

3.1網(wǎng)絡(luò)體系結(jié)構(gòu)

3.2 Cornell 抓取數(shù)據(jù)集

3.3 結(jié)果評估

3.4視覺伺服網(wǎng)絡(luò)體系結(jié)構(gòu)

3.5VS數(shù)據(jù)集

1

引言

找到理想抓取配置的抓取假設(shè)的子集包括：機器人將執(zhí)行的任務(wù)類型、目標(biāo)物體的特征、關(guān)于物體的先驗知識類型、機械爪類型，以及最后的抓取合成。

注：從本文中可以學(xué)習(xí)到視覺伺服的相關(guān)內(nèi)容，用于對動態(tài)目標(biāo)的跟蹤抓取或自動調(diào)整觀察姿態(tài)。因為觀察的角度不同，預(yù)測的抓取框位置也不同：抓取物品離相機位置越近，抓取預(yù)測越準(zhǔn)。

1.1

抓取綜合方法

抓取綜合方法是機器人抓取問題的核心，因為它涉及到在物體中尋找最佳抓取點的任務(wù)。這些是夾持器必須與物體接觸的點，以確保外力的作用不會導(dǎo)致物體不穩(wěn)定，并滿足一組抓取任務(wù)的相關(guān)標(biāo)準(zhǔn)。

抓取綜合方法通?？煞譃榉治龇ê突跀?shù)據(jù)的方法。

分析法是指使用具有特定動力學(xué)行為的靈巧且穩(wěn)定的多指手構(gòu)造力閉合

基于數(shù)據(jù)的方法指建立在按某種標(biāo)準(zhǔn)的條件下，對抓取候選對象的搜索和對象分類的基礎(chǔ)上。（這一過程往往需要一些先驗經(jīng)驗）

1.2

基于視覺的機器人抓取系統(tǒng)

基于視覺的機器人抓取系統(tǒng)一般由四個主要步驟組成，即目標(biāo)物體定位、物體姿態(tài)估計、抓取檢測（合成）和抓取規(guī)劃。

一個基于卷積神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，一般可以同時執(zhí)行前三個步驟，該系統(tǒng)接收對象的圖像作為輸入，并預(yù)測抓取矩形作為輸出。

而抓取規(guī)劃階段，即機械手找到目標(biāo)的最佳路徑。它應(yīng)該能夠適應(yīng)工作空間的變化，并考慮動態(tài)對象，使用視覺反饋。

目前大多數(shù)機器人抓取任務(wù)的方法執(zhí)行一次性抓取檢測，無法響應(yīng)環(huán)境的變化。因此，在抓取系統(tǒng)中插入視覺反饋是可取的，因為它使抓取系統(tǒng)對感知噪聲、物體運動和運動學(xué)誤差具有魯棒性。

2

抓取檢測、視覺伺服和動態(tài)抓取

抓取計劃分兩步執(zhí)行：

首先作為一個視覺伺服控制器，以反應(yīng)性地適應(yīng)對象姿勢的變化。

其次，作為機器人逆運動學(xué)的一個內(nèi)部問題，除了與奇異性相關(guān)的限制外，機器人對物體的運動沒有任何限制。

2.1

抓取檢測

早期的抓取檢測方法一般為分析法，依賴于被抓取物體的幾何結(jié)構(gòu)，在執(zhí)行時間和力估計方面存在許多問題。

此外，它們在許多方面都不同于基于數(shù)據(jù)的方法。

基于數(shù)據(jù)的方法：Jiang、Moseson和Saxena等人僅使用圖像，從五個維度提出了機器人抓取器閉合前的位置和方向表示。

如下圖，該五維表示足以對抓取姿勢的七維表示進(jìn)行編碼[16]，因為假定圖像平面的法線近似。因此，三維方向僅由給出。

本文的工作重點是開發(fā)一種簡單高效的CNN，用于預(yù)測抓取矩形。

在訓(xùn)練和測試步驟中，所提出的網(wǎng)絡(luò)足夠輕，可以聯(lián)合應(yīng)用第二個CNN，解決視覺伺服控制任務(wù)。因此，整個系統(tǒng)可以在機器人應(yīng)用中實時執(zhí)行，而不會降低兩項任務(wù)的精度。

2.2

視覺伺服控制

經(jīng)典的視覺伺服（VS）策略要求提取視覺特征作為控制律的輸入。我們必須正確選擇這些特征，因為控制的魯棒性與此選擇直接相關(guān)。

最新的VS技術(shù)探索了深度學(xué)習(xí)算法，以同時克服特征提取和跟蹤、泛化、系統(tǒng)的先驗知識以及在某些情況下處理時間等問題。

Zhang等人開發(fā)了第一項工作，證明了在沒有任何配置先驗知識的情況下，從原始像素圖像生成控制器的可能性。作者使用Deep Q-Network ，通過深度視覺運動策略控制機器人的3個關(guān)節(jié)，執(zhí)行到達(dá)目標(biāo)的任務(wù)。訓(xùn)練是在模擬中進(jìn)行的，沒有遇到真實的圖像。

遵循強化學(xué)習(xí)方法的工作使用確定性策略梯度設(shè)計新的基于圖像的VS或Fuzzy Q-Learning，依靠特征提取，控制多轉(zhuǎn)子空中機器人。

在另一種方法中，一些研究視覺伺服深度學(xué)習(xí)的工作是通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的。CNN的泛化能力優(yōu)于RL，因為RL學(xué)習(xí)的參數(shù)是特定于環(huán)境和任務(wù)的。

本文設(shè)計了四種卷積神經(jīng)網(wǎng)絡(luò)模型作為端到端視覺伺服控制器的潛在候選。網(wǎng)絡(luò)不使用參考圖像和當(dāng)前圖像以外的任何類型的附加信息來回歸控制信號。

因此，所提出的網(wǎng)絡(luò)作為實際上的控制器工作，預(yù)測速度信號，而不是相對姿態(tài)。

2.3

動態(tài)抓取

學(xué)習(xí)感知行為的視覺表征，遵循反應(yīng)范式，直接從感覺輸入生成控制信號，無需高級推理，有助于動態(tài)抓取。

強化學(xué)習(xí)方法適用于特定類型的對象，并且仍然依賴于某種先驗知識，因此，最近大量研究探索了將深度學(xué)習(xí)作為解決閉環(huán)抓取問題的方法。

Levine等人提出了一種基于兩個組件的抓取系統(tǒng)。第一部分是預(yù)測CNN，其接收圖像和運動命令作為輸入，并輸出通過執(zhí)行這樣的命令，所產(chǎn)生的抓取將是令人滿意的概率。第二個部分是視覺伺服功能。這將使用預(yù)測CNN來選擇將持續(xù)控制機器人成功抓取的命令。這稱為是深度強化學(xué)習(xí)，需要很久的訓(xùn)練時間。

2019年，Morrison, Corke 和 Leitner 開發(fā)了一種閉環(huán)抓取系統(tǒng)，在這種系統(tǒng)中，抓取檢測和視覺伺服不是同時學(xué)習(xí)的。作者使用完全CNN獲取抓取點，并應(yīng)用基于位置的視覺伺服，使抓取器的姿勢與預(yù)測的抓取姿勢相匹配。

3

本文實現(xiàn)的方法

VS的目的是通過將相機連續(xù)獲得的圖像與參考圖像進(jìn)行比較，引導(dǎo)操縱器到達(dá)機器人能夠完全看到物體的位置，從而滿足抓取檢測條件。因此，該方法的應(yīng)用涵蓋了所有情況，其中機器人操作器（相機安裝在手眼模式下）必須跟蹤和抓取對象。

該系統(tǒng)包括三個階段：設(shè)計階段、測試階段和運行階段。第一個是基于CNN架構(gòu)的設(shè)計和訓(xùn)練，以及數(shù)據(jù)集的收集和處理。在第二階段，使用驗證集獲得離線結(jié)果，并根據(jù)其準(zhǔn)確性、速度和應(yīng)用領(lǐng)域進(jìn)行評估。第三階段涉及在機器人上測試經(jīng)過訓(xùn)練的網(wǎng)絡(luò)，以評估其在實時和現(xiàn)實應(yīng)用中的充分性。

在運行階段，系統(tǒng)運行的要求是事先獲得目標(biāo)對象的圖像，該圖像將被VS用作設(shè)定點。只要控制信號的L1范數(shù)大于某個閾值，則執(zhí)行控制回路。

單個參考圖像作為視覺伺服CNN的輸入之一呈現(xiàn)給系統(tǒng)。相機當(dāng)前獲取的圖像作為該網(wǎng)絡(luò)的第二個輸入，并作為抓取CNN的輸入。這兩個網(wǎng)絡(luò)都連續(xù)運行，因為抓取CNN實時預(yù)測矩形以進(jìn)行監(jiān)控，VS網(wǎng)絡(luò)執(zhí)行機器人姿勢的實時控制。

VS CNN預(yù)測一個速度信號，該信號乘以比例增益，以應(yīng)用于相機中。機器人的內(nèi)部控制器尋找保證相機中預(yù)測速度的關(guān)節(jié)速度。在每次循環(huán)執(zhí)行時，根據(jù)機器人的當(dāng)前位置更新當(dāng)前圖像，只要控制信號不收斂，該循環(huán)就會重復(fù)。

當(dāng)滿足停止條件時，抓取網(wǎng)絡(luò)的預(yù)測映射到世界坐標(biāo)系。機器人通過逆運動學(xué)得到并到達(dá)預(yù)測點，然后關(guān)閉夾持器。

3.1

網(wǎng)絡(luò)體系結(jié)構(gòu)

該卷積網(wǎng)絡(luò)架構(gòu)被用于抓取檢測。網(wǎng)絡(luò)接收224×224×3的RGB圖像作為輸入，無深度信息。

layer 1 由32個3×3卷積組成，layer 2 包含164個卷積。在這兩種情況下，卷積運算都是通過步長2和零填充（zero-padding）執(zhí)行的，然后是批標(biāo)準(zhǔn)化（batch normalization）和2×2最大池化。layer 3 包含96個卷積，其中卷積使用步長1和零填充執(zhí)行，然后僅執(zhí)行批標(biāo)準(zhǔn)化。layer 4 ，也是最后一層，卷積層由128個卷積組成，以步長1執(zhí)行，然后是2×2最大池化。

在最后一層卷積之后，生成的特征映射在包含4608個元素的一維向量中被展開，進(jìn)一步傳遞到兩個全連接（FC）層，每個層有256個神經(jīng)元。在這些層次之間，訓(xùn)練期間考慮50%的dropout rate。

最后，輸出層由5個神經(jīng)元組成，對應(yīng)于編碼抓取矩形的**值。在所有層中，使用的激活函數(shù)都是ReLU**，但在輸出層中使用線性函數(shù)的情況除外。

3.2

Cornell 抓取數(shù)據(jù)集

為了對數(shù)據(jù)集真值進(jìn)行編碼，使用四個頂點的和坐標(biāo)編譯抓取矩形。

和參數(shù)分別表示矩形中心點的和坐標(biāo)，可從以下公式獲得：

計算夾持器開口和高度，同樣根據(jù)四個頂點計算：

最后，表示夾持器相對于水平軸方向的由下式給出：

3.3

結(jié)果評估

預(yù)測矩形()和真值矩形()之間的角度差必須在30度以內(nèi)。

雅卡爾指數(shù)（交并比）需要大于0.25，而不是像一般那樣“達(dá)到0.25即可”。

3.4

視覺伺服網(wǎng)絡(luò)體系結(jié)構(gòu)

與抓取不同，設(shè)計用于執(zhí)行機械手視覺伺服控制的網(wǎng)絡(luò)接收兩個圖像作為輸入，并且必須回歸六個值，考慮到線性和角度相機速度。

這些值也可以分為兩個輸出，共有四個模型處理VS任務(wù)。

模型1-直接回歸(最終實驗效果最佳)。它基本上與抓取網(wǎng)絡(luò)相同，除了在第三卷積層中包含最大池化和不同的輸入維度，這導(dǎo)致特征圖上的比例差異相同。

模型2-任務(wù)特定回歸。網(wǎng)絡(luò)輸入被串聯(lián)，第三組特征圖由兩個獨立的層序列處理(多任務(wù)網(wǎng)絡(luò))。因此，網(wǎng)絡(luò)以兩個3D矢量的形式預(yù)測6D速度矢量。具體來說，該結(jié)構(gòu)由一個共享編碼器和兩個特定解碼器組成 - 一個用于線速度，另一個用于角速度。

模型3-串聯(lián)特征的直接回歸和模型4-相關(guān)特征的直接回歸，兩個模型的結(jié)構(gòu)類似，通過關(guān)聯(lián)運算符（）區(qū)分。

模型3簡單連接；模型4使用相關(guān)層。

模型3簡單地由第三個卷積層產(chǎn)生的特征映射連接，因此第四個層的輸入深度是原來的兩倍。而模型4有一個相關(guān)層，幫助網(wǎng)絡(luò)找到每個圖像的特征表示之間的對應(yīng)關(guān)系。原始相關(guān)層是flow network FlowNet的結(jié)構(gòu)單元。

3.5

VS數(shù)據(jù)集

該數(shù)據(jù)集能夠有效地捕獲機器人操作環(huán)境的屬性，具有足夠的多樣性，以確保泛化。

機器人以參考姿態(tài)為中心的高斯分布的不同姿態(tài)，具有不同的標(biāo)準(zhǔn)偏差（SD）。

下表為參考姿勢（分布的平均值）和機器人假設(shè)的標(biāo)準(zhǔn)偏差集（SD）。

SD選擇考慮了機器人在VS期間必須執(zhí)行的預(yù)期位移值。

從高SD獲得的圖像有助于網(wǎng)絡(luò)了解機器人產(chǎn)生大位移時圖像空間中產(chǎn)生的變化。

當(dāng)參考圖像和當(dāng)前圖像非常接近時，從低SD獲得的實例能夠減少參考圖像和當(dāng)前圖像之間的誤差，從而在穩(wěn)態(tài)下獲得良好的精度。

平均SD值有助于網(wǎng)絡(luò)在大部分VS執(zhí)行期間進(jìn)行預(yù)測。

獲得數(shù)據(jù)后，數(shù)據(jù)集以**的形式構(gòu)造，其中圖像為I**，****是拍攝該圖像時對應(yīng)的相機姿態(tài)。

為泰特-布萊恩角內(nèi)旋（按照變換）

已處理數(shù)據(jù)集的每個實例都采用()表示。是選擇作為所需圖像的隨機實例；選擇另一個實例作為當(dāng)前圖像；是二者的變換。

通過齊次變換矩陣形式表示每個姿勢（由平移和歐拉角表示）來實現(xiàn)（和），然后獲得

最后，對于實際上是控制器的網(wǎng)絡(luò)，其目的是其預(yù)測相機的速度信號，即：E控制信號。 被轉(zhuǎn)化為

是比例相機速度。由于在確定標(biāo)記比例速度時不考慮增益，因此使用了周期性項，并且在控制執(zhí)行期間必須對增益進(jìn)行后驗調(diào)整。

速度由表示：

其中，是旋轉(zhuǎn)矩陣；****同一矩陣第i行和第j列的元素;是與當(dāng)前相機位置到期望相機位置的平移向量；是比例增益（初始設(shè)置為1）。

審核編輯 ：李倩