0
導(dǎo)讀
抓取綜合方法是機器人抓取問題的核心,本文從抓取檢測、視覺伺服和動態(tài)抓取等角度進(jìn)行討論,提出了多種抓取方法。各位對機器人識別抓取感興趣的小伙伴,一定要來看一看!千萬別錯過~
目錄/ contents
1. 引言
1.1抓取綜合方法
1.2 基于視覺的機器人抓取系統(tǒng)
2. 抓取檢測、視覺伺服和動態(tài)抓取
2.1抓取檢測
2.2 視覺伺服控制
2.3動態(tài)抓取
3. 本文實現(xiàn)的方法
3.1網(wǎng)絡(luò)體系結(jié)構(gòu)
3.2 Cornell 抓取數(shù)據(jù)集
3.3 結(jié)果評估
3.4視覺伺服網(wǎng)絡(luò)體系結(jié)構(gòu)
3.5VS數(shù)據(jù)集
1
引言
找到理想抓取配置的抓取假設(shè)的子集包括:機器人將執(zhí)行的任務(wù)類型、目標(biāo)物體的特征、關(guān)于物體的先驗知識類型、機械爪類型,以及最后的抓取合成。
注:從本文中可以學(xué)習(xí)到視覺伺服的相關(guān)內(nèi)容,用于對動態(tài)目標(biāo)的跟蹤抓取或自動調(diào)整觀察姿態(tài)。因為觀察的角度不同,預(yù)測的抓取框位置也不同:抓取物品離相機位置越近,抓取預(yù)測越準(zhǔn)。
1.1
抓取綜合方法
抓取綜合方法是機器人抓取問題的核心,因為它涉及到在物體中尋找最佳抓取點的任務(wù)。這些是夾持器必須與物體接觸的點,以確保外力的作用不會導(dǎo)致物體不穩(wěn)定,并滿足一組抓取任務(wù)的相關(guān)標(biāo)準(zhǔn)。
抓取綜合方法通??煞譃榉治龇ê突跀?shù)據(jù)的方法。
分析法是指使用具有特定動力學(xué)行為的靈巧且穩(wěn)定的多指手構(gòu)造力閉合
基于數(shù)據(jù)的方法指建立在按某種標(biāo)準(zhǔn)的條件下,對抓取候選對象的搜索和對象分類的基礎(chǔ)上。(這一過程往往需要一些先驗經(jīng)驗)
1.2
基于視覺的機器人抓取系統(tǒng)
基于視覺的機器人抓取系統(tǒng)一般由四個主要步驟組成,即目標(biāo)物體定位、物體姿態(tài)估計、抓取檢測(合成)和抓取規(guī)劃。
一個基于卷積神經(jīng)網(wǎng)絡(luò)的系統(tǒng),一般可以同時執(zhí)行前三個步驟,該系統(tǒng)接收對象的圖像作為輸入,并預(yù)測抓取矩形作為輸出。
而抓取規(guī)劃階段,即機械手找到目標(biāo)的最佳路徑。它應(yīng)該能夠適應(yīng)工作空間的變化,并考慮動態(tài)對象,使用視覺反饋。
目前大多數(shù)機器人抓取任務(wù)的方法執(zhí)行一次性抓取檢測,無法響應(yīng)環(huán)境的變化。因此,在抓取系統(tǒng)中插入視覺反饋是可取的,因為它使抓取系統(tǒng)對感知噪聲、物體運動和運動學(xué)誤差具有魯棒性。
2
抓取檢測、視覺伺服和動態(tài)抓取
抓取計劃分兩步執(zhí)行:
首先作為一個視覺伺服控制器,以反應(yīng)性地適應(yīng)對象姿勢的變化。
其次,作為機器人逆運動學(xué)的一個內(nèi)部問題,除了與奇異性相關(guān)的限制外,機器人對物體的運動沒有任何限制。
2.1
抓取檢測
早期的抓取檢測方法一般為分析法,依賴于被抓取物體的幾何結(jié)構(gòu),在執(zhí)行時間和力估計方面存在許多問題。
此外,它們在許多方面都不同于基于數(shù)據(jù)的方法。
基于數(shù)據(jù)的方法:Jiang、Moseson和Saxena等人僅使用圖像,從五個維度提出了機器人抓取器閉合前的位置和方向表示。
如下圖,該五維表示足以對抓取姿勢的七維表示進(jìn)行編碼[16],因為假定圖像平面的法線近似。因此,三維方向僅由給出。
本文的工作重點是開發(fā)一種簡單高效的CNN,用于預(yù)測抓取矩形。
在訓(xùn)練和測試步驟中,所提出的網(wǎng)絡(luò)足夠輕,可以聯(lián)合應(yīng)用第二個CNN,解決視覺伺服控制任務(wù)。因此,整個系統(tǒng)可以在機器人應(yīng)用中實時執(zhí)行,而不會降低兩項任務(wù)的精度。
2.2
視覺伺服控制
經(jīng)典的視覺伺服(VS)策略要求提取視覺特征作為控制律的輸入。我們必須正確選擇這些特征,因為控制的魯棒性與此選擇直接相關(guān)。
最新的VS技術(shù)探索了深度學(xué)習(xí)算法,以同時克服特征提取和跟蹤、泛化、系統(tǒng)的先驗知識以及在某些情況下處理時間等問題。
Zhang等人開發(fā)了第一項工作,證明了在沒有任何配置先驗知識的情況下,從原始像素圖像生成控制器的可能性。作者使用Deep Q-Network ,通過深度視覺運動策略控制機器人的3個關(guān)節(jié),執(zhí)行到達(dá)目標(biāo)的任務(wù)。訓(xùn)練是在模擬中進(jìn)行的,沒有遇到真實的圖像。
遵循強化學(xué)習(xí)方法的工作使用確定性策略梯度設(shè)計新的基于圖像的VS或Fuzzy Q-Learning,依靠特征提取,控制多轉(zhuǎn)子空中機器人。
在另一種方法中,一些研究視覺伺服深度學(xué)習(xí)的工作是通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行的。CNN的泛化能力優(yōu)于RL,因為RL學(xué)習(xí)的參數(shù)是特定于環(huán)境和任務(wù)的。
本文設(shè)計了四種卷積神經(jīng)網(wǎng)絡(luò)模型作為端到端視覺伺服控制器的潛在候選。網(wǎng)絡(luò)不使用參考圖像和當(dāng)前圖像以外的任何類型的附加信息來回歸控制信號。
因此,所提出的網(wǎng)絡(luò)作為實際上的控制器工作,預(yù)測速度信號,而不是相對姿態(tài)。
2.3
動態(tài)抓取
學(xué)習(xí)感知行為的視覺表征,遵循反應(yīng)范式,直接從感覺輸入生成控制信號,無需高級推理,有助于動態(tài)抓取。
強化學(xué)習(xí)方法適用于特定類型的對象,并且仍然依賴于某種先驗知識,因此,最近大量研究探索了將深度學(xué)習(xí)作為解決閉環(huán)抓取問題的方法。
Levine等人提出了一種基于兩個組件的抓取系統(tǒng)。第一部分是預(yù)測CNN,其接收圖像和運動命令作為輸入,并輸出通過執(zhí)行這樣的命令,所產(chǎn)生的抓取將是令人滿意的概率。第二個部分是視覺伺服功能。這將使用預(yù)測CNN來選擇將持續(xù)控制機器人成功抓取的命令。這稱為是深度強化學(xué)習(xí),需要很久的訓(xùn)練時間。
2019年,Morrison, Corke 和 Leitner 開發(fā)了一種閉環(huán)抓取系統(tǒng),在這種系統(tǒng)中,抓取檢測和視覺伺服不是同時學(xué)習(xí)的。作者使用完全CNN獲取抓取點,并應(yīng)用基于位置的視覺伺服,使抓取器的姿勢與預(yù)測的抓取姿勢相匹配。
3
本文實現(xiàn)的方法
VS的目的是通過將相機連續(xù)獲得的圖像與參考圖像進(jìn)行比較,引導(dǎo)操縱器到達(dá)機器人能夠完全看到物體的位置,從而滿足抓取檢測條件。因此,該方法的應(yīng)用涵蓋了所有情況,其中機器人操作器(相機安裝在手眼模式下)必須跟蹤和抓取對象。
該系統(tǒng)包括三個階段:設(shè)計階段、測試階段和運行階段。第一個是基于CNN架構(gòu)的設(shè)計和訓(xùn)練,以及數(shù)據(jù)集的收集和處理。在第二階段,使用驗證集獲得離線結(jié)果,并根據(jù)其準(zhǔn)確性、速度和應(yīng)用領(lǐng)域進(jìn)行評估。第三階段涉及在機器人上測試經(jīng)過訓(xùn)練的網(wǎng)絡(luò),以評估其在實時和現(xiàn)實應(yīng)用中的充分性。
在運行階段,系統(tǒng)運行的要求是事先獲得目標(biāo)對象的圖像,該圖像將被VS用作設(shè)定點。只要控制信號的L1范數(shù)大于某個閾值,則執(zhí)行控制回路。
單個參考圖像作為視覺伺服CNN的輸入之一呈現(xiàn)給系統(tǒng)。相機當(dāng)前獲取的圖像作為該網(wǎng)絡(luò)的第二個輸入,并作為抓取CNN的輸入。這兩個網(wǎng)絡(luò)都連續(xù)運行,因為抓取CNN實時預(yù)測矩形以進(jìn)行監(jiān)控,VS網(wǎng)絡(luò)執(zhí)行機器人姿勢的實時控制。
VS CNN預(yù)測一個速度信號,該信號乘以比例增益,以應(yīng)用于相機中。機器人的內(nèi)部控制器尋找保證相機中預(yù)測速度的關(guān)節(jié)速度。在每次循環(huán)執(zhí)行時,根據(jù)機器人的當(dāng)前位置更新當(dāng)前圖像,只要控制信號不收斂,該循環(huán)就會重復(fù)。
當(dāng)滿足停止條件時,抓取網(wǎng)絡(luò)的預(yù)測映射到世界坐標(biāo)系。機器人通過逆運動學(xué)得到并到達(dá)預(yù)測點,然后關(guān)閉夾持器。
3.1
網(wǎng)絡(luò)體系結(jié)構(gòu)
該卷積網(wǎng)絡(luò)架構(gòu)被用于抓取檢測。網(wǎng)絡(luò)接收224×224×3的RGB圖像作為輸入,無深度信息。
layer 1 由32個3×3卷積組成,layer 2 包含164個卷積。在這兩種情況下,卷積運算都是通過步長2和零填充(zero-padding)執(zhí)行的,然后是批標(biāo)準(zhǔn)化(batch normalization)和2×2最大池化。layer 3 包含96個卷積,其中卷積使用步長1和零填充執(zhí)行,然后僅執(zhí)行批標(biāo)準(zhǔn)化。layer 4 ,也是最后一層,卷積層由128個卷積組成,以步長1執(zhí)行,然后是2×2最大池化。
在最后一層卷積之后,生成的特征映射在包含4608個元素的一維向量中被展開,進(jìn)一步傳遞到兩個全連接(FC)層,每個層有256個神經(jīng)元。在這些層次之間,訓(xùn)練期間考慮50%的dropout rate。
最后,輸出層由5個神經(jīng)元組成,對應(yīng)于編碼抓取矩形的**值。在所有層中,使用的激活函數(shù)都是ReLU**,但在輸出層中使用線性函數(shù)的情況除外。
3.2
Cornell 抓取數(shù)據(jù)集
為了對數(shù)據(jù)集真值進(jìn)行編碼,使用四個頂點的和坐標(biāo)編譯抓取矩形。
和參數(shù)分別表示矩形中心點的和坐標(biāo),可從以下公式獲得:
計算夾持器開口和高度,同樣根據(jù)四個頂點計算:
最后,表示夾持器相對于水平軸方向的由下式給出:
3.3
結(jié)果評估
預(yù)測矩形()和真值矩形()之間的角度差必須在30度以內(nèi)。
雅卡爾指數(shù)(交并比)需要大于0.25,而不是像一般那樣“達(dá)到0.25即可”。
3.4
視覺伺服網(wǎng)絡(luò)體系結(jié)構(gòu)
與抓取不同,設(shè)計用于執(zhí)行機械手視覺伺服控制的網(wǎng)絡(luò)接收兩個圖像作為輸入,并且必須回歸六個值,考慮到線性和角度相機速度。
這些值也可以分為兩個輸出,共有四個模型處理VS任務(wù)。
模型1-直接回歸(最終實驗效果最佳)。它基本上與抓取網(wǎng)絡(luò)相同,除了在第三卷積層中包含最大池化和不同的輸入維度,這導(dǎo)致特征圖上的比例差異相同。
模型2-任務(wù)特定回歸。網(wǎng)絡(luò)輸入被串聯(lián),第三組特征圖由兩個獨立的層序列處理(多任務(wù)網(wǎng)絡(luò))。因此,網(wǎng)絡(luò)以兩個3D矢量的形式預(yù)測6D速度矢量。具體來說,該結(jié)構(gòu)由一個共享編碼器和兩個特定解碼器組成 - 一個用于線速度,另一個用于角速度。
模型3-串聯(lián)特征的直接回歸和模型4-相關(guān)特征的直接回歸,兩個模型的結(jié)構(gòu)類似,通過關(guān)聯(lián)運算符()區(qū)分。
模型3簡單連接;模型4使用相關(guān)層。
模型3簡單地由第三個卷積層產(chǎn)生的特征映射連接,因此第四個層的輸入深度是原來的兩倍。而模型4有一個相關(guān)層,幫助網(wǎng)絡(luò)找到每個圖像的特征表示之間的對應(yīng)關(guān)系。原始相關(guān)層是flow network FlowNet的結(jié)構(gòu)單元。
3.5
VS數(shù)據(jù)集
該數(shù)據(jù)集能夠有效地捕獲機器人操作環(huán)境的屬性,具有足夠的多樣性,以確保泛化。
機器人以參考姿態(tài)為中心的高斯分布的不同姿態(tài),具有不同的標(biāo)準(zhǔn)偏差(SD)。
下表為參考姿勢(分布的平均值)和機器人假設(shè)的標(biāo)準(zhǔn)偏差集(SD)。
SD選擇考慮了機器人在VS期間必須執(zhí)行的預(yù)期位移值。
從高SD獲得的圖像有助于網(wǎng)絡(luò)了解機器人產(chǎn)生大位移時圖像空間中產(chǎn)生的變化。
當(dāng)參考圖像和當(dāng)前圖像非常接近時,從低SD獲得的實例能夠減少參考圖像和當(dāng)前圖像之間的誤差,從而在穩(wěn)態(tài)下獲得良好的精度。
平均SD值有助于網(wǎng)絡(luò)在大部分VS執(zhí)行期間進(jìn)行預(yù)測。
獲得數(shù)據(jù)后,數(shù)據(jù)集以**的形式構(gòu)造,其中圖像為I**,****是拍攝該圖像時對應(yīng)的相機姿態(tài)。
為泰特-布萊恩角內(nèi)旋(按照變換)
已處理數(shù)據(jù)集的每個實例都采用()表示。是選擇作為所需圖像的隨機實例;選擇另一個實例作為當(dāng)前圖像;是二者的變換。
通過齊次變換矩陣形式表示每個姿勢(由平移和歐拉角表示)來實現(xiàn)(和),然后獲得
最后,對于實際上是控制器的網(wǎng)絡(luò),其目的是其預(yù)測相機的速度信號,即:E控制信號。 被轉(zhuǎn)化為
是比例相機速度。由于在確定標(biāo)記比例速度時不考慮增益,因此使用了周期性項,并且在控制執(zhí)行期間必須對增益進(jìn)行后驗調(diào)整。
速度由表示:
其中,是旋轉(zhuǎn)矩陣;****同一矩陣第i行和第j列的元素;是與當(dāng)前相機位置到期望相機位置的平移向量;是比例增益(初始設(shè)置為1)。
審核編輯 :李倩
-
機器人
+關(guān)注
關(guān)注
210文章
28012瀏覽量
205613 -
圖像
+關(guān)注
關(guān)注
2文章
1078瀏覽量
40359 -
視覺
+關(guān)注
關(guān)注
1文章
145瀏覽量
23835
原文標(biāo)題:【機器人識別抓取綜述】基于視覺的機器人抓取—從物體定位、物體姿態(tài)估計到平行抓取器抓取估計
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論