隨著機(jī)器人的應(yīng)用版圖從工廠不斷擴(kuò)張到商場、超市等服務(wù)領(lǐng)域,面對的作業(yè)環(huán)境也越來越復(fù)雜,對于產(chǎn)品的安全性、可靠性、智能化等要求明顯提高,而機(jī)器人要應(yīng)對這一變化,首先要做的不是對系統(tǒng)盲目的做加法,而是需要提升環(huán)境感知能力,構(gòu)建一張更“完美”的地圖。
長期以來,機(jī)器人使用的地圖主要為傳統(tǒng)的2D柵格地圖、拓?fù)涞貓D,用來指導(dǎo)機(jī)器人實現(xiàn)定位、導(dǎo)航、路徑規(guī)劃等功能,但這類地圖缺乏機(jī)器人用于理解環(huán)境、人機(jī)/物機(jī)交互等業(yè)務(wù)邏輯的高層次語義信息,使得機(jī)器人在智能避障、識別、交互方面有著天然劣勢,整體智能化水平不高,導(dǎo)航地圖亟待升級。
以應(yīng)用在商超、餐廳等場景下的服務(wù)機(jī)器人為例,場景特征表現(xiàn)為人員密集,且環(huán)境復(fù)雜度高,機(jī)器人作業(yè)時不僅要與人頻繁交互,還需要應(yīng)對密集的流動人群,不斷進(jìn)行動態(tài)避障或急停等安全規(guī)避動作,要高效完成這些基于環(huán)境變化、目標(biāo)需求產(chǎn)生的實時性任務(wù),意味著機(jī)器人不僅要能“看到”,還要能“看懂”,對周圍環(huán)境做到“了然于心”,傳統(tǒng)的柵格地圖、拓?fù)涞貓D顯然已無法滿足要求。
而要解決這類地圖問題,構(gòu)建一張包含3D信息、環(huán)境語義的3D語義地圖顯得越發(fā)關(guān)鍵。
與傳統(tǒng)地圖相同,3D語義地圖同樣用于機(jī)器人的基礎(chǔ)導(dǎo)航,不同的是,它的地圖模型是針對真實場景的三維環(huán)境重構(gòu),包含區(qū)域性場景信息及場景中每個獨(dú)立物體的屬性信息、空間中的三維模型、位姿信息等,使機(jī)器人在語義層次上理解環(huán)境信息,模仿人類大腦對環(huán)境理解的方式,從而為實現(xiàn)更高層次的智能化操作提供有效支持。
INDEMIND 3D語義地圖構(gòu)建技術(shù)
解決感知問題是構(gòu)建3D語義地圖的前提,因此,目前的3D語義地圖構(gòu)建技術(shù)在技術(shù)實現(xiàn)上大多采用“多線激光雷達(dá)+視覺/ToF/其他傳感器”的融合方案,以此提升環(huán)境感知能力,實現(xiàn)3D語義地圖構(gòu)建,但缺點(diǎn)是成本高昂,加之三維識別算法,場景切割,導(dǎo)致系統(tǒng)復(fù)雜性較高。而INDEMIND的3D語義地圖構(gòu)建在技術(shù)實現(xiàn)上則采用單視覺(雙目)sensor方案,借助算法優(yōu)勢,即可輸出媲美甚至超越激光融合方案的完整的場景3D語義信息。
INDEMIND的3D語義地圖構(gòu)建是基于INDEMIND自研的立體視覺技術(shù),通過對雙目視覺傳感器獲取到3D視覺點(diǎn)云信息進(jìn)行點(diǎn)云聚類,并結(jié)合邊緣端的嵌入式深度學(xué)習(xí)和VSLAM算法,可快速輸出個體性物體語義和區(qū)域性場景語義,實現(xiàn)3D語義地圖構(gòu)建。通過結(jié)合INDEMIND智能決策引擎,可實現(xiàn)智能避障、小區(qū)域局部作業(yè)、識別及人機(jī)/物機(jī)交互等各種高層次智能邏輯。
此外,由于真實場景中,無論是家庭、公司還是超市,大多擁有著3個及3個以上的細(xì)分場景,這意味著當(dāng)機(jī)器人收到指定房間作業(yè)任務(wù)后需要快速準(zhǔn)確地理解房間的功能屬性,找到對應(yīng)房間,并能根據(jù)不同房間的功能屬性進(jìn)行個性化作業(yè)。
因此,為了保證場景理解的準(zhǔn)確度,根據(jù)輸出的區(qū)域性場景語義和個體性物體語義,INDEMIND采用二者融合的方式實現(xiàn)場景理解。首先,根據(jù)獲取到的區(qū)域性場景語義信息,進(jìn)行整體特征識別;其次,會根據(jù)個體性物體語義識別,對場景中一系列獨(dú)立個體信息進(jìn)行識別,并作為場景特征標(biāo)志,最終通過二相疊加判斷,實現(xiàn)場景理解。
需要提到的是,目前在掃地機(jī)器人上應(yīng)用較為普遍的“單線激光雷達(dá)+視覺傳感器”的融合方案,雖然也能獲取到場景中的語義信息,但受限于傳感器限制,事實上只能識別到物體的二維信息,無法構(gòu)建3D語義地圖。
識別、避障、交互?3D語義地圖為機(jī)器人提供無限可能
3D語義地圖構(gòu)建技術(shù),除了能夠為機(jī)器人的自主導(dǎo)航提供基礎(chǔ)指導(dǎo),更能為識別、智能避障、交互等智能化操作的深入化開發(fā)提供了可能性。
基于INDEMIND立體視覺技術(shù)的區(qū)域性場景語義和個體化物體語義技術(shù),能夠快速提取環(huán)境中各類圖像特征,結(jié)合深度學(xué)習(xí)可立體識別行人、動物、固定/移動物體等個體性障礙物,以及樓梯、自動扶梯等危險場景,避免危險情況發(fā)生,如去年發(fā)生的機(jī)器人扶梯跌落事件。
同時,通過識別到與顯示匹配的障礙物3D信息,機(jī)器人可作出類似人類規(guī)避動作的精細(xì)化操作,能夠讓機(jī)器人有預(yù)判、有策略的實現(xiàn)智能避障。
此外,3D語義地圖通過對場景中獨(dú)立個體、房間信息做語義識別及物體分割,在交互上同樣能夠?qū)崿F(xiàn)精細(xì)化操作,以現(xiàn)有的掃地機(jī)器人為例,它的智能程度相對仍然較低,還停留在一些基礎(chǔ)的圖像識別和語音交互上,對于個性化的交互實現(xiàn)較粗糙,無法實現(xiàn)獨(dú)立的桌椅清掃等精細(xì)化交互,而3D語義地圖則為機(jī)器人人機(jī)/物機(jī)交互的深入升級提供了真實可操作性,如實現(xiàn)目標(biāo)跟蹤、局部清掃等。
審核編輯:湯梓紅
-
傳感器
+關(guān)注
關(guān)注
2542文章
50300瀏覽量
750254 -
機(jī)器人
+關(guān)注
關(guān)注
210文章
28011瀏覽量
205598 -
3D
+關(guān)注
關(guān)注
9文章
2843瀏覽量
107198
發(fā)布評論請先 登錄
相關(guān)推薦
評論