INDEMIND 3D語義地圖構(gòu)建技術(shù)在機(jī)器人上的應(yīng)用

隨著機(jī)器人的應(yīng)用版圖從工廠不斷擴(kuò)張到商場、超市等服務(wù)領(lǐng)域，面對的作業(yè)環(huán)境也越來越復(fù)雜，對于產(chǎn)品的安全性、可靠性、智能化等要求明顯提高，而機(jī)器人要應(yīng)對這一變化，首先要做的不是對系統(tǒng)盲目的做加法，而是需要提升環(huán)境感知能力，構(gòu)建一張更“完美”的地圖。

長期以來，機(jī)器人使用的地圖主要為傳統(tǒng)的2D柵格地圖、拓?fù)涞貓D，用來指導(dǎo)機(jī)器人實現(xiàn)定位、導(dǎo)航、路徑規(guī)劃等功能，但這類地圖缺乏機(jī)器人用于理解環(huán)境、人機(jī)/物機(jī)交互等業(yè)務(wù)邏輯的高層次語義信息，使得機(jī)器人在智能避障、識別、交互方面有著天然劣勢，整體智能化水平不高，導(dǎo)航地圖亟待升級。

以應(yīng)用在商超、餐廳等場景下的服務(wù)機(jī)器人為例，場景特征表現(xiàn)為人員密集，且環(huán)境復(fù)雜度高，機(jī)器人作業(yè)時不僅要與人頻繁交互，還需要應(yīng)對密集的流動人群，不斷進(jìn)行動態(tài)避障或急停等安全規(guī)避動作，要高效完成這些基于環(huán)境變化、目標(biāo)需求產(chǎn)生的實時性任務(wù)，意味著機(jī)器人不僅要能“看到”，還要能“看懂”，對周圍環(huán)境做到“了然于心”，傳統(tǒng)的柵格地圖、拓?fù)涞貓D顯然已無法滿足要求。

而要解決這類地圖問題，構(gòu)建一張包含3D信息、環(huán)境語義的3D語義地圖顯得越發(fā)關(guān)鍵。

與傳統(tǒng)地圖相同，3D語義地圖同樣用于機(jī)器人的基礎(chǔ)導(dǎo)航，不同的是，它的地圖模型是針對真實場景的三維環(huán)境重構(gòu)，包含區(qū)域性場景信息及場景中每個獨(dú)立物體的屬性信息、空間中的三維模型、位姿信息等，使機(jī)器人在語義層次上理解環(huán)境信息，模仿人類大腦對環(huán)境理解的方式，從而為實現(xiàn)更高層次的智能化操作提供有效支持。

INDEMIND 3D語義地圖構(gòu)建技術(shù)

解決感知問題是構(gòu)建3D語義地圖的前提，因此，目前的3D語義地圖構(gòu)建技術(shù)在技術(shù)實現(xiàn)上大多采用“多線激光雷達(dá)+視覺/ToF/其他傳感器”的融合方案,以此提升環(huán)境感知能力，實現(xiàn)3D語義地圖構(gòu)建，但缺點(diǎn)是成本高昂，加之三維識別算法，場景切割，導(dǎo)致系統(tǒng)復(fù)雜性較高。而INDEMIND的3D語義地圖構(gòu)建在技術(shù)實現(xiàn)上則采用單視覺(雙目)sensor方案，借助算法優(yōu)勢，即可輸出媲美甚至超越激光融合方案的完整的場景3D語義信息。

INDEMIND的3D語義地圖構(gòu)建是基于INDEMIND自研的立體視覺技術(shù)，通過對雙目視覺傳感器獲取到3D視覺點(diǎn)云信息進(jìn)行點(diǎn)云聚類，并結(jié)合邊緣端的嵌入式深度學(xué)習(xí)和VSLAM算法，可快速輸出個體性物體語義和區(qū)域性場景語義，實現(xiàn)3D語義地圖構(gòu)建。通過結(jié)合INDEMIND智能決策引擎，可實現(xiàn)智能避障、小區(qū)域局部作業(yè)、識別及人機(jī)/物機(jī)交互等各種高層次智能邏輯。

此外，由于真實場景中，無論是家庭、公司還是超市，大多擁有著3個及3個以上的細(xì)分場景，這意味著當(dāng)機(jī)器人收到指定房間作業(yè)任務(wù)后需要快速準(zhǔn)確地理解房間的功能屬性，找到對應(yīng)房間，并能根據(jù)不同房間的功能屬性進(jìn)行個性化作業(yè)。

因此，為了保證場景理解的準(zhǔn)確度，根據(jù)輸出的區(qū)域性場景語義和個體性物體語義，INDEMIND采用二者融合的方式實現(xiàn)場景理解。首先，根據(jù)獲取到的區(qū)域性場景語義信息，進(jìn)行整體特征識別;其次，會根據(jù)個體性物體語義識別，對場景中一系列獨(dú)立個體信息進(jìn)行識別，并作為場景特征標(biāo)志，最終通過二相疊加判斷，實現(xiàn)場景理解。

需要提到的是，目前在掃地機(jī)器人上應(yīng)用較為普遍的“單線激光雷達(dá)+視覺傳感器”的融合方案，雖然也能獲取到場景中的語義信息，但受限于傳感器限制，事實上只能識別到物體的二維信息，無法構(gòu)建3D語義地圖。

識別、避障、交互?3D語義地圖為機(jī)器人提供無限可能

3D語義地圖構(gòu)建技術(shù)，除了能夠為機(jī)器人的自主導(dǎo)航提供基礎(chǔ)指導(dǎo)，更能為識別、智能避障、交互等智能化操作的深入化開發(fā)提供了可能性。

基于INDEMIND立體視覺技術(shù)的區(qū)域性場景語義和個體化物體語義技術(shù)，能夠快速提取環(huán)境中各類圖像特征，結(jié)合深度學(xué)習(xí)可立體識別行人、動物、固定/移動物體等個體性障礙物，以及樓梯、自動扶梯等危險場景，避免危險情況發(fā)生，如去年發(fā)生的機(jī)器人扶梯跌落事件。

同時，通過識別到與顯示匹配的障礙物3D信息，機(jī)器人可作出類似人類規(guī)避動作的精細(xì)化操作，能夠讓機(jī)器人有預(yù)判、有策略的實現(xiàn)智能避障。

此外，3D語義地圖通過對場景中獨(dú)立個體、房間信息做語義識別及物體分割，在交互上同樣能夠?qū)崿F(xiàn)精細(xì)化操作，以現(xiàn)有的掃地機(jī)器人為例，它的智能程度相對仍然較低，還停留在一些基礎(chǔ)的圖像識別和語音交互上，對于個性化的交互實現(xiàn)較粗糙，無法實現(xiàn)獨(dú)立的桌椅清掃等精細(xì)化交互，而3D語義地圖則為機(jī)器人人機(jī)/物機(jī)交互的深入升級提供了真實可操作性，如實現(xiàn)目標(biāo)跟蹤、局部清掃等。

審核編輯：湯梓紅