Google移動(dòng)端3D識(shí)別方案Objectron發(fā)布，可助力機(jī)器人實(shí)時(shí)規(guī)避障礙

Google近日發(fā)布了全新的移動(dòng)端3D識(shí)別方案Objectron，該方案可在2D圖像中發(fā)現(xiàn)物體并通過AI模型估算其位置、方向和尺寸。Google表示，Objectron對(duì)機(jī)器人技術(shù)、自動(dòng)駕駛汽車、圖像檢索和AR技術(shù)影響深遠(yuǎn)，例如，其可以幫助工廠車間的機(jī)器人實(shí)時(shí)規(guī)避障礙。

目前，跟蹤3D對(duì)象是一個(gè)棘手的問題，尤其是在處理有限的計(jì)算資源時(shí)。由于缺乏數(shù)據(jù)以及物體的外觀和形狀的多樣性，當(dāng)僅有的可用圖像為2D時(shí)，情況會(huì)變得更糟。

為此，Objectron研發(fā)團(tuán)隊(duì)開發(fā)了一種圖片標(biāo)記工具，該工具可以通過分屏視角顯示2D視頻幀，支持標(biāo)記者使用分屏視圖顯示2D視頻幀來標(biāo)記對(duì)象的3D邊界框（即矩形邊框）。這些3D邊界框?qū)B加在點(diǎn)云數(shù)據(jù)、攝像頭畫面和識(shí)別到的平面上。

標(biāo)記者在3D視圖中標(biāo)記3D邊界框后，可以在2D視頻幀中進(jìn)行驗(yàn)證，而對(duì)于靜態(tài)圖像，標(biāo)記者只需在單個(gè)幀中標(biāo)記目標(biāo)對(duì)象即可。標(biāo)記工具還使用AR session數(shù)據(jù)中的實(shí)際攝像頭信息來確定該物體在所有幀中的位置。

為了補(bǔ)充現(xiàn)實(shí)世界中的數(shù)據(jù)以提高AI模型預(yù)測(cè)的準(zhǔn)確性，Google研發(fā)團(tuán)隊(duì)開發(fā)了一種引擎，將虛擬對(duì)象放置到包含AR會(huì)話數(shù)據(jù)的場(chǎng)景中，這樣就可以使用攝像機(jī)圖像檢測(cè)到的平面區(qū)以及預(yù)測(cè)的光線，來生成與場(chǎng)景匹配的光照在物理中的位置，從而產(chǎn)生高質(zhì)量的合成數(shù)據(jù)。在驗(yàn)證測(cè)試中，綜合數(shù)據(jù)的準(zhǔn)確性提高了約10％。