一種動(dòng)態(tài)環(huán)境下的直接視覺(jué)里程計(jì)

引言

大部分SLAM系統(tǒng)都應(yīng)用了靜態(tài)環(huán)境假設(shè)，這使得它們難以在復(fù)雜動(dòng)態(tài)環(huán)境中部署。此外，傳統(tǒng)的基于學(xué)習(xí)的SLAM方法往往都是利用目標(biāo)檢測(cè)或語(yǔ)義分割剔除動(dòng)態(tài)物體上的特征，但這樣有兩個(gè)弊端：其一是實(shí)際環(huán)境中的動(dòng)態(tài)物體不一定被預(yù)訓(xùn)練，另一是算法無(wú)法區(qū)分"動(dòng)態(tài)物體"和"靜止但可能移動(dòng)的物體"。

2. 摘要

基于學(xué)習(xí)的視覺(jué)里程計(jì)(VO)算法在常見(jiàn)的靜態(tài)場(chǎng)景中取得了顯著的性能，受益于高容量模型和大規(guī)模注釋數(shù)據(jù)，但在動(dòng)態(tài)、人口稠密的環(huán)境中往往會(huì)失敗。語(yǔ)義分割主要用于在估計(jì)相機(jī)運(yùn)動(dòng)之前丟棄動(dòng)態(tài)關(guān)聯(lián)，但是以丟棄靜態(tài)特征為代價(jià)，并且難以擴(kuò)展到看不見(jiàn)的類別。

在本文中，我們利用相機(jī)自我運(yùn)動(dòng)和運(yùn)動(dòng)分割之間的相互依賴性，并表明這兩者可以在一個(gè)單一的基于學(xué)習(xí)的框架中共同優(yōu)化。特別地，我們提出了DytanVO，第一個(gè)基于監(jiān)督學(xué)習(xí)的VO方法來(lái)處理動(dòng)態(tài)環(huán)境。它實(shí)時(shí)拍攝兩個(gè)連續(xù)的單目幀，并以迭代的方式預(yù)測(cè)相機(jī)的自我運(yùn)動(dòng)。

在真實(shí)動(dòng)態(tài)環(huán)境中，我們的方法在ATE方面比最先進(jìn)的VO解決方案平均提高了27.7%，甚至在優(yōu)化后端軌跡的動(dòng)態(tài)視覺(jué)SLAM系統(tǒng)中也具有競(jìng)爭(zhēng)力。大量未知環(huán)境上的實(shí)驗(yàn)也證明了該方法的普適性。

3. 算法分析

如圖1所示是作者提出的DytanVO的整體架構(gòu)，整個(gè)網(wǎng)絡(luò)是基于TartanVO開發(fā)的。DytanVO由從兩幅連續(xù)圖像中估計(jì)光流的匹配網(wǎng)絡(luò)、基于無(wú)動(dòng)態(tài)運(yùn)動(dòng)的光流估計(jì)位姿的位姿網(wǎng)絡(luò)和輸出動(dòng)態(tài)概率掩碼的運(yùn)動(dòng)分割網(wǎng)絡(luò)組成。

匹配網(wǎng)絡(luò)僅向前傳播一次，而位姿網(wǎng)絡(luò)和分割網(wǎng)絡(luò)被迭代以聯(lián)合優(yōu)化位姿估計(jì)和運(yùn)動(dòng)分割。停止迭代的標(biāo)準(zhǔn)很簡(jiǎn)單，即兩個(gè)迭代之間旋轉(zhuǎn)和平移差異小于閾值，并且閾值不固定，而是預(yù)先確定一個(gè)衰減參數(shù)，隨著時(shí)間的推移，經(jīng)驗(yàn)地降低輸入閾值，以防止在早期迭代中出現(xiàn)不準(zhǔn)確的掩碼，而在后期迭代中使用改進(jìn)的掩碼。

圖1 DytanVO架構(gòu)總覽

如圖2所示是DytanVO是運(yùn)行示例，包含兩個(gè)輸入的圖像幀、估計(jì)的光流、運(yùn)動(dòng)分割以及在高動(dòng)態(tài)AirDOS-Shibuya數(shù)據(jù)集上的軌跡評(píng)估結(jié)果。結(jié)果顯示DytanVO精度超越TartanVO達(dá)到了最高，并且漂移量很小。

圖2 DytanVO運(yùn)行示例

綜上所述，作者提出了第一個(gè)基于監(jiān)督學(xué)習(xí)的動(dòng)態(tài)環(huán)境的VO，主要貢獻(xiàn)如下：

(1) 引入了一種新的基于學(xué)習(xí)的VO來(lái)平衡相機(jī)自身運(yùn)動(dòng)、光流和運(yùn)動(dòng)分割之間的相互依賴關(guān)系。

(2) 引入了一個(gè)迭代框架，其中自我運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)分割可以在實(shí)時(shí)應(yīng)用的時(shí)間限制內(nèi)快速收斂。

(3) 在基于學(xué)習(xí)的VO解決方案中，DytanVO在真實(shí)世界動(dòng)態(tài)場(chǎng)景中實(shí)現(xiàn)了最先進(jìn)的性能，而無(wú)需微調(diào)。此外，DytanVO甚至可以與優(yōu)化后端軌跡的視覺(jué)SLAM解決方案相媲美。

3.1 運(yùn)動(dòng)分割

早期使用運(yùn)動(dòng)分割的動(dòng)態(tài)VO方法依賴于由對(duì)極幾何和剛性變換產(chǎn)生的純幾何約束，因此它們可以閾值化用于考慮運(yùn)動(dòng)區(qū)域的殘差光流。

然而，在兩種情況下，它們?nèi)菀装l(fā)生嚴(yán)重退化：

(1) 在3D移動(dòng)中，沿著極線移動(dòng)的點(diǎn)無(wú)法從單目圖像中識(shí)別出來(lái)；

(2) 純幾何學(xué)方法對(duì)噪聲光流和較不準(zhǔn)確的相機(jī)運(yùn)動(dòng)估計(jì)沒(méi)有魯棒性。

因此，DytanVO通過(guò)光學(xué)擴(kuò)展將2D光流升級(jí)到3D后，顯式地將代價(jià)地圖建模為分割網(wǎng)絡(luò)的輸入，該網(wǎng)絡(luò)根據(jù)重疊圖像塊的尺度變化估計(jì)相對(duì)深度。

3.2 相機(jī)運(yùn)動(dòng)迭代優(yōu)化

在推理過(guò)程中，匹配網(wǎng)絡(luò)只前向傳播一次，而姿態(tài)網(wǎng)絡(luò)和分割網(wǎng)絡(luò)進(jìn)行迭代，共同優(yōu)化自運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)分割。在第一次迭代中，使用隨機(jī)初始化分割掩膜。直覺(jué)上會(huì)認(rèn)為，在早期迭代過(guò)程中估計(jì)的運(yùn)動(dòng)不太準(zhǔn)確，并導(dǎo)致分割輸出(對(duì)靜態(tài)區(qū)域賦予高概率)中的誤報(bào)。然而，由于光流圖仍然提供了足夠的對(duì)應(yīng)關(guān)系，因此相機(jī)運(yùn)動(dòng)實(shí)際上較為合理。在以后的迭代中，估計(jì)越來(lái)越準(zhǔn)確。

在實(shí)際應(yīng)用中，3次迭代足以使相機(jī)運(yùn)動(dòng)和分割都得到細(xì)化。圖3所示是迭代過(guò)程中的可視化結(jié)果，第一次迭代時(shí)的掩碼包含了大量的假陽(yáng)性，但在第二次迭代后迅速收斂。這也說(shuō)明姿態(tài)網(wǎng)絡(luò)對(duì)分割結(jié)果中的假陽(yáng)性具有魯棒性。

圖3 當(dāng)未見(jiàn)數(shù)據(jù)上測(cè)試時(shí)每次迭代的運(yùn)動(dòng)分割輸出。(a) 使用DytanVO在多人向不同方向移動(dòng)的情況下，對(duì)AirDOS-Shibuya中最難的序列進(jìn)行推斷；(b) 從動(dòng)態(tài)物體占據(jù)超過(guò)60%面積的FlyingThings3D推斷序列。

3.3 損失函數(shù)

DytanVO可以以端到端的方式進(jìn)行訓(xùn)練，損失函數(shù)包括光流損失LM，相機(jī)運(yùn)動(dòng)損失LP和運(yùn)動(dòng)分割損失LU。其中LM為預(yù)測(cè)流和真實(shí)流之間的L1范數(shù)，而LU是預(yù)測(cè)概率和分割標(biāo)簽之間的二元交叉熵?fù)p失。具體表達(dá)形式為：

4. 實(shí)驗(yàn)

4.1 數(shù)據(jù)集

DytanVO在TartanAir和SceneFlow上訓(xùn)練，其中前者包含超過(guò)40萬(wàn)個(gè)數(shù)據(jù)幀，具有僅在靜態(tài)環(huán)境中的光流和相機(jī)姿態(tài)真值。后者在高度動(dòng)態(tài)的環(huán)境中提供了3.9萬(wàn)幀，每個(gè)軌跡具有向后/向前通過(guò)、不同的對(duì)象和運(yùn)動(dòng)特征。雖然場(chǎng)景流不提供運(yùn)動(dòng)分割的真值，但可以通過(guò)利用其視差、光流和視差變化圖來(lái)恢復(fù)真值。而在評(píng)估方面，作者使用AirDOS-Shibuya和KITTI進(jìn)行測(cè)試。

4.2 實(shí)施細(xì)節(jié)

DytanVO使用TartanVO的預(yù)訓(xùn)練模型初始化匹配網(wǎng)絡(luò)，使用來(lái)自CVPR論文"Learning to segment rigid motions from two frames"的預(yù)訓(xùn)練權(quán)重來(lái)固定運(yùn)動(dòng)分割網(wǎng)絡(luò)，使用ResNet50作為姿態(tài)網(wǎng)絡(luò)的backbone，并刪除了BN層，同時(shí)為旋轉(zhuǎn)和平移添加了兩個(gè)輸出頭。

DytanVO使用的深度學(xué)習(xí)框架為PyTorch，并在2臺(tái)NVIDIA A100上訓(xùn)練。在推理時(shí)間方面作者在RTX 2080進(jìn)行測(cè)試，不進(jìn)行迭代的話推理時(shí)間為40ms，進(jìn)行一次迭代推理時(shí)間為100ms，進(jìn)行兩次迭代推理時(shí)間為160ms。

4.3 AirDOS-Shibuya數(shù)據(jù)集測(cè)試

如表1所示是關(guān)于迭代次數(shù)(iter)的消融實(shí)驗(yàn)，數(shù)據(jù)使用來(lái)自AirDOS-Shibuya的三個(gè)序列。其中姿態(tài)網(wǎng)絡(luò)在第一次迭代后快速收斂，后續(xù)迭代顯示出較少的改進(jìn)，這是因?yàn)锳irDOS-Shibuya上的光流估計(jì)已經(jīng)具有高質(zhì)量。

表1 關(guān)于迭代次數(shù)的ATE消融實(shí)驗(yàn)

表2所示是在AirDOS-Shibuya的七個(gè)序列上，與現(xiàn)有的最先進(jìn)的VO算法進(jìn)行的定量對(duì)比結(jié)果。該基準(zhǔn)涵蓋了更具挑戰(zhàn)性的多種運(yùn)動(dòng)模式。這七個(gè)序列分為三個(gè)難度等級(jí)：大多數(shù)人站著不動(dòng)，很少人在路上走來(lái)走去，穿越(容易)包含多個(gè)人類進(jìn)出相機(jī)的視野，而在穿越道路(困難)中，人類突然進(jìn)入相機(jī)的視野。

除了VO方法之外，作者還將DytanVO與能夠處理動(dòng)態(tài)場(chǎng)景的SLAM方法進(jìn)行了比較。包括DROID-SLAM、AirDOS、VDO-SLAM以及DynaSLAM。

表2 來(lái)自AirDOS-Shibuya的動(dòng)態(tài)序列的ATE (m)結(jié)果。最佳和次佳VO性能以粗體和下劃線顯示，"-"來(lái)表示初始化失敗

結(jié)果顯示，DytanVO在VO基線的所有序列中實(shí)現(xiàn)了最好的性能，甚至在SLAM方法中也是有競(jìng)爭(zhēng)力的。DeepVO，TrianFlow和CC在AirDOS-Shibuya數(shù)據(jù)集上表現(xiàn)很差，因?yàn)樗鼈冎辉贙ITTI上訓(xùn)練，不能泛化。TartanVO表現(xiàn)更好，但它仍然容易受到動(dòng)態(tài)對(duì)象的干擾。

DytanVO優(yōu)于動(dòng)態(tài)SLAM方法，如AirDOS，VDO-SLAM和dyna SLAM 80%以上。雖然DROID-SLAM在大部分時(shí)間都保持競(jìng)爭(zhēng)力，但一旦行人占據(jù)了圖像中的大部分區(qū)域，它就會(huì)跟蹤失敗。此外，DytanVO的2次迭代每次推理0.16秒，但DROID- SLAM需要額外的4.8秒來(lái)優(yōu)化軌跡。

4.4 KITTI數(shù)據(jù)集測(cè)試

表3所示是DytanVO和其他VO方法在KITTI數(shù)據(jù)集上的定量對(duì)比結(jié)果，DytanVO在8個(gè)動(dòng)態(tài)序列中的6個(gè)中優(yōu)于其他VO基線，比第二個(gè)最好的方法平均提高了27.7 %。注意，DeepVO、TrianFlow和CC是在KITTI中的部分序列上訓(xùn)練的，而DytanVO沒(méi)有在KITTI上進(jìn)行微調(diào)，純粹使用合成數(shù)據(jù)進(jìn)行訓(xùn)練。

此外，DytanVO在VO和SLAM中的3個(gè)序列上實(shí)現(xiàn)了最佳的ATE，無(wú)需任何優(yōu)化。圖4中提供了關(guān)于快速移動(dòng)的車輛或動(dòng)態(tài)物體在圖像中占據(jù)大片區(qū)域的四個(gè)具有挑戰(zhàn)性的序列的定性結(jié)果。注意，從經(jīng)過(guò)的高速車輛開始的序列01，ORB-SLAM和DynaSLAM都無(wú)法初始化，而DROID-SLAM從一開始就跟蹤失敗。在序列10中，當(dāng)一輛巨大的貨車占據(jù)圖像中心的顯著區(qū)域時(shí)，DytanVO是唯一保持穩(wěn)健跟蹤的VO。

表3 KITTI里程計(jì)動(dòng)態(tài)序列的ATE (m)結(jié)果

圖4 KITTI里程計(jì)01、03、04和10中動(dòng)態(tài)序列的定性結(jié)果

5. 結(jié)論

作者提出了一種基于學(xué)習(xí)的動(dòng)態(tài)VO (DytanVO)，它可以聯(lián)合優(yōu)化相機(jī)姿態(tài)的估計(jì)和動(dòng)態(tài)物體的分割。作者證明了自運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)分割都可以在實(shí)時(shí)應(yīng)用的時(shí)間約束內(nèi)快速收斂，并在KITTI和AirDOS-Shibuya數(shù)據(jù)集上評(píng)估了DytanVO，還展示了在動(dòng)態(tài)環(huán)境中的一流性能，無(wú)需在后端進(jìn)行微調(diào)或優(yōu)化。DytanVO為動(dòng)態(tài)視覺(jué)SLAM算法引入了新的方向。

審核編輯：劉清