助力移動機器人下游任務(wù)！Mobile-Seed用于聯(lián)合語義分割和邊界檢測

摘要

精確、快速地劃定清晰的邊界和魯棒的語義對于許多下游機器人任務(wù)至關(guān)重要，例如機器人抓取和操作、實時語義建圖以及在邊緣計算單元上執(zhí)行的在線傳感器校準(zhǔn)。雖然邊界檢測和語義分割是相輔相成的任務(wù)，但大多數(shù)研究都集中在語義分割的輕量級模型上，而忽略了邊界檢測的關(guān)鍵作用。在這項工作中，我們引入了一個輕量級的雙任務(wù)框架Mobile - Seed，用于同時進(jìn)行語義分割和邊界檢測。我們的框架具有雙流編碼器，主動融合解碼器( AFD )和雙任務(wù)正則化方法。編碼器分為兩個通道：一個通道捕獲類別感知的語義信息，另一個通道從多尺度特征中辨別邊界。AFD模塊通過學(xué)習(xí)通道間的關(guān)系來動態(tài)適應(yīng)語義和邊界信息的融合，允許對每個通道進(jìn)行精確的權(quán)重分配。此外，我們引入正則化損失來緩解雙任務(wù)學(xué)習(xí)和深度多樣性監(jiān)督中的沖突。與現(xiàn)有方法相比，提出的Mobile - Seed提供了一個輕量級的框架，可以同時提高語義分割性能和精確定位對象邊界。在Cityscapes數(shù)據(jù)集上的實驗表明，在1024 × 2048分辨率輸入下，Mobile - Seed在mIoU和mF - score上分別比SOTA基線提升了2.2個百分點( pp )和4.2個百分點( pp )，同時在RTX 2080 Ti GPU上保持了23.9幀每秒( FPS )的在線推理速度。在CamVid和PASCAL Context數(shù)據(jù)集上的額外實驗證實了我們方法的可推廣性。

效果展示

Mobile - Seed算法能夠?qū)崟r地同時推理出2D RGB圖像的邊界圖和語義圖。( a )展示了我們的Mobile - Seed的動機，它可以為下游任務(wù)提供強有力的約束，例如實例分割，語義SLAM和傳感器校準(zhǔn)。( b )和( c )表明Mobile - Seed的核心思想是將語義分割流和邊界檢測流集成在一個共享的框架中，并以相互促進(jìn)的方式進(jìn)行學(xué)習(xí)，同時保持實時效率。

主要貢獻(xiàn)

（1）提出了一個輕量級的移動機器人聯(lián)合語義分割和邊界檢測框架，該框架可以同時學(xué)習(xí)邊界掩碼和語義掩碼。

（2)提出了AFD用于學(xué)習(xí)語義特征和邊界特征之間的通道關(guān)系。與固定權(quán)重方法(融合權(quán)重與輸入無關(guān))相比，AFD在為語義特征和邊界特征分配合適的權(quán)重方面更加靈活。

（3）引入雙任務(wù)正則化損失來有效緩解DDS產(chǎn)生的沖突，使得語義分割和邊界檢測任務(wù)互相促進(jìn)。

具體原理是什么？

Mobile - Seed的工作流，其中語義流S和邊界流B分別提取語義和邊界特征。AFD估計每個通道的語義特征Fs和邊界特征Fb的相對權(quán)重。在語義流中應(yīng)用一個輔助分類頭，用于訓(xùn)練過程中的直接監(jiān)督。分別對語義預(yù)測s、融合語義預(yù)測sf和邊界預(yù)測b進(jìn)行監(jiān)督，并依此進(jìn)行監(jiān)督。正則化損失Lreg減輕了由雙任務(wù)學(xué)習(xí)引起的分歧。

和其他SOTA方法的對比

語義分割的定性結(jié)果對比。

邊緣檢測的定性結(jié)果對比。

總結(jié)

這篇文章提出了一種新穎的輕量級框架Mobile - Seed用于聯(lián)合語義分割和邊界檢測。該方法由雙流編碼器和主動融合解碼器( AFD )組成，其中編碼器分別提取語義和邊界特征，AFD為兩種特征分配動態(tài)融合權(quán)重。此外，引入正則化損失來緩解雙任務(wù)學(xué)習(xí)中的發(fā)散問題。Mobile - Seed可以部署在輕量級機器人平臺上，服務(wù)于語義SLAM、機器人操作等下游任務(wù)。

審核編輯：劉清