1. 寫(xiě)在前面
在LiDAR場(chǎng)景中標(biāo)注3D目標(biāo)非常繁瑣,今天筆者為大家推薦一篇加速3D標(biāo)注的最新工作iDet3D。這個(gè)交互式的標(biāo)注算法支持2D界面,可以以最少的交互來(lái)標(biāo)注每個(gè)場(chǎng)景中的整個(gè)目標(biāo)。
下面一起來(lái)閱讀一下這項(xiàng)工作~
2. 摘要
對(duì)LiDAR場(chǎng)景中的多個(gè)三維物體進(jìn)行精確標(biāo)注是一項(xiàng)費(fèi)力且具有挑戰(zhàn)性的工作。盡管先前的一些研究試圖利用半自動(dòng)方法來(lái)進(jìn)行具有成本效益的邊界框標(biāo)注,但這些方法在有效地處理大量多類對(duì)象方面具有局限性。為了有效加速3D標(biāo)注流水線,我們提出了一種高效的交互式3D目標(biāo)檢測(cè)器iDet3D。iDet3D支持用戶友好的2D界面,可以減輕探索3D空間提供點(diǎn)擊交互的認(rèn)知負(fù)擔(dān),使用戶能夠以最少的交互來(lái)標(biāo)注每個(gè)場(chǎng)景中的整個(gè)物體。考慮到三維點(diǎn)云的稀疏性,我們?cè)O(shè)計(jì)了負(fù)點(diǎn)擊模擬( negative click simulation,NCS ),通過(guò)減少假陽(yáng)性預(yù)測(cè)來(lái)提高精度。此外,iDet3D結(jié)合了兩種點(diǎn)擊傳播技術(shù),以充分利用用戶交互:( 1 )密集點(diǎn)擊引導(dǎo)( DCG ),用于在整個(gè)網(wǎng)絡(luò)中保存用戶提供的信息;( 2 )空間點(diǎn)擊傳播( SCP ),用于根據(jù)用戶指定的對(duì)象檢測(cè)同一類的其他實(shí)例。通過(guò)我們的大量實(shí)驗(yàn),我們發(fā)現(xiàn)我們的方法可以在少量的點(diǎn)擊中構(gòu)建精確的注釋,這表明了我們的方法作為三維物體檢測(cè)的有效注釋工具的實(shí)用性。
3. 效果展示
iDet3D中點(diǎn)擊編碼的可視化示例:(a) 輸入點(diǎn)云和用戶點(diǎn)擊(紅色箭頭)。(b) 在目標(biāo)對(duì)象上突出顯示相應(yīng)的基于距離編碼的用戶交互。
看一下具體標(biāo)注過(guò)程:( a ) 給定輸入點(diǎn)云。( b ) 提供對(duì)行人的正向點(diǎn)擊(紅色圓圈),iDet3D在一次點(diǎn)擊中檢測(cè)到場(chǎng)景中多個(gè)不同類別的物體。( c )在第2次迭代中,通過(guò)增加一個(gè)負(fù)點(diǎn)擊(藍(lán)色圓圈),可以一次性過(guò)濾掉假陽(yáng)性預(yù)測(cè)。( d )真值。在幾次迭代內(nèi),就可以獲得高質(zhì)量的標(biāo)注結(jié)果。
4. 具體原理是什么?
考慮到3D點(diǎn)云的稀疏性質(zhì),iDet3D設(shè)計(jì)了負(fù)點(diǎn)擊模擬 (NCS),通過(guò)減少誤報(bào)預(yù)測(cè)來(lái)提高準(zhǔn)確性。還結(jié)合了兩種點(diǎn)擊傳播技術(shù)來(lái)充分利用用戶交互:(1) 密集點(diǎn)擊引導(dǎo) (DCG),用于在整個(gè)網(wǎng)絡(luò)中保留用戶提供的信息;(2) 空間點(diǎn)擊傳播 (SCP),用于檢測(cè)其他實(shí)例。
iDet3D的訓(xùn)練流程。給定用戶對(duì)目標(biāo)對(duì)象的點(diǎn)擊,將點(diǎn)擊轉(zhuǎn)化為點(diǎn)擊編碼。( a )密集點(diǎn)擊引導(dǎo)( DCG )在輸入端和中間層將編碼融合到骨干網(wǎng)架構(gòu)中。( b )負(fù)點(diǎn)擊模擬( Negative Click Simulation,NCS )通過(guò)選擇具有高前景分?jǐn)?shù)的具有挑戰(zhàn)性的背景點(diǎn)來(lái)隨機(jī)模擬可能的負(fù)點(diǎn)。( c )后續(xù)的空間點(diǎn)擊傳播( Spatial Click Propagation,SCP )模塊根據(jù)特征嵌入之間的相似性,有效地傳播用戶點(diǎn)擊來(lái)檢測(cè)同一類的其他對(duì)象。
利用空間點(diǎn)擊傳播( SCP )模塊生成關(guān)聯(lián)圖的實(shí)例:( a )點(diǎn)擊關(guān)于N個(gè)輸入點(diǎn)的汽車對(duì)象(紅色箭頭)上的編碼E。( b )對(duì)N′個(gè)降采樣點(diǎn)(經(jīng)過(guò)降采樣層從N點(diǎn)降至N′點(diǎn))點(diǎn)擊編碼E′。( c )由SCP生成的點(diǎn)擊相關(guān)圖M和( d )與真實(shí)3D邊界框覆蓋的可視化。注意,與點(diǎn)擊同一類的點(diǎn)在輸出的相關(guān)圖中被突出顯示。
5. 和其他SOTA方法對(duì)比如何?
baseline和iDet3D在KITTI val集上的定量結(jié)果。
nuScenes數(shù)據(jù)集的基線和iDet3D ( IA-SSD Backbone)的定量結(jié)果。
6. 總結(jié)
這篇文章提出了第一個(gè)交互式3D目標(biāo)檢測(cè)器iDet3D,能夠在幾次點(diǎn)擊中檢測(cè)出大量的多類物體。iDet3D設(shè)計(jì)了NCS來(lái)過(guò)濾通過(guò)負(fù)點(diǎn)擊產(chǎn)生的假陽(yáng)性預(yù)測(cè),以及兩個(gè)點(diǎn)擊傳播模塊( DCG和SCP)來(lái)為用戶提供指導(dǎo)。但是在這項(xiàng)工作中,iDet3D僅對(duì)單幀圖像進(jìn)行分析,忽略了連續(xù)幀之間的互補(bǔ)信息。未來(lái)作者將考慮處理多個(gè)連續(xù)幀之間需要對(duì)齊的點(diǎn)嵌入,進(jìn)一步改進(jìn)iDet3D。
-
檢測(cè)器
+關(guān)注
關(guān)注
1文章
856瀏覽量
47600 -
3D
+關(guān)注
關(guān)注
9文章
2843瀏覽量
107202 -
可視化
+關(guān)注
關(guān)注
1文章
1154瀏覽量
20820
原文標(biāo)題:標(biāo)注神器!AAAI'24最新:第一個(gè)交互式3D目標(biāo)檢測(cè)器!
文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論