標(biāo)注神器！AAAI'24最新：第一個(gè)交互式3D目標(biāo)檢測(cè)器！

1. 寫(xiě)在前面

在LiDAR場(chǎng)景中標(biāo)注3D目標(biāo)非常繁瑣，今天筆者為大家推薦一篇加速3D標(biāo)注的最新工作iDet3D。這個(gè)交互式的標(biāo)注算法支持2D界面，可以以最少的交互來(lái)標(biāo)注每個(gè)場(chǎng)景中的整個(gè)目標(biāo)。

下面一起來(lái)閱讀一下這項(xiàng)工作~

2. 摘要

對(duì)LiDAR場(chǎng)景中的多個(gè)三維物體進(jìn)行精確標(biāo)注是一項(xiàng)費(fèi)力且具有挑戰(zhàn)性的工作。盡管先前的一些研究試圖利用半自動(dòng)方法來(lái)進(jìn)行具有成本效益的邊界框標(biāo)注，但這些方法在有效地處理大量多類對(duì)象方面具有局限性。為了有效加速3D標(biāo)注流水線，我們提出了一種高效的交互式3D目標(biāo)檢測(cè)器iDet3D。iDet3D支持用戶友好的2D界面，可以減輕探索3D空間提供點(diǎn)擊交互的認(rèn)知負(fù)擔(dān)，使用戶能夠以最少的交互來(lái)標(biāo)注每個(gè)場(chǎng)景中的整個(gè)物體。考慮到三維點(diǎn)云的稀疏性，我們?cè)O(shè)計(jì)了負(fù)點(diǎn)擊模擬( negative click simulation，NCS )，通過(guò)減少假陽(yáng)性預(yù)測(cè)來(lái)提高精度。此外，iDet3D結(jié)合了兩種點(diǎn)擊傳播技術(shù)，以充分利用用戶交互：( 1 )密集點(diǎn)擊引導(dǎo)( DCG )，用于在整個(gè)網(wǎng)絡(luò)中保存用戶提供的信息；( 2 )空間點(diǎn)擊傳播( SCP )，用于根據(jù)用戶指定的對(duì)象檢測(cè)同一類的其他實(shí)例。通過(guò)我們的大量實(shí)驗(yàn)，我們發(fā)現(xiàn)我們的方法可以在少量的點(diǎn)擊中構(gòu)建精確的注釋，這表明了我們的方法作為三維物體檢測(cè)的有效注釋工具的實(shí)用性。

3. 效果展示

iDet3D中點(diǎn)擊編碼的可視化示例：(a) 輸入點(diǎn)云和用戶點(diǎn)擊(紅色箭頭)。(b) 在目標(biāo)對(duì)象上突出顯示相應(yīng)的基于距離編碼的用戶交互。

看一下具體標(biāo)注過(guò)程：( a ) 給定輸入點(diǎn)云。( b ) 提供對(duì)行人的正向點(diǎn)擊(紅色圓圈)，iDet3D在一次點(diǎn)擊中檢測(cè)到場(chǎng)景中多個(gè)不同類別的物體。( c )在第2次迭代中，通過(guò)增加一個(gè)負(fù)點(diǎn)擊(藍(lán)色圓圈)，可以一次性過(guò)濾掉假陽(yáng)性預(yù)測(cè)。( d )真值。在幾次迭代內(nèi)，就可以獲得高質(zhì)量的標(biāo)注結(jié)果。

4. 具體原理是什么？

考慮到3D點(diǎn)云的稀疏性質(zhì)，iDet3D設(shè)計(jì)了負(fù)點(diǎn)擊模擬 (NCS)，通過(guò)減少誤報(bào)預(yù)測(cè)來(lái)提高準(zhǔn)確性。還結(jié)合了兩種點(diǎn)擊傳播技術(shù)來(lái)充分利用用戶交互：(1) 密集點(diǎn)擊引導(dǎo) (DCG)，用于在整個(gè)網(wǎng)絡(luò)中保留用戶提供的信息；(2) 空間點(diǎn)擊傳播 (SCP)，用于檢測(cè)其他實(shí)例。

iDet3D的訓(xùn)練流程。給定用戶對(duì)目標(biāo)對(duì)象的點(diǎn)擊，將點(diǎn)擊轉(zhuǎn)化為點(diǎn)擊編碼。( a )密集點(diǎn)擊引導(dǎo)( DCG )在輸入端和中間層將編碼融合到骨干網(wǎng)架構(gòu)中。( b )負(fù)點(diǎn)擊模擬( Negative Click Simulation，NCS )通過(guò)選擇具有高前景分?jǐn)?shù)的具有挑戰(zhàn)性的背景點(diǎn)來(lái)隨機(jī)模擬可能的負(fù)點(diǎn)。( c )后續(xù)的空間點(diǎn)擊傳播( Spatial Click Propagation，SCP )模塊根據(jù)特征嵌入之間的相似性，有效地傳播用戶點(diǎn)擊來(lái)檢測(cè)同一類的其他對(duì)象。

利用空間點(diǎn)擊傳播( SCP )模塊生成關(guān)聯(lián)圖的實(shí)例：( a )點(diǎn)擊關(guān)于N個(gè)輸入點(diǎn)的汽車對(duì)象(紅色箭頭)上的編碼E。( b )對(duì)N′個(gè)降采樣點(diǎn)(經(jīng)過(guò)降采樣層從N點(diǎn)降至N′點(diǎn))點(diǎn)擊編碼E′。( c )由SCP生成的點(diǎn)擊相關(guān)圖M和( d )與真實(shí)3D邊界框覆蓋的可視化。注意，與點(diǎn)擊同一類的點(diǎn)在輸出的相關(guān)圖中被突出顯示。

5. 和其他SOTA方法對(duì)比如何？

baseline和iDet3D在KITTI val集上的定量結(jié)果。

nuScenes數(shù)據(jù)集的基線和iDet3D ( IA-SSD Backbone)的定量結(jié)果。

6. 總結(jié)

這篇文章提出了第一個(gè)交互式3D目標(biāo)檢測(cè)器iDet3D，能夠在幾次點(diǎn)擊中檢測(cè)出大量的多類物體。iDet3D設(shè)計(jì)了NCS來(lái)過(guò)濾通過(guò)負(fù)點(diǎn)擊產(chǎn)生的假陽(yáng)性預(yù)測(cè)，以及兩個(gè)點(diǎn)擊傳播模塊( DCG和SCP)來(lái)為用戶提供指導(dǎo)。但是在這項(xiàng)工作中，iDet3D僅對(duì)單幀圖像進(jìn)行分析，忽略了連續(xù)幀之間的互補(bǔ)信息。未來(lái)作者將考慮處理多個(gè)連續(xù)幀之間需要對(duì)齊的點(diǎn)嵌入，進(jìn)一步改進(jìn)iDet3D。