前言 在本文中,作者提出了一種基于高斯感受野的標(biāo)簽分配(RFLA)策略用于微小目標(biāo)檢測(cè)。并提出了一種新的感受野距離(RFD)來(lái)直接測(cè)量高斯感受野和地面真值之間的相似性,而不是使用IoU或中心采樣策略分配樣本。
考慮到基于IoU閾值和中心采樣策略對(duì)大對(duì)象的傾斜,作者進(jìn)一步設(shè)計(jì)了基于RFD的分層標(biāo)簽分配(HLA)模塊,以實(shí)現(xiàn)小對(duì)象的平衡學(xué)習(xí)。在四個(gè)數(shù)據(jù)集上的大量實(shí)驗(yàn)證明了所提方法的有效性。作者的方法在AI-TOD數(shù)據(jù)集上的AP點(diǎn)數(shù)為4.0,優(yōu)于SOTA。
創(chuàng)新思路
微小物體的像素?cái)?shù)量極為有限(小于AI-TOD[49]中定義的16×16像素),一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)難題。微小目標(biāo)檢測(cè)(TOD)是最具挑戰(zhàn)性的方法之一,一般的物體檢測(cè)器通常無(wú)法在TOD任務(wù)中提供令人滿意的結(jié)果,這是由于微小物體缺乏鑒別特征。
考慮到微小物體的特殊性,提出了幾種定制的TOD基準(zhǔn)(如AI-TOD、TinyPerson和AI-TOT-v2),以促進(jìn)一系列下游任務(wù),包括駕駛輔助、交通管理和海上救援。最近,TOD逐漸成為一個(gè)受歡迎但具有挑戰(zhàn)性的方向,獨(dú)立于一般對(duì)象檢測(cè)。
在本文中,作者認(rèn)為當(dāng)前的先驗(yàn)盒和點(diǎn)及其相應(yīng)的測(cè)量策略對(duì)于微小物體是次優(yōu)的,這將進(jìn)一步阻礙標(biāo)簽分配過(guò)程。具體來(lái)說(shuō),作者以單個(gè)先驗(yàn)盒和點(diǎn)為例,從分布的角度重新思考它們。
不同先驗(yàn)的示意圖如圖1的第二行所示,現(xiàn)有先驗(yàn)信息與其相應(yīng)的測(cè)量策略相結(jié)合,對(duì)于微小物體存在以下問(wèn)題。
圖1.不同標(biāo)簽分配方案的檢測(cè)結(jié)果之間的比較
第一:當(dāng)特定ground truth與特定先驗(yàn)不重疊時(shí),它們的位置關(guān)系無(wú)法通過(guò)IoU或中心度解決。對(duì)于微小對(duì)象,通常情況下,真實(shí)框與幾乎所有的錨框都沒(méi)有重疊(即IoU=0)或不包含任何錨定點(diǎn),導(dǎo)致微小對(duì)象缺少正樣本。
為此,采用啟發(fā)式方法來(lái)保證微小對(duì)象的更多正樣本。然而,賦值器通常無(wú)法基于零值IoU或中心度補(bǔ)償微小對(duì)象的正樣本。因此,網(wǎng)絡(luò)將減少對(duì)微小對(duì)象學(xué)習(xí)的關(guān)注。
第二,當(dāng)前先驗(yàn)區(qū)域主要遵循均勻分布,并同等對(duì)待先驗(yàn)區(qū)域內(nèi)的每個(gè)位置。然而,基本上利用先驗(yàn)信息來(lái)輔助標(biāo)簽分配或特征點(diǎn)分配過(guò)程。
當(dāng)將特征點(diǎn)的感受野重新映射回輸入圖像時(shí),有效感受野實(shí)際上是高斯分布的。均勻分布先驗(yàn)和高斯分布感受野之間的間隙將導(dǎo)致ground truth和分配給它的特征點(diǎn)的感受野之間不匹配。
為了緩解上述問(wèn)題,作者引入了一種新的基于高斯分布的先驗(yàn)知識(shí),并建立了一種基于高斯感受野的標(biāo)簽分配(RFLA)策略,該策略更有利于微小對(duì)象。
本文的主要貢獻(xiàn)
(1)實(shí)驗(yàn)表明,當(dāng)前基于錨和無(wú)錨的檢測(cè)器在微小目標(biāo)標(biāo)簽分配中存在尺度樣本不平衡問(wèn)題。
(2) 為了緩解上述問(wèn)題,引入了一種簡(jiǎn)單但有效的基于感受野的標(biāo)簽分配(RFLA)策略。RFLA很容易取代主流檢測(cè)器中的標(biāo)準(zhǔn)盒和基于點(diǎn)的標(biāo)簽分配策略,提高了它們?cè)赥OD上的性能。
(3) 在四個(gè)數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了提出的方法的性能優(yōu)越性。在具有挑戰(zhàn)性的AI-TOD數(shù)據(jù)集上,引入的方法在推理階段沒(méi)有額外成本的情況下顯著優(yōu)于最先進(jìn)的競(jìng)爭(zhēng)對(duì)手。
方法
感受野建模
基于錨的檢測(cè)器在FPN的不同層上平鋪不同尺度的先驗(yàn)框,以輔助標(biāo)簽分配,因此在FPN不同層上檢測(cè)不同尺度的對(duì)象。對(duì)于無(wú)錨探測(cè)器,它們將不同比例范圍內(nèi)的對(duì)象分組到不同水平的FPN上進(jìn)行檢測(cè)。盡管標(biāo)簽分配策略各不相同,但基于錨和無(wú)錨檢測(cè)器的一個(gè)共同點(diǎn)是將適當(dāng)感受野的特征點(diǎn)分配給不同尺度的對(duì)象。
因此,在不設(shè)計(jì)啟發(fā)式錨框預(yù)設(shè)或規(guī)模分組的情況下,感受野可以直接用作標(biāo)簽分配的有根據(jù)和有說(shuō)服力的先驗(yàn)。
圖2.RFLA的過(guò)程
在本文中,作者直接測(cè)量有效感受野(ERF)和ground truth區(qū)域之間的匹配度,以進(jìn)行標(biāo)記分配,從而消除使TOD惡化的盒或點(diǎn)先驗(yàn)。在這項(xiàng)工作中,將每個(gè)特征點(diǎn)的ERF建模為高斯分布,先通過(guò)以下公式推導(dǎo)出標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)上第n層的理論感受野(TRF),即trn:
感受野距離
獲得高斯ERF,關(guān)鍵步驟是測(cè)量特征點(diǎn)的ERF與某個(gè)ground truth之間的匹配度。階躍變化的均勻分布不利于ground truth體,還需要將真實(shí)值建模為另一個(gè)分布。
觀察到物體的主體聚集在邊界框的中心,作者還將ground truth框(xg、yg、wg、hg)建模為標(biāo)準(zhǔn)的二維高斯分布Ng(μg,∑g),其中每個(gè)帶注釋框的中心點(diǎn)用作高斯的平均向量,半邊長(zhǎng)的平方用作協(xié)方差矩陣,即,
在本文中,作者研究了高斯分布之間的三種典型距離作為感受野距離候選(RFDC)。這些距離測(cè)量包括Wasserstein距離、K-L散度和J-S散度。高斯分布之間的J-S散度沒(méi)有閉式解,在近似其解時(shí)將引入大量計(jì)算,因此,不使用J-S散度。
Wasserstein距離
Wasserstein距離來(lái)自最優(yōu)運(yùn)輸理論。Wasserstein距離的主要優(yōu)點(diǎn)是它可以測(cè)量?jī)蓚€(gè)非重疊分布。通常情況下,ground truth框與大多數(shù)在先框和點(diǎn)沒(méi)有重疊,并且賦值器無(wú)法將這些候選ground truth級(jí)排序到某個(gè)真實(shí)值。
因此,可以很容易地說(shuō),Wasserstein距離的特性有利于TOD,TOD可以一致地反映所有特征點(diǎn)與某個(gè)ground truth盒之間的匹配程度,使賦值器能夠根據(jù)合理的優(yōu)先級(jí)對(duì)微小對(duì)象補(bǔ)償更多的正樣本。然而,Wasserstein距離不是尺度不變的,當(dāng)數(shù)據(jù)集包含大尺度方差的對(duì)象時(shí),它可能是次優(yōu)的。
Kullback-Leibler散度
Kullback-Leibler散度(KLD)是一種經(jīng)典的統(tǒng)計(jì)距離,用于衡量一種概率分布與另一種概率的差異。KLD在兩個(gè)二維高斯分布之間具有尺度不變性,并且尺度不變性對(duì)檢測(cè)至關(guān)重要。而KLD的主要缺點(diǎn)是,當(dāng)兩個(gè)分布的重疊可以忽略時(shí),它不能一致地反映兩個(gè)分布之間的距離。
因此,本文選擇ERF和ground truth之間的KLD作為另一個(gè)RFDC。
然后,作者將非線性變換應(yīng)用于RFDC,并得到歸一化值范圍在(0,1)之間的RFD,如下所示:
分層標(biāo)簽分配
作者通過(guò)分?jǐn)?shù)排序?qū)?biāo)簽分層分配給微小對(duì)象。為了保證任何特征點(diǎn)和任何ground truth之間的位置關(guān)系都可以求解,所提出的分層標(biāo)簽分配(HLA)策略建立在所提出的RFD之上。在分配之前,基于ground truth計(jì)算特征點(diǎn)和真實(shí)值之間的RFD ground truth。
在第一階段,作者使用特定的真實(shí)值對(duì)每個(gè)特征點(diǎn)的RFD得分進(jìn)行排序。然后,將ground truth配給具有最高k個(gè)RFD分?jǐn)?shù)的特征點(diǎn),并具有一定的ground truth。最后,得到分配結(jié)果r1和已分配特征的對(duì)應(yīng)掩碼m。
在第二階段,為了提高整體召回率并緩解異常值,通過(guò)乘以階段因子β來(lái)略微衰減有效半徑ern,然后重復(fù)上述排序策略,并向每個(gè)ground truth補(bǔ)充一個(gè)正樣本,得到分配結(jié)果r2。通過(guò)以下規(guī)則獲得最終分配結(jié)果r:
探測(cè)器的應(yīng)用
所提出的RFLA策略可以應(yīng)用于基于錨和無(wú)錨的框架。為了更快的R-CNN,RFLA可以用來(lái)代替標(biāo)準(zhǔn)的錨平鋪和MaxIoU錨分配過(guò)程。對(duì)于FCOS,消除了限制ground truth框內(nèi)特征點(diǎn)的限制,因?yàn)樾】蛑桓采w非常有限的區(qū)域,通常比大對(duì)象包含的特征點(diǎn)少得多。
用RFLA代替基于點(diǎn)的分配,實(shí)現(xiàn)平衡學(xué)習(xí)。
作者將中心度損失修改為以下公式,以避免梯度爆炸:
實(shí)驗(yàn)
如表1所示,可以看出,GIoU不如RFD,因?yàn)樗鼰o(wú)法區(qū)分相互包容的盒子的位置,而WD和KLD的性能相當(dāng)。
表1.不同感受野距離測(cè)量方法的比較
作者逐步將RFD和HLA應(yīng)用到更快的RCNN中。結(jié)果列于表2,AP逐步改善,從而驗(yàn)證了個(gè)體有效性。
表2.不同設(shè)計(jì)的影響
在HLA中,作者為ERF設(shè)計(jì)了階段因子β,以緩解異常值效應(yīng)。在表3中,作者保持所有其他參數(shù)不變,實(shí)驗(yàn)表明0.9是最佳選擇。將β設(shè)置為較低的值將引入太多的低質(zhì)量樣本。
表3.分級(jí)標(biāo)記賦值器(HLA)中階段因子β的影響
作者將錨直接建模為高斯分布,計(jì)算ground truth之間的RFD得分,然后使用HLA分配標(biāo)簽。結(jié)果如表4所示。結(jié)果表明高斯先驗(yàn)及其與HLA的結(jié)合具有很大的優(yōu)勢(shì)。
表4.高斯錨和接受錨
作者將作者的方法與AI-TOD基準(zhǔn)上的其他最先進(jìn)檢測(cè)器進(jìn)行了比較。如表5所示,帶RFLA的探測(cè)器達(dá)到24.8 AP,比最先進(jìn)的競(jìng)爭(zhēng)對(duì)手高出4.0 AP。
表5.AI-TOD的主要結(jié)果
圖3.快速R-CNN w/HLA中的top k與快速R-CNN基線中的錨定微調(diào)之間的比較
作者將標(biāo)度范圍劃分為16個(gè)區(qū)間,如圖4所示,并計(jì)算分配給不同標(biāo)度范圍中每個(gè)ground truth的正樣本的平均數(shù)量。圖4中的觀察結(jié)果表明現(xiàn)有檢測(cè)器存在嚴(yán)重的標(biāo)度樣本不平衡問(wèn)題。
圖4.不同檢測(cè)器的比例樣本不平衡問(wèn)題
AI-TOD數(shù)據(jù)集的可視化結(jié)果如圖5所示。當(dāng)將RFLA應(yīng)用于更快的R-CNN時(shí),可以大大消除FN預(yù)測(cè)。
圖5.AI-TOD的可視化結(jié)果
結(jié)論
在本文中,作者指出框和點(diǎn)先驗(yàn)對(duì)于TOD不起作用,導(dǎo)致在分配標(biāo)簽時(shí)出現(xiàn)比例樣本不平衡問(wèn)題。為此,作者引入了一種新的高斯感受野先驗(yàn)。
然后,作者進(jìn)一步設(shè)計(jì)了一種新的感受野距離(RFD),它度量了ERF和ground truth之間的相似性,以克服TOD上IoU和中心性的不足。RFD與HLA策略一起工作,為微小對(duì)象獲得平衡學(xué)習(xí)。
在四個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明了RFLA的優(yōu)越性和魯棒性。
-
檢測(cè)器
+關(guān)注
關(guān)注
1文章
856瀏覽量
47600 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1199瀏覽量
24594 -
RFD
+關(guān)注
關(guān)注
0文章
2瀏覽量
3079
原文標(biāo)題:ECCV 2022 | 武大&華為提出RFLA:用于小目標(biāo)檢測(cè)的基于高斯感受野的標(biāo)簽分配
文章出處:【微信號(hào):CVer,微信公眾號(hào):CVer】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論