基于RFD的分層標(biāo)簽分配（HLA）模塊設(shè)計(jì)

前言 在本文中，作者提出了一種基于高斯感受野的標(biāo)簽分配（RFLA）策略用于微小目標(biāo)檢測(cè)。并提出了一種新的感受野距離（RFD）來(lái)直接測(cè)量高斯感受野和地面真值之間的相似性，而不是使用IoU或中心采樣策略分配樣本。

考慮到基于IoU閾值和中心采樣策略對(duì)大對(duì)象的傾斜，作者進(jìn)一步設(shè)計(jì)了基于RFD的分層標(biāo)簽分配（HLA）模塊，以實(shí)現(xiàn)小對(duì)象的平衡學(xué)習(xí)。在四個(gè)數(shù)據(jù)集上的大量實(shí)驗(yàn)證明了所提方法的有效性。作者的方法在AI-TOD數(shù)據(jù)集上的AP點(diǎn)數(shù)為4.0，優(yōu)于SOTA。

創(chuàng)新思路

微小物體的像素?cái)?shù)量極為有限（小于AI-TOD［49］中定義的16×16像素），一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)難題。微小目標(biāo)檢測(cè)（TOD）是最具挑戰(zhàn)性的方法之一，一般的物體檢測(cè)器通常無(wú)法在TOD任務(wù)中提供令人滿意的結(jié)果，這是由于微小物體缺乏鑒別特征。

考慮到微小物體的特殊性，提出了幾種定制的TOD基準(zhǔn)（如AI-TOD、TinyPerson和AI-TOT-v2），以促進(jìn)一系列下游任務(wù)，包括駕駛輔助、交通管理和海上救援。最近，TOD逐漸成為一個(gè)受歡迎但具有挑戰(zhàn)性的方向，獨(dú)立于一般對(duì)象檢測(cè)。

在本文中，作者認(rèn)為當(dāng)前的先驗(yàn)盒和點(diǎn)及其相應(yīng)的測(cè)量策略對(duì)于微小物體是次優(yōu)的，這將進(jìn)一步阻礙標(biāo)簽分配過(guò)程。具體來(lái)說(shuō)，作者以單個(gè)先驗(yàn)盒和點(diǎn)為例，從分布的角度重新思考它們。

不同先驗(yàn)的示意圖如圖1的第二行所示，現(xiàn)有先驗(yàn)信息與其相應(yīng)的測(cè)量策略相結(jié)合，對(duì)于微小物體存在以下問(wèn)題。

圖1.不同標(biāo)簽分配方案的檢測(cè)結(jié)果之間的比較

第一：當(dāng)特定ground truth與特定先驗(yàn)不重疊時(shí)，它們的位置關(guān)系無(wú)法通過(guò)IoU或中心度解決。對(duì)于微小對(duì)象，通常情況下，真實(shí)框與幾乎所有的錨框都沒(méi)有重疊（即IoU=0）或不包含任何錨定點(diǎn)，導(dǎo)致微小對(duì)象缺少正樣本。

為此，采用啟發(fā)式方法來(lái)保證微小對(duì)象的更多正樣本。然而，賦值器通常無(wú)法基于零值IoU或中心度補(bǔ)償微小對(duì)象的正樣本。因此，網(wǎng)絡(luò)將減少對(duì)微小對(duì)象學(xué)習(xí)的關(guān)注。

第二，當(dāng)前先驗(yàn)區(qū)域主要遵循均勻分布，并同等對(duì)待先驗(yàn)區(qū)域內(nèi)的每個(gè)位置。然而，基本上利用先驗(yàn)信息來(lái)輔助標(biāo)簽分配或特征點(diǎn)分配過(guò)程。

當(dāng)將特征點(diǎn)的感受野重新映射回輸入圖像時(shí)，有效感受野實(shí)際上是高斯分布的。均勻分布先驗(yàn)和高斯分布感受野之間的間隙將導(dǎo)致ground truth和分配給它的特征點(diǎn)的感受野之間不匹配。

為了緩解上述問(wèn)題，作者引入了一種新的基于高斯分布的先驗(yàn)知識(shí)，并建立了一種基于高斯感受野的標(biāo)簽分配（RFLA）策略，該策略更有利于微小對(duì)象。

本文的主要貢獻(xiàn)

（1）實(shí)驗(yàn)表明，當(dāng)前基于錨和無(wú)錨的檢測(cè)器在微小目標(biāo)標(biāo)簽分配中存在尺度樣本不平衡問(wèn)題。

（2） 為了緩解上述問(wèn)題，引入了一種簡(jiǎn)單但有效的基于感受野的標(biāo)簽分配（RFLA）策略。RFLA很容易取代主流檢測(cè)器中的標(biāo)準(zhǔn)盒和基于點(diǎn)的標(biāo)簽分配策略，提高了它們?cè)赥OD上的性能。

（3） 在四個(gè)數(shù)據(jù)集上的大量實(shí)驗(yàn)驗(yàn)證了提出的方法的性能優(yōu)越性。在具有挑戰(zhàn)性的AI-TOD數(shù)據(jù)集上，引入的方法在推理階段沒(méi)有額外成本的情況下顯著優(yōu)于最先進(jìn)的競(jìng)爭(zhēng)對(duì)手。

方法

感受野建模

基于錨的檢測(cè)器在FPN的不同層上平鋪不同尺度的先驗(yàn)框，以輔助標(biāo)簽分配，因此在FPN不同層上檢測(cè)不同尺度的對(duì)象。對(duì)于無(wú)錨探測(cè)器，它們將不同比例范圍內(nèi)的對(duì)象分組到不同水平的FPN上進(jìn)行檢測(cè)。盡管標(biāo)簽分配策略各不相同，但基于錨和無(wú)錨檢測(cè)器的一個(gè)共同點(diǎn)是將適當(dāng)感受野的特征點(diǎn)分配給不同尺度的對(duì)象。

因此，在不設(shè)計(jì)啟發(fā)式錨框預(yù)設(shè)或規(guī)模分組的情況下，感受野可以直接用作標(biāo)簽分配的有根據(jù)和有說(shuō)服力的先驗(yàn)。

圖2.RFLA的過(guò)程

在本文中，作者直接測(cè)量有效感受野（ERF）和ground truth區(qū)域之間的匹配度，以進(jìn)行標(biāo)記分配，從而消除使TOD惡化的盒或點(diǎn)先驗(yàn)。在這項(xiàng)工作中，將每個(gè)特征點(diǎn)的ERF建模為高斯分布，先通過(guò)以下公式推導(dǎo)出標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)上第n層的理論感受野（TRF），即trn：

感受野距離

獲得高斯ERF，關(guān)鍵步驟是測(cè)量特征點(diǎn)的ERF與某個(gè)ground truth之間的匹配度。階躍變化的均勻分布不利于ground truth體，還需要將真實(shí)值建模為另一個(gè)分布。

觀察到物體的主體聚集在邊界框的中心，作者還將ground truth框（xg、yg、wg、hg）建模為標(biāo)準(zhǔn)的二維高斯分布Ng（μg，∑g），其中每個(gè)帶注釋框的中心點(diǎn)用作高斯的平均向量，半邊長(zhǎng)的平方用作協(xié)方差矩陣，即，

在本文中，作者研究了高斯分布之間的三種典型距離作為感受野距離候選（RFDC）。這些距離測(cè)量包括Wasserstein距離、K-L散度和J-S散度。高斯分布之間的J-S散度沒(méi)有閉式解，在近似其解時(shí)將引入大量計(jì)算，因此，不使用J-S散度。

Wasserstein距離

Wasserstein距離來(lái)自最優(yōu)運(yùn)輸理論。Wasserstein距離的主要優(yōu)點(diǎn)是它可以測(cè)量?jī)蓚€(gè)非重疊分布。通常情況下，ground truth框與大多數(shù)在先框和點(diǎn)沒(méi)有重疊，并且賦值器無(wú)法將這些候選ground truth級(jí)排序到某個(gè)真實(shí)值。

因此，可以很容易地說(shuō)，Wasserstein距離的特性有利于TOD，TOD可以一致地反映所有特征點(diǎn)與某個(gè)ground truth盒之間的匹配程度，使賦值器能夠根據(jù)合理的優(yōu)先級(jí)對(duì)微小對(duì)象補(bǔ)償更多的正樣本。然而，Wasserstein距離不是尺度不變的，當(dāng)數(shù)據(jù)集包含大尺度方差的對(duì)象時(shí)，它可能是次優(yōu)的。

Kullback-Leibler散度

Kullback-Leibler散度（KLD）是一種經(jīng)典的統(tǒng)計(jì)距離，用于衡量一種概率分布與另一種概率的差異。KLD在兩個(gè)二維高斯分布之間具有尺度不變性，并且尺度不變性對(duì)檢測(cè)至關(guān)重要。而KLD的主要缺點(diǎn)是，當(dāng)兩個(gè)分布的重疊可以忽略時(shí)，它不能一致地反映兩個(gè)分布之間的距離。

因此，本文選擇ERF和ground truth之間的KLD作為另一個(gè)RFDC。

然后，作者將非線性變換應(yīng)用于RFDC，并得到歸一化值范圍在（0，1）之間的RFD，如下所示：

分層標(biāo)簽分配

作者通過(guò)分?jǐn)?shù)排序?qū)?biāo)簽分層分配給微小對(duì)象。為了保證任何特征點(diǎn)和任何ground truth之間的位置關(guān)系都可以求解，所提出的分層標(biāo)簽分配（HLA）策略建立在所提出的RFD之上。在分配之前，基于ground truth計(jì)算特征點(diǎn)和真實(shí)值之間的RFD ground truth。

在第一階段，作者使用特定的真實(shí)值對(duì)每個(gè)特征點(diǎn)的RFD得分進(jìn)行排序。然后，將ground truth配給具有最高k個(gè)RFD分?jǐn)?shù)的特征點(diǎn)，并具有一定的ground truth。最后，得到分配結(jié)果r1和已分配特征的對(duì)應(yīng)掩碼m。

在第二階段，為了提高整體召回率并緩解異常值，通過(guò)乘以階段因子β來(lái)略微衰減有效半徑ern，然后重復(fù)上述排序策略，并向每個(gè)ground truth補(bǔ)充一個(gè)正樣本，得到分配結(jié)果r2。通過(guò)以下規(guī)則獲得最終分配結(jié)果r：

探測(cè)器的應(yīng)用

所提出的RFLA策略可以應(yīng)用于基于錨和無(wú)錨的框架。為了更快的R-CNN，RFLA可以用來(lái)代替標(biāo)準(zhǔn)的錨平鋪和MaxIoU錨分配過(guò)程。對(duì)于FCOS，消除了限制ground truth框內(nèi)特征點(diǎn)的限制，因?yàn)樾】蛑桓采w非常有限的區(qū)域，通常比大對(duì)象包含的特征點(diǎn)少得多。

用RFLA代替基于點(diǎn)的分配，實(shí)現(xiàn)平衡學(xué)習(xí)。

作者將中心度損失修改為以下公式，以避免梯度爆炸：

實(shí)驗(yàn)

如表1所示，可以看出，GIoU不如RFD，因?yàn)樗鼰o(wú)法區(qū)分相互包容的盒子的位置，而WD和KLD的性能相當(dāng)。

表1.不同感受野距離測(cè)量方法的比較

作者逐步將RFD和HLA應(yīng)用到更快的RCNN中。結(jié)果列于表2，AP逐步改善，從而驗(yàn)證了個(gè)體有效性。

表2.不同設(shè)計(jì)的影響

在HLA中，作者為ERF設(shè)計(jì)了階段因子β，以緩解異常值效應(yīng)。在表3中，作者保持所有其他參數(shù)不變，實(shí)驗(yàn)表明0.9是最佳選擇。將β設(shè)置為較低的值將引入太多的低質(zhì)量樣本。

表3.分級(jí)標(biāo)記賦值器（HLA）中階段因子β的影響

作者將錨直接建模為高斯分布，計(jì)算ground truth之間的RFD得分，然后使用HLA分配標(biāo)簽。結(jié)果如表4所示。結(jié)果表明高斯先驗(yàn)及其與HLA的結(jié)合具有很大的優(yōu)勢(shì)。

表4.高斯錨和接受錨

作者將作者的方法與AI-TOD基準(zhǔn)上的其他最先進(jìn)檢測(cè)器進(jìn)行了比較。如表5所示，帶RFLA的探測(cè)器達(dá)到24.8 AP，比最先進(jìn)的競(jìng)爭(zhēng)對(duì)手高出4.0 AP。

表5.AI-TOD的主要結(jié)果

圖3.快速R-CNN w/HLA中的top k與快速R-CNN基線中的錨定微調(diào)之間的比較

作者將標(biāo)度范圍劃分為16個(gè)區(qū)間，如圖4所示，并計(jì)算分配給不同標(biāo)度范圍中每個(gè)ground truth的正樣本的平均數(shù)量。圖4中的觀察結(jié)果表明現(xiàn)有檢測(cè)器存在嚴(yán)重的標(biāo)度樣本不平衡問(wèn)題。

圖4.不同檢測(cè)器的比例樣本不平衡問(wèn)題

AI-TOD數(shù)據(jù)集的可視化結(jié)果如圖5所示。當(dāng)將RFLA應(yīng)用于更快的R-CNN時(shí)，可以大大消除FN預(yù)測(cè)。

圖5.AI-TOD的可視化結(jié)果

結(jié)論

在本文中，作者指出框和點(diǎn)先驗(yàn)對(duì)于TOD不起作用，導(dǎo)致在分配標(biāo)簽時(shí)出現(xiàn)比例樣本不平衡問(wèn)題。為此，作者引入了一種新的高斯感受野先驗(yàn)。

然后，作者進(jìn)一步設(shè)計(jì)了一種新的感受野距離（RFD），它度量了ERF和ground truth之間的相似性，以克服TOD上IoU和中心性的不足。RFD與HLA策略一起工作，為微小對(duì)象獲得平衡學(xué)習(xí)。

在四個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明了RFLA的優(yōu)越性和魯棒性。