基于Cascade R-CNN的布匹檢測算法提高目標(biāo)檢測性能

作者：許勝寶，鄭飂默，袁德成

布匹缺陷檢測任務(wù)的難點可能有以下幾個方面：小目標(biāo)問題，缺陷具有極端的寬高比，樣本不均衡。在MS COCO數(shù)據(jù)集[1]中，面積小于32×32像素的物體被認為是小目標(biāo)。小目標(biāo)具有分辨率低，圖像模糊，攜帶的信息少的特點，導(dǎo)致其特征表達能力弱，也就是在提取特征過程中，能提取到的特征非常少，不利于其檢測；布匹疵點由于生產(chǎn)工藝的原因常常具有極端的寬高比，例如斷經(jīng)、斷緯等，給其邊界框的預(yù)測增添了難度；樣本不均衡是指部分疵點擁有大量的訓(xùn)練樣本，而另一部分疵點則只有少數(shù)的樣本，讓分類器學(xué)習(xí)起來很困難。 針對小目標(biāo)問題，Hu等[2]認為小目標(biāo)在ROI池化之后會破壞小尺度目標(biāo)的結(jié)構(gòu)，導(dǎo)致物體結(jié)構(gòu)失真，于是提出了新的場景感知ROI池化層，維持場景信息和小目標(biāo)的原始結(jié)構(gòu)，可以在不增加額外時間復(fù)雜度的前提下提升檢測精度；Li等[3]提出了Perceptual GAN網(wǎng)絡(luò)來生成小目標(biāo)的超分表達，Perceptual GAN利用大小目標(biāo)的結(jié)構(gòu)相關(guān)性來增強小目標(biāo)的表達，使其與其對應(yīng)大目標(biāo)的表達相似，從而提升小目標(biāo)檢測的精度。 針對布匹缺陷極端的長寬比，陳康等[4]提出了通過增加錨定框的尺寸和比例來增加錨定框的數(shù)量，最終提升了對多尺度目標(biāo)的檢測。孟志青等[5]提出基于快速搜索密度頂點的聚類算法的邊框生成器，結(jié)合真實框的分布特征分區(qū)間對聚類中心進行加權(quán)融合，使區(qū)域建議網(wǎng)絡(luò)生成的邊界框更符合布匹疵點特征。 針對樣本不均衡，Chawla等[6]提出了人工少數(shù)類過采樣法，非簡單地對少數(shù)類別進行重采樣，而是通過設(shè)計算法來人工合成一些新的少數(shù)樣本，減少隨機過采樣引起的過度擬合問題,因為生成的是合成示例，而不是實例的復(fù)制，也不會丟失有用的信息；Yang等[7]通過半監(jiān)督和自監(jiān)督這兩個不同的視角去嘗試?yán)斫夂屠貌黄胶獾臄?shù)據(jù)，并且驗證了這兩種框架均能提升類別不均衡的長尾學(xué)習(xí)問題。 針對布匹疵點小目標(biāo)多，極端長寬比的問題，本文提出一種改進的Cascade R-CNN[8]布匹疵點檢測方法，為適應(yīng)布匹疵點的極端長寬比，在特征提取網(wǎng)絡(luò)的后三個階段采用了可變形卷積(DCN)v2[9]，在RCNN部分采用了在線難例挖掘(OHEM)[10]來提高小目標(biāo)的檢測效果，并采用完全交并比損失函數(shù)(CIoU Loss)[11]進一步提升目標(biāo)邊界框的回歸精度。

改進Cascade R-CNN的面料疵點檢測方法

Faster R-CNN[12]的單一閾值訓(xùn)練出的檢測器效果有限，本文采用了Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示。其在Faster R-CNN的基礎(chǔ)上通過級聯(lián)的方式逐階段提高IoU的閾值，從而使得前一階段重新采樣過的建議框能夠適應(yīng)下一個有更高閾值的階段。工業(yè)場景下目標(biāo)面積小，特征微弱，通過多級調(diào)整，可以使網(wǎng)絡(luò)集中于低占比的缺陷目標(biāo)，最終獲得更為精確的檢測框。

圖1 Cascade R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

Fig.1 Architecture of the Cascade R-CNN network

考慮到實驗環(huán)境的顯存和算力，骨干網(wǎng)絡(luò)主要采用了ResNet50[作為特征提取網(wǎng)絡(luò)來進行對比實驗，并接入特征金字塔網(wǎng)絡(luò)進行多尺度的特征融合，提升對小目標(biāo)的檢測效果。

1.1 在線難例挖掘采樣

在兩階段的目標(biāo)檢測模型中，區(qū)域建議網(wǎng)絡(luò)會產(chǎn)生大量的建議框，但一張圖片的目標(biāo)數(shù)量有限，絕大部分建議框是沒有目標(biāo)的，為了減少計算量，避免網(wǎng)絡(luò)的預(yù)測值少數(shù)服從多數(shù)而向負樣本靠攏，需要調(diào)整正負樣本之間的比例。 目前常規(guī)的解決方式是對兩種樣本進行隨機采樣，以使正負樣本的比例保持在1∶3，這一方式緩解了正負樣本之間的比例不均衡，也被大多數(shù)兩階段目標(biāo)檢測方法所使用，但隨機選出來的建議框不一定是易出錯的框，這就導(dǎo)致對易學(xué)樣本產(chǎn)生過擬合。 在線難例挖掘就是多找一些困難負樣本加入負樣本集進行訓(xùn)練，如圖2所示，b部分是a部分的復(fù)制，a部分只用于尋找困難負例，b部分用來反向傳播，然后把更新的參數(shù)共享到a部分，a部分正常的前向傳播后，獲得每個建議框的損失值，在非極大值抑制后對剩下的建議框按損失值進行排序，然后選用損失較大的前一部分當(dāng)作輸入再進入b部分進行訓(xùn)練。

圖2 在線難例挖掘結(jié)構(gòu)

Fig.2 Architecture of online hard example mining

布匹疵點中的小目標(biāo)疵點往往難以檢測，小目標(biāo)常常被劃分為難例，在Cascade R-CNN的每個級聯(lián)層引入在線難例挖掘采樣之后，提高了整個網(wǎng)絡(luò)的短版，防止了網(wǎng)絡(luò)針對大量易學(xué)樣本過擬合，有利于提升面料疵點的檢測精度。訓(xùn)練集越大越困難，在線難例挖掘在訓(xùn)練中所選擇的難例就越多，訓(xùn)練就更有針對性，效果就越好。而布匹疵點恰好小目標(biāo)多，寬高比方差大，難例較多，更適合在線難例挖掘的應(yīng)用，通過讓網(wǎng)絡(luò)花更多的精力學(xué)習(xí)難樣本，進一步提高了檢測的精度。

1.2 可變形卷積v2

可變形卷積v2由可變形卷積[15]演變而來?？勺冃尉矸e顧名思義就是卷積的位置是可變形的，并非在傳統(tǒng)的N×N的網(wǎng)格上做卷積，傳統(tǒng)卷積僅僅只能提取到矩形框的特征，可變形卷積則能更準(zhǔn)確地提取到復(fù)雜區(qū)域內(nèi)的特征。以N×N卷積為例，每個輸出y(p0)，都要從中心位置x(p0)上采樣9個位置，(-1,-1)代表x(p0)的左上角，(1,1)代表x(p0)的右下角。傳統(tǒng)的卷積輸出如式(2),R為規(guī)格網(wǎng)格，而可變形卷積如式(3)，在傳統(tǒng)卷積操作上加入了一個偏移量Δpn，使采樣點擴散成非網(wǎng)格的形狀。

R={(-1,-1),(-1,0)...,(0,1),(1,1)}(1)

(2)

(3)

而可變形卷積v2如式(4)，在可變形卷積的基礎(chǔ)上加上了每個采樣點的權(quán)重Δmn，這樣增加了更大的變形自由度，對于某些不想要的采樣點可以將權(quán)重設(shè)置為0，提高了網(wǎng)絡(luò)適應(yīng)幾何變化的能力。

(4)

ResNet網(wǎng)絡(luò)共有5個階段，如圖3所示，第一階段為對圖像的預(yù)處理，結(jié)構(gòu)較為簡單，后4個階段結(jié)構(gòu)類似，包含不可串聯(lián)的Conv Block和可串聯(lián)的Identity Block。本文在ResNet50骨干網(wǎng)絡(luò)的最后3個階段采用可變形卷積v2，能夠計算每個點的偏移和權(quán)重，從最合適的地方取特征進行卷積，以此來適應(yīng)不同形狀的瑕疵，緩解了傳統(tǒng)卷積規(guī)格格點采樣無法適應(yīng)目標(biāo)的幾何形變問題，如圖4所示，改進后的骨干網(wǎng)絡(luò)更能適應(yīng)布匹疵點的極端長寬比，有利于疵點的精確檢測。

圖3 Resnet骨干網(wǎng)絡(luò)結(jié)構(gòu)

Fig.3 Architecture of Resnet backbone network

圖4 可變形卷積示意

Fig.4 Diagram of deformable convolution

1.3 完全交并比損失函數(shù)

目標(biāo)檢測中常用的邊界框回歸損失函數(shù)有L1 Loss，L2 Loss，Smooth L1 Loss，上述3種損失在計算時，先獨立地求出邊界框4個頂點的損失，然后相加得到最終的邊界框回歸損失，這種計算方法的前提是假設(shè)4個點是相互獨立的，但實際它們是相關(guān)的。而評價邊界框的指標(biāo)是IoU，如式(5)所示，即預(yù)測邊界框和真實邊界框的交并比。

(5)

但上述3種損失和IoU并不等價，多個邊界框可能損失大小相同，但IoU差異較大，因此就有了IoU Loss[16]，如式(6)所示。

IoU Loss=-ln(IoU)(6)

IoU Loss直接把IoU作為損失函數(shù)，但它無法解決預(yù)測框和真實框不重合時IoU為0的問題，由此產(chǎn)生了GIoU Loss[17]，GIoU如式(7),對于兩個邊界框A和B，要找到一個最小的封閉形狀C，讓C將A和B包圍在里面，然后計算C中沒有覆蓋A和B的面積占C總面積的比例，最后用A和B的IoU值減去這個比值。

(7)

但是當(dāng)目標(biāo)框完全包含預(yù)測框時，GIoU退化為IoU，IoU和GIoU的值相等，無法區(qū)分其相對位置關(guān)系，由此產(chǎn)生了DIoU和CIoU。DIoU將真實框與預(yù)測框之間的距離，重疊率以及尺度都考慮進去，如式(8)：

(8)

式中：b，b??分別代表預(yù)測框和真實框的中心點，ρ表示計算兩個中心點之間的歐式距離，c表示包含預(yù)測框和真實框的最小外界矩形的對角線長度。 CIoU考慮到邊界框回歸中的長寬比還沒被考慮到計算中，在DIoU懲罰項的基礎(chǔ)上添加了影響因子αv，如式(9)：

(9)

式中：α是權(quán)重函數(shù), v表示長寬比的相似性，如式(10)：

(10)

式中：w、w??分別代表預(yù)測框和真實框的寬度，h、hgt分別代表預(yù)測框和真實框的高度。 最終CIoU的損失定義如式(11)：

(11)

本文將原始模型中的邊界框回歸損失選為CIoU Loss，CIoU能夠?qū)⒅丿B面積，中心點距離，長寬比這3個幾何因素都考慮進去，相比其他邊界框損失函數(shù)，其收斂的精度更高，從而可以提升布匹疵點檢測時的定位準(zhǔn)確度。

實驗結(jié)果與對比分析

2.1 實驗數(shù)據(jù)集

本文使用天池布匹疵點數(shù)據(jù)集，包含約9 600張大小為2 446×1 000的純色布匹圖像，其中正常圖片約3 600張，瑕疵圖片約6 000張，每張圖片包含一種或多種瑕疵的一個或幾個，共9 523個疵點，包含了紡織業(yè)中常見的34類布匹瑕疵，將某些類別合并后，最終分為20個類別。各類疵點的分類及數(shù)量見表1，其中6百腳、9松經(jīng)、10斷經(jīng)、11吊經(jīng)、14漿斑等屬于寬高比比較極端的疵點，3三絲、4結(jié)頭、7毛粒、12粗緯、13緯縮等屬于小目標(biāo)的疵點。

表1 布匹瑕疵的分類與數(shù)量

Tab.1 Classification and quantity of fabric defects

圖5為數(shù)據(jù)集中不同類型疵點的目標(biāo)數(shù)統(tǒng)計，不同疵點間數(shù)目差異巨大，種類分布嚴(yán)重不均，例如結(jié)頭近2 000個樣本，而花板跳只有134個樣本，這容易產(chǎn)生過擬合，使訓(xùn)練出的模型泛化能力較差；圖6 展示了不同類型疵點的寬高比，從零點零幾到五十，疵點尺寸差異較大；圖7展示了典型的寬高比懸殊的疵點；圖8為不同面積目標(biāo)的數(shù)量占比，其中小目標(biāo)占比較高，約四分之一，這些都給布匹疵點的檢測帶來了困難。

圖5 不同類別目標(biāo)數(shù)統(tǒng)計

Fig.5 Statistics of target number of different categories

圖6 目標(biāo)寬高比統(tǒng)計

Fig.6 Statistics of target aspect ratio

圖7 典型疵點

Fig.7 Typical defects

圖8 目標(biāo)面積統(tǒng)計

Fig.8 Statistics of target area

由于數(shù)據(jù)尺度固定，也不涉及自然場景，非常適合通過上下反轉(zhuǎn)等操作來進行數(shù)據(jù)增強。為減少過擬合，降低疵點種類分布不均的影響，本文對樣本數(shù)小于200的四類疵點進行了水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)的線下增強，對樣本數(shù)在200～300之間的三類疵點進行了水平翻轉(zhuǎn)的線下增強，最終將數(shù)據(jù)集擴充到約 10 000 張瑕疵圖片。

2.2 實驗環(huán)境及配置

實驗運行的環(huán)境為英特爾i9 10900X，GeForce RTX3080，32G內(nèi)存，Ubuntu18.04操作系統(tǒng)。 為盡可能地利用實驗數(shù)據(jù)，訓(xùn)練集中只使用瑕疵圖片，隨機選1000張正常圖片進行兩等分，分別放于驗證集和測試集，并向驗證集和測試集中加入瑕疵圖片，最終訓(xùn)練集、驗證集和測試集比例約為60%、20%和20%。對于所提出的Cascade R-CNN卷積神經(jīng)網(wǎng)絡(luò)，選擇交叉熵作為分類損失函數(shù)。為了加快收斂速度，使用了COCO的預(yù)訓(xùn)練權(quán)重，并設(shè)置了梯度裁剪來穩(wěn)定訓(xùn)練過程，避免產(chǎn)生梯度爆炸或梯度消失。 考慮到樣本的寬高比差異較大，而Cascade R-CNN 網(wǎng)絡(luò)原始的邊界框比例是根據(jù)COCO數(shù)據(jù)集設(shè)計的，原始的[0.5,1.0,2.0]的比例并不能滿足布匹疵點的需要，因此將邊界框比例設(shè)計為[0.02,0.05,0.1,0.5,1.0,2.0,10.0,20.0,50.0]來提高檢測精度。 用Soft-NMS[18]代替了原模型中NMS[19]，Soft-NMS沒有將其重合度較高的邊界框直接刪除，而是通過重合度對邊界框的置信度進行衰減，最終得到的結(jié)果并非一定是全局最優(yōu)解，但比NMS更泛化，能有效避免面料疵點丟失，且不會增加算法的復(fù)雜度[20]。

2.3 實驗結(jié)果對比

在進行數(shù)據(jù)擴增前，數(shù)量多的樣本能夠最先被識別出來，而且最終的平均精確度較高，而數(shù)量少的樣本，識別出來的較晚，且最終的平均精確度較低，模型明顯過擬合，偏向于數(shù)量較多的樣本，通過對類別少的數(shù)據(jù)進行數(shù)據(jù)擴增，有效的緩解了這一問題，且最終的檢測精度也有提升。 模型改進前后的檢測效果對比如圖9所示，改進前后的效果按照上下分布，改進后的模型對目標(biāo)的邊界識別更加精準(zhǔn)，對小目標(biāo)的檢出能力更強，疵點檢測效果更好。

圖9 模型改進前后的檢測效果對比

Fig.9 The Comparison of detection effect before and after model improvement

為了對比模型的性能，本文以準(zhǔn)確率ACC和平均精確度均值mAP[21]作為評價指標(biāo)，ACC是有瑕疵或無瑕疵的二分類指標(biāo)，評估瑕疵檢出能力。mAP是所有類別的平均精確度的均值，參照PASCALVOC的評估標(biāo)準(zhǔn)[22]進行計算。模型改進前后的評價參數(shù)如表2所示，在線難例挖掘采樣對2、7、13、15、17、18、20等類別的提升較大，這些類型本身的AP較低，可以歸為難例，證明了在線難例挖掘采樣的有效性。引入OHEM后，雖然模型準(zhǔn)確率略微下降，但平均精確度均值還是有較為明顯的提升。綜合來看，改進后的模型在準(zhǔn)確率和平均精確度均值上分別提升了3.57%和6.45%，證明了上述3種方法的有效性。

表2 模型改進前后的評價參數(shù)

Tab.2 Evaluation parameter before and after model improvement %

影響小目標(biāo)檢測效果的因素有輸入圖像的尺度、小目標(biāo)的數(shù)量、特征融合、邊界框的設(shè)計和光照強度等，為了獲得更好的檢測效果，在訓(xùn)練出模型后，再在不同的光強下對測試集進行測試，本文使用了mmdetection框架的線上調(diào)整亮度的方式，將亮度劃分為0～10之間的小數(shù)范圍，對比實驗結(jié)果如表3所示，不同光強下的平均精確度均值差異較大，驗證了光強對布匹疵點的識別影響較大，但本文未能找到統(tǒng)一的最佳的光照強度，后通過比較數(shù)據(jù)集發(fā)現(xiàn)，本文數(shù)據(jù)源于實際工業(yè)場景，不同數(shù)據(jù)已有明顯不同的光強，且布匹顏色并不一致，不同顏色的布匹最合適的光強可能并不一致，因此本文的后續(xù)實驗不再調(diào)整統(tǒng)一的光照強度，采用原始數(shù)據(jù)集的亮度。

表3 不同光照強度下測試集的對比

Tab.3 The comparison of the proposed algorithm under different light intensities on test sets

表4為引入在線難例挖掘采樣前后的模型性能對比，在引入在線難例挖掘之后，測試集上的性能明顯提升，而訓(xùn)練集上的性能反而下降，證明了在線難例挖掘采樣能夠減輕模型的過擬合，同時對于模型的性能提升也是有效的。

表4 引入OHEM前后的對比

Tab.4 The comparison before and after the introduction of OHEM

除ResNet50外，本文還選用了不同的特征提取網(wǎng)絡(luò)進行對比實驗，如表5所示，改進后的算法分別采用了ResNet50，ResNet101，ResNext101骨干網(wǎng)絡(luò)進行對比，結(jié)果表明本文算法對這幾種骨干網(wǎng)絡(luò)都適用，在相同算法下，ResNext101的性能優(yōu)于ResNet101和ResNet50，準(zhǔn)確率和平均精確度均值分別達到了98.46%和58.11%，相比原來的ResNet50分別提升了1.26%和2.74%，平均精確度均值相比準(zhǔn)確率有著更為明顯的提升。

表5 算法在不同特征提取網(wǎng)絡(luò)上的對比

Tab.5 The comparison of algorithms on different feature extraction networks

結(jié)論

針對布匹疵點具有極端的寬高比，而且小目標(biāo)較多的問題，提出了基于Cascade R-CNN的布匹檢測算法，根據(jù)布匹疵點的形狀特點，用可變形卷積v2替代傳統(tǒng)的卷積方式進行特征提取，并使用在線難例挖掘采樣的方法提升對小目標(biāo)疵點的檢測效果，用CIoU Loss提升邊界框的精度。結(jié)果表明，本文提出的方法比原始模型擁有更高的準(zhǔn)確率和平均精確度均值，疵點檢出能力更強，精度更高。此外，由于實驗環(huán)境算力的限制，本文未采用更多的擴增數(shù)據(jù)，也并沒有進行模型融合去提升最終的模型評價指標(biāo)。實驗過程中發(fā)現(xiàn)，邊界框?qū)捀弑?，NMS閾值，IoU閾值等一些超參數(shù)的設(shè)置，對模型的性能有極大的影響。例如小目標(biāo)尺度小，邊界框的交并比更低，在相同閾值下難以得到足夠的正樣本[23]，因此，如何更深的理解布匹疵點數(shù)據(jù)特性，選擇最適合布匹疵點特性的超參數(shù)列表，以此來提高目標(biāo)檢測的性能，將是未來的一個研究方向。

審核編輯：郭婷