目標(biāo)檢測(cè)一階段與二階段算法簡(jiǎn)介

目標(biāo)檢測(cè)任務(wù)

目標(biāo)檢測(cè)的任務(wù)是找出圖像或視頻中的感興趣目標(biāo)，同時(shí)檢測(cè)出它們的位置和大小，是機(jī)器視覺(jué)領(lǐng)域的核心問(wèn)題之一。

目標(biāo)檢測(cè)過(guò)程中有很多不確定因素，如圖像中目標(biāo)數(shù)量不確定，物體有不同的外觀、形狀、姿態(tài)，加之物體成像時(shí)會(huì)有光照、遮擋等因素的干擾，導(dǎo)致檢測(cè)算法有一定的難度。

two stage與one stage

進(jìn)入深度學(xué)習(xí)時(shí)代以來(lái)，物體檢測(cè)發(fā)展主要集中在兩個(gè)方向：two stage 算法如 R-CNN 系列和one stage 算法如 YOLO、SSD 等。兩者的主要區(qū)別在于 two stage 算法需要先生成 proposal（一個(gè)有可能包含待檢物體的預(yù)選框），然后進(jìn)行細(xì)粒度的物體檢測(cè)。而 one stage 算法會(huì)直接在網(wǎng)絡(luò)中提取特征來(lái)預(yù)測(cè)物體分類和位置。

Two-Stage算法（段到段）：

使用各種CNN卷積神經(jīng)網(wǎng)絡(luò)作為backbone主干網(wǎng)絡(luò)，進(jìn)行特征提取，然后進(jìn)行一步粗分類（區(qū)分前景和后景）和粗定位（anchor），也就是說(shuō)在上圖的“產(chǎn)生候選區(qū)域CNN特征”之前還應(yīng)該有一個(gè)框“使用RPN網(wǎng)絡(luò)產(chǎn)生候選區(qū)CNN特征”。

two-stage常見(jiàn)算法：

One-Stage算法（端到端）：

one-stage算法使用CNN卷積特征，直接回歸物體的類別概率和位置坐標(biāo)值。

two-stage與one-stage對(duì)比：

• two-stage精度高但速度慢，one-stage速度快但精度稍遜；

• two-stage目標(biāo)檢測(cè)器采用了兩段結(jié)構(gòu)采樣來(lái)處理類別不均衡的問(wèn)題（意思就是在同一張圖片中需要進(jìn)行檢測(cè)的目標(biāo)太少，不需要檢測(cè)的背景信息太多），一階段中：rpn使正負(fù)樣本更加均衡（先粗分類，區(qū)分前后景），再粗回歸，使用Anchor來(lái)擬合bbox，然后再二階段精調(diào)；

• One stage detector 的一個(gè)通病就是既要做定位又要做classification。最后幾層1x1 conv layer的loss混在一起，并沒(méi)有什么專門做detection或者專門做bbox regression的參數(shù)，那每個(gè)參數(shù)的學(xué)習(xí)難度就大一點(diǎn)；

• Two stage detector 的第一個(gè)stage相當(dāng)于先拿一個(gè)one stage detector來(lái)做一次前景后景的classification + detection。這個(gè)任務(wù)比one stage detector的直接上手N class classification + detection要簡(jiǎn)單很多。有了前景后景，就可以選擇性的挑選樣本使得正負(fù)樣本更加均衡，然后拿著一些參數(shù)重點(diǎn)訓(xùn)練classification。訓(xùn)練classification的難度也比直接做混合的classification和regression 簡(jiǎn)單很多；

• two-stage其實(shí)就是把一個(gè)復(fù)雜的大問(wèn)題拆分成更為簡(jiǎn)單的小問(wèn)題。各個(gè)參數(shù)有專攻，Two Stage Detector 在這個(gè)方面是有優(yōu)勢(shì)的。但one stage detector 里如果用了 focal loss 和 separate detection/classification head 那效果跟 two stage detector 應(yīng)該是一樣的。

優(yōu)缺點(diǎn)對(duì)比：

Coovally部分內(nèi)置目標(biāo)檢測(cè)算法介紹

Two-Stage算法示例

Faster R-CNN

Faster R-CNN 取代selective search，直接通過(guò)一個(gè)Region Proposal Network (RPN)生成待檢測(cè)區(qū)域，這么做，在生成RoI區(qū)域的時(shí)候，時(shí)間也就從2s縮減到了10ms。下圖是Faster R-CNN整體結(jié)構(gòu)。

由上圖可知，F(xiàn)aster R-CNN由共享卷積層、RPN、RoI pooling以及分類和回歸四部分組成：

• 首先使用共享卷積層為全圖提取特征feature maps；

• 將得到的feature maps送入RPN，RPN生成待檢測(cè)框(指定RoI的位置),并對(duì)RoI的包圍框進(jìn)行第一次修正；

• RoI Pooling Layer根據(jù)RPN的輸出在feature map上面選取每個(gè)RoI對(duì)應(yīng)的特征，并將維度置為定值；

• 使用全連接層(FC Layer)對(duì)框進(jìn)行分類，并且進(jìn)行目標(biāo)包圍框的第二次修正。尤其注意的是，F(xiàn)aster R-CNN真正實(shí)現(xiàn)了端到端的訓(xùn)練(end-to-end training)。Faster R-CNN最大特色是使用了RPN取代了SS算法來(lái)獲取RoI，以下對(duì)RPN進(jìn)行分析。

RPN

經(jīng)典的檢測(cè)方法生成檢測(cè)框都非常耗時(shí)，如OpenCV adaboost使用滑動(dòng)窗口+圖像金字塔生成檢測(cè)框；或如R-CNN使用SS(Selective Search)方法生成檢測(cè)框。

而Faster R-CNN則拋棄了傳統(tǒng)的滑動(dòng)窗口和SS方法，直接使用RPN生成檢測(cè)框，這也是Faster R-CNN的巨大優(yōu)勢(shì)，能極大提升檢測(cè)框的生成速度。下圖為RPN的工作原理：

上圖展示了RPN網(wǎng)絡(luò)的具體結(jié)構(gòu)。

可以看到RPN網(wǎng)絡(luò)實(shí)際分為2條支線，上面一條支線通過(guò)softmax來(lái)分類anchors獲得前景foreground和背景background（檢測(cè)目標(biāo)是foreground），下面一條支線用于計(jì)算anchors的邊框偏移量，以獲得精確的proposals。

而最后的proposal層則負(fù)責(zé)綜合foreground anchors和偏移量獲取proposals，同時(shí)剔除太小和超出邊界的proposals。其實(shí)整個(gè)網(wǎng)絡(luò)到了Proposal Layer這里，就完成了相當(dāng)于目標(biāo)定位的功能。

anchor：簡(jiǎn)單地說(shuō)，RPN依靠一個(gè)在共享特征圖上滑動(dòng)的窗口，為每個(gè)位置生成9種預(yù)先設(shè)置好長(zhǎng)寬比與面積的目標(biāo)框(即anchor)。

分類和定位

Faster R-CNN中的RoI Pooling Layer與 Fast R-CNN中原理一樣。

在RoI Pooling Layer之后，就是Faster R-CNN的分類器和RoI邊框修正訓(xùn)練。分類器主要是分這個(gè)提取的RoI具體是什么類別(人，車，馬等)，一共C+1類(包含一類背景)。

RoI邊框修正和RPN中的anchor邊框修正原理一樣，同樣也是SmoothL1 Loss，值得注意的是，RoI邊框修正也是對(duì)于非背景的RoI進(jìn)行修正，對(duì)于類別標(biāo)簽為背景的RoI，則不進(jìn)行RoI邊框修正的參數(shù)訓(xùn)練。

One-Stage算法示例

1. Yolo

針對(duì)于two-stage目標(biāo)檢測(cè)算法普遍存在的運(yùn)算速度慢的缺點(diǎn)，Yolo創(chuàng)造性的提出了one-stage，也就是將物體分類和物體定位在一個(gè)步驟中完成。

Yolo直接在輸出層回歸bounding box的位置和bounding box所屬類別，從而實(shí)現(xiàn)one-stage。

通過(guò)這種方式，Yolo可實(shí)現(xiàn)45幀每秒的運(yùn)算速度，完全能滿足實(shí)時(shí)性要求（達(dá)到24幀每秒，人眼就認(rèn)為是連續(xù)的）。

整個(gè)系統(tǒng)如下圖所示：

主要分為三個(gè)部分：卷積層，目標(biāo)檢測(cè)層，NMS篩選層。

卷積層

采用Google inceptionV1網(wǎng)絡(luò)，對(duì)應(yīng)到上圖中的第一個(gè)階段，共20層。

這一層主要是進(jìn)行特征提取，從而提高模型泛化能力。但作者對(duì)inceptionV1進(jìn)行了改造，他沒(méi)有使用inception module結(jié)構(gòu)，而是用一個(gè)1x1的卷積，并聯(lián)一個(gè)3x3的卷積來(lái)替代（可以認(rèn)為只使用了inception module中的一個(gè)分支，應(yīng)該是為了簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)）。

目標(biāo)檢測(cè)層

先經(jīng)過(guò)4個(gè)卷積層和2個(gè)全連接層，最后生成7x7x30的輸出。

先經(jīng)過(guò)4個(gè)卷積層的目的是為了提高模型泛化能力。

Yolo將一副448x448的原圖分割成了7x7個(gè)網(wǎng)格，然后每個(gè)單元格負(fù)責(zé)去檢測(cè)那些中心點(diǎn)落在該格子內(nèi)的目標(biāo)。

NMS篩選層

篩選層是為了在多個(gè)結(jié)果中（多個(gè)bounding box）篩選出最合適的幾個(gè)，這個(gè)方法和faster R-CNN 中基本相同。都是先過(guò)濾掉score低于閾值的box，對(duì)剩下的box進(jìn)行NMS非極大值抑制，去除掉重疊度比較高的box（NMS具體算法可以回顧上面faster R-CNN小節(jié)）。

這樣就得到了最終的最合適的幾個(gè)box和他們的類別。

Yolo損失函數(shù)

yolo的損失函數(shù)包含三部分，位置誤差，confidence誤差，分類誤差。具體公式如下：

誤差均采用了均方差算法，Yolo算法開(kāi)創(chuàng)了one-stage檢測(cè)的先河，它將物體分類和物體檢測(cè)網(wǎng)絡(luò)合二為一，都在全連接層完成。故它大大降低了目標(biāo)檢測(cè)的耗時(shí)，提高了實(shí)時(shí)性。

但它的缺點(diǎn)也十分明顯：

• 每個(gè)網(wǎng)格只對(duì)應(yīng)兩個(gè)bounding box，當(dāng)物體的長(zhǎng)寬比不常見(jiàn)（也就是訓(xùn)練數(shù)據(jù)集覆蓋不到時(shí)），效果很差；

• 原始圖片只劃分為7x7的網(wǎng)格，當(dāng)兩個(gè)物體靠的很近時(shí)，效果很差；

• 最終每個(gè)網(wǎng)格只對(duì)應(yīng)一個(gè)類別，容易出現(xiàn)漏檢（物體沒(méi)有被識(shí)別到）；

• 對(duì)于圖片中比較小的物體，效果很差。

2. SSD

Faster R-CNN準(zhǔn)確率mAP較高，漏檢率recall較低，但速度較慢。而Yolo則相反，速度快，但準(zhǔn)確率和漏檢率不盡人意。

SSD綜合了他們的優(yōu)缺點(diǎn)，對(duì)輸入300x300的圖像，在voc2007數(shù)據(jù)集上test，能夠達(dá)到58 幀每秒( Titan X 的 GPU )，72.1%的mAP。

SSD和Yolo一樣都是采用一個(gè)CNN網(wǎng)絡(luò)來(lái)進(jìn)行檢測(cè)，但是卻采用了多尺度的特征圖，SSD網(wǎng)絡(luò)結(jié)構(gòu)如下圖：

和Yolo一樣，也分為三部分：卷積層，目標(biāo)檢測(cè)層和NMS篩選層。

卷積層

SSD論文采用了VGG16的基礎(chǔ)網(wǎng)絡(luò)，其實(shí)這也是幾乎所有目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)的慣用方法。先用一個(gè)CNN網(wǎng)絡(luò)來(lái)提取特征，然后再進(jìn)行后續(xù)的目標(biāo)定位和目標(biāo)分類識(shí)別。

目標(biāo)檢測(cè)層

這一層由5個(gè)卷積層和一個(gè)平均池化層組成。去掉了最后的全連接層。SSD認(rèn)為目標(biāo)檢測(cè)中的物體，只與周圍信息相關(guān)，它的感受野不是全局的，故沒(méi)必要也不應(yīng)該做全連接。SSD的特點(diǎn)如下：

• 多尺寸feature map上進(jìn)行目標(biāo)檢測(cè)。每一個(gè)卷積層，都會(huì)輸出不同大小感受野的feature map。在這些不同尺度的feature map上，進(jìn)行目標(biāo)位置和類別的訓(xùn)練和預(yù)測(cè)，從而達(dá)到多尺度檢測(cè)的目的，可以克服yolo對(duì)于寬高比不常見(jiàn)的物體，識(shí)別準(zhǔn)確率較低的問(wèn)題。而yolo中，只在最后一個(gè)卷積層上做目標(biāo)位置和類別的訓(xùn)練和預(yù)測(cè)。這是SSD相對(duì)于yolo能提高準(zhǔn)確率的一個(gè)關(guān)鍵所在。

如上所示，在每個(gè)卷積層上都會(huì)進(jìn)行目標(biāo)檢測(cè)和分類，最后由NMS進(jìn)行篩選，輸出最終的結(jié)果。多尺度f(wàn)eature map上做目標(biāo)檢測(cè)，就相當(dāng)于多了很多寬高比例的bounding box，可以大大提高泛化能力。

• 設(shè)置先驗(yàn)框。在Yolo中，每個(gè)單元預(yù)測(cè)多個(gè)邊界框，但是其都是相對(duì)這個(gè)單元本身（正方塊），但是真實(shí)目標(biāo)的形狀是多變的，Yolo需要在訓(xùn)練過(guò)程中自適應(yīng)目標(biāo)的形狀。而SSD和Faster R-CNN相似，也提出了anchor的概念。卷積輸出的feature map，每個(gè)點(diǎn)對(duì)應(yīng)為原圖的一個(gè)區(qū)域的中心點(diǎn)。以這個(gè)點(diǎn)為中心，構(gòu)造出6個(gè)寬高比例不同，大小不同的anchor（SSD中稱為default box）。每個(gè)anchor對(duì)應(yīng)4個(gè)位置參數(shù)(x,y,w,h)和21個(gè)類別概率（voc訓(xùn)練集為20分類問(wèn)題，在加上anchor是否為背景，共21分類）。

SSD的檢測(cè)值也與Yolo不太一樣。對(duì)于每個(gè)單元的每個(gè)先驗(yàn)框，其都輸出一套獨(dú)立的檢測(cè)值，對(duì)應(yīng)一個(gè)邊界框，主要分為兩個(gè)部分。第一部分是各個(gè)類別的置信度或者評(píng)分，值得注意的是SSD將背景也當(dāng)做了一個(gè)特殊的類別，如果檢測(cè)目標(biāo)共有 個(gè)類別，SSD其實(shí)需要預(yù)測(cè) 個(gè)置信度值，其中第一個(gè)置信度指的是不含目標(biāo)或者屬于背景的評(píng)分。后面當(dāng)我們說(shuō) 個(gè)類別置信度時(shí)，請(qǐng)記住里面包含背景那個(gè)特殊的類別，即真實(shí)的檢測(cè)類別只有 個(gè)。在預(yù)測(cè)過(guò)程中，置信度最高的那個(gè)類別就是邊界框所屬的類別，特別地，當(dāng)?shù)谝粋€(gè)置信度值最高時(shí)，表示邊界框中并不包含目標(biāo)。第二部分就是邊界框的location，包含4個(gè)值 ，分別表示邊界框的中心坐標(biāo)以及寬高。但是真實(shí)預(yù)測(cè)值其實(shí)只是邊界框相對(duì)于先驗(yàn)框的轉(zhuǎn)換值(paper里面說(shuō)是offset，但是覺(jué)得transformation更合適，參見(jiàn)R-CNN。

另外，SSD采用了數(shù)據(jù)增強(qiáng)。生成與目標(biāo)物體真實(shí)box間IOU為0.1 0.3 0.5 0.7 0.9的patch，隨機(jī)選取這些patch參與訓(xùn)練，并對(duì)他們進(jìn)行隨機(jī)水平翻轉(zhuǎn)等操作。SSD認(rèn)為這個(gè)策略提高了8.8%的準(zhǔn)確率。

篩選層

和yolo的篩選層基本一致，同樣先過(guò)濾掉類別概率低于閾值的default box，再采用NMS非極大值抑制，篩掉重疊度較高的。只不過(guò)SSD綜合了各個(gè)不同feature map上的目標(biāo)檢測(cè)輸出的default box。

審核編輯 ：李倩