多家機構(gòu)聯(lián)合提出MMDetection工具箱助力目標(biāo)檢測新發(fā)展

目標(biāo)檢測作為視覺領(lǐng)域的重要任務(wù)，近年來在研究人員的共同努力下取得了豐碩的成果，包括一系列算法、數(shù)據(jù)、開源工具等等。為了向?qū)W術(shù)屆和工業(yè)界提供更多完善靈活的工具和模塊化部件，多個大學(xué)和機構(gòu)的研究人員聯(lián)合提出了目標(biāo)檢測工具箱Open MMLab Detection，將有效促進目標(biāo)檢測領(lǐng)域的應(yīng)用和新方法研究發(fā)展。

MMDetection工具箱主要有如下特點：

首先是模塊化的設(shè)計：研究人員將目標(biāo)檢測的網(wǎng)絡(luò)架構(gòu)分解成不同的原件，并構(gòu)建了多樣化的模塊似的用戶可以根據(jù)需要構(gòu)建個性化的檢測架構(gòu)；

支持多樣化的模型架構(gòu)：包括單階段，雙階段和多階段的檢測架構(gòu)都可以通過這一工具箱輕松構(gòu)建；

高性能計算：所有的基礎(chǔ)元件和模塊都進行了GPU實現(xiàn)，可以實現(xiàn)最先進的訓(xùn)練速度；

優(yōu)異的目標(biāo)檢測性能：這一工具箱由2018年COCO目標(biāo)檢測團隊MMDet主導(dǎo)開發(fā)，并不斷在前沿表現(xiàn)的基礎(chǔ)上提升著模型性能。

工具箱的主要架構(gòu)

研究人員將目標(biāo)檢測架構(gòu)拆解成了多個通用部分，并將每一部分標(biāo)準(zhǔn)化和模塊化。

單階段和量階段檢測器的元件分解圖

主干網(wǎng)絡(luò)(backlbone)：其作用是從圖像中抽取特征，將圖像從像素空間轉(zhuǎn)換到高維的特征空間中去，例如VGG和ResNet-50等都是常用的主干網(wǎng)絡(luò);

銜接部分(Neck)：用于連接主干網(wǎng)絡(luò)與頭部結(jié)構(gòu)，它的作用是重新配置或者優(yōu)化由主干網(wǎng)絡(luò)生成的初始特征圖，特征金字塔網(wǎng)絡(luò)就是一種典型的銜接部件；

密集連接頭(DenseHead)：用于在特征圖上進行密集的位置相關(guān)操作，包括AnchorHead、AnchorFreeHead等，其中RPN、Retina、FCOS等Head是具有代表性的操作；

ROI抽取器：用于從單個或多個特征圖中抽取出每個RoI對應(yīng)的特征，例如SingleRoIExtractor.

感興趣區(qū)域頭(RoIHead)：將RoI特征作為輸出并計算出對應(yīng)的任務(wù)結(jié)果，包括bbox的位置、分類或者分割的預(yù)測結(jié)果。

通過這些通用模塊，工程人員或研究人員可以構(gòu)建出自己的檢測器，并在此基礎(chǔ)上進行更深入地開發(fā)和探索。

標(biāo)準(zhǔn)的訓(xùn)練流程

同時在這一工具箱中將訓(xùn)練過程總結(jié)成了一個標(biāo)準(zhǔn)的、適用于多種視覺任務(wù)的通用流程。其中訓(xùn)練和驗證流程可以循環(huán)進行，在每個周期將在模型上運行多次前傳和反傳操作。

為了讓流程為便捷和個性化，研究人員定義了最小流程單位；同時也支持多種用戶自定義操作和時間節(jié)點，并可以利用鉤子觸發(fā)對應(yīng)的時間節(jié)點及對應(yīng)操作。

涵蓋豐富的模塊和架構(gòu)

下表展示了目前MMDetection中包含具有代表性的模型架構(gòu)，包括了單階段、兩段和多級的多種目標(biāo)檢測及分割方法。

這一工具箱支持的檢測模型完整列表如下，數(shù)量上遠遠超過了其他現(xiàn)有目標(biāo)檢測代碼庫：

此外還包括了各種先進的模塊方法實現(xiàn)：

為了比較這一工具包中各個模塊的性能，研究人員在模型性能、速度和內(nèi)存的方面進行了比較。同時也在不同GPU及GPU節(jié)點上對代表性模型的表現(xiàn)進行測評。結(jié)果如下圖所示：

與先前的三個目標(biāo)檢測工具箱進行了性能、速度和內(nèi)存開銷方面的對比

下圖展示了典型模型在不同GPU和多個分布式架構(gòu)上的拓展能力：

此外研究人員還對歸一化、損失函數(shù)、訓(xùn)練規(guī)模以及各種超參數(shù)進行了詳細的分析和對比，如果想要了解更多細節(jié)請參看：

https://arxiv.org/pdf/1906.07155.pdf

如果在學(xué)習(xí)研發(fā)中需要使用工具箱，代碼和部署工具可以在這里找到，其中包含了200多個網(wǎng)絡(luò)模型和模塊工具：

https://github.com/open-mmlab/mmdetection

ref:http://mmlab.ie.cuhk.edu.hk/index.htmlhttps://github.com/open-mmlab/mmdetection/tree/master/mmdethttps://arxiv.org/pdf/1906.07155.pdfhttps://github.com/NVIDIA/apex

picture from:https://dribbble.com/shots/5075555-Toolbox

https://dribbble.com/shots/3000321-Toolbox