目標(biāo)檢測作為視覺領(lǐng)域的重要任務(wù),近年來在研究人員的共同努力下取得了豐碩的成果,包括一系列算法、數(shù)據(jù)、開源工具等等。為了向?qū)W術(shù)屆和工業(yè)界提供更多完善靈活的工具和模塊化部件,多個大學(xué)和機構(gòu)的研究人員聯(lián)合提出了目標(biāo)檢測工具箱Open MMLab Detection,將有效促進目標(biāo)檢測領(lǐng)域的應(yīng)用和新方法研究發(fā)展。
MMDetection工具箱主要有如下特點:
首先是模塊化的設(shè)計:研究人員將目標(biāo)檢測的網(wǎng)絡(luò)架構(gòu)分解成不同的原件,并構(gòu)建了多樣化的模塊似的用戶可以根據(jù)需要構(gòu)建個性化的檢測架構(gòu);
支持多樣化的模型架構(gòu):包括單階段,雙階段和多階段的檢測架構(gòu)都可以通過這一工具箱輕松構(gòu)建;
高性能計算:所有的基礎(chǔ)元件和模塊都進行了GPU實現(xiàn),可以實現(xiàn)最先進的訓(xùn)練速度;
優(yōu)異的目標(biāo)檢測性能:這一工具箱由2018年COCO目標(biāo)檢測團隊MMDet主導(dǎo)開發(fā),并不斷在前沿表現(xiàn)的基礎(chǔ)上提升著模型性能。
工具箱的主要架構(gòu)
研究人員將目標(biāo)檢測架構(gòu)拆解成了多個通用部分,并將每一部分標(biāo)準(zhǔn)化和模塊化。
單階段和量階段檢測器的元件分解圖
主干網(wǎng)絡(luò)(backlbone):其作用是從圖像中抽取特征,將圖像從像素空間轉(zhuǎn)換到高維的特征空間中去,例如VGG和ResNet-50等都是常用的主干網(wǎng)絡(luò);
銜接部分(Neck):用于連接主干網(wǎng)絡(luò)與頭部結(jié)構(gòu),它的作用是重新配置或者優(yōu)化由主干網(wǎng)絡(luò)生成的初始特征圖,特征金字塔網(wǎng)絡(luò)就是一種典型的銜接部件;
密集連接頭(DenseHead):用于在特征圖上進行密集的位置相關(guān)操作,包括AnchorHead、AnchorFreeHead等,其中RPN、Retina、FCOS等Head是具有代表性的操作;
ROI抽取器:用于從單個或多個特征圖中抽取出每個RoI對應(yīng)的特征,例如SingleRoIExtractor.
感興趣區(qū)域頭(RoIHead):將RoI特征作為輸出并計算出對應(yīng)的任務(wù)結(jié)果,包括bbox的位置、分類或者分割的預(yù)測結(jié)果。
通過這些通用模塊,工程人員或研究人員可以構(gòu)建出自己的檢測器,并在此基礎(chǔ)上進行更深入地開發(fā)和探索。
標(biāo)準(zhǔn)的訓(xùn)練流程
同時在這一工具箱中將訓(xùn)練過程總結(jié)成了一個標(biāo)準(zhǔn)的、適用于多種視覺任務(wù)的通用流程。其中訓(xùn)練和驗證流程可以循環(huán)進行,在每個周期將在模型上運行多次前傳和反傳操作。
為了讓流程為便捷和個性化,研究人員定義了最小流程單位;同時也支持多種用戶自定義操作和時間節(jié)點,并可以利用鉤子觸發(fā)對應(yīng)的時間節(jié)點及對應(yīng)操作。
涵蓋豐富的模塊和架構(gòu)
下表展示了目前MMDetection中包含具有代表性的模型架構(gòu),包括了單階段、兩段和多級的多種目標(biāo)檢測及分割方法。
這一工具箱支持的檢測模型完整列表如下,數(shù)量上遠遠超過了其他現(xiàn)有目標(biāo)檢測代碼庫:
此外還包括了各種先進的模塊方法實現(xiàn):
為了比較這一工具包中各個模塊的性能,研究人員在模型性能、速度和內(nèi)存的方面進行了比較。同時也在不同GPU及GPU節(jié)點上對代表性模型的表現(xiàn)進行測評。結(jié)果如下圖所示:
與先前的三個目標(biāo)檢測工具箱進行了性能、速度和內(nèi)存開銷方面的對比
下圖展示了典型模型在不同GPU和多個分布式架構(gòu)上的拓展能力:
此外研究人員還對歸一化、損失函數(shù)、訓(xùn)練規(guī)模以及各種超參數(shù)進行了詳細的分析和對比,如果想要了解更多細節(jié)請參看:
https://arxiv.org/pdf/1906.07155.pdf
如果在學(xué)習(xí)研發(fā)中需要使用工具箱,代碼和部署工具可以在這里找到,其中包含了200多個網(wǎng)絡(luò)模型和模塊工具:
https://github.com/open-mmlab/mmdetection
ref:http://mmlab.ie.cuhk.edu.hk/index.htmlhttps://github.com/open-mmlab/mmdetection/tree/master/mmdethttps://arxiv.org/pdf/1906.07155.pdfhttps://github.com/NVIDIA/apex
picture from:https://dribbble.com/shots/5075555-Toolbox
https://dribbble.com/shots/3000321-Toolbox
-
圖像
+關(guān)注
關(guān)注
2文章
1078瀏覽量
40348 -
模塊化
+關(guān)注
關(guān)注
0文章
327瀏覽量
21305
原文標(biāo)題:目標(biāo)檢測用這個就夠了!多家機構(gòu)聯(lián)合提出MMDetection工具箱助力目標(biāo)檢測新發(fā)展
文章出處:【微信號:thejiangmen,微信公眾號:將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論