目標檢測作為視覺領域的重要任務,近年來在研究人員的共同努力下取得了豐碩的成果,包括一系列算法、數據、開源工具等等。為了向學術屆和工業界提供更多完善靈活的工具和模塊化部件,多個大學和機構的研究人員聯合提出了目標檢測工具箱Open MMLab Detection,將有效促進目標檢測領域的應用和新方法研究發展。
MMDetection工具箱主要有如下特點:
首先是模塊化的設計:研究人員將目標檢測的網絡架構分解成不同的原件,并構建了多樣化的模塊似的用戶可以根據需要構建個性化的檢測架構;
支持多樣化的模型架構:包括單階段,雙階段和多階段的檢測架構都可以通過這一工具箱輕松構建;
高性能計算:所有的基礎元件和模塊都進行了GPU實現,可以實現最先進的訓練速度;
優異的目標檢測性能:這一工具箱由2018年COCO目標檢測團隊MMDet主導開發,并不斷在前沿表現的基礎上提升著模型性能。
工具箱的主要架構
研究人員將目標檢測架構拆解成了多個通用部分,并將每一部分標準化和模塊化。
單階段和量階段檢測器的元件分解圖
主干網絡(backlbone):其作用是從圖像中抽取特征,將圖像從像素空間轉換到高維的特征空間中去,例如VGG和ResNet-50等都是常用的主干網絡;
銜接部分(Neck):用于連接主干網絡與頭部結構,它的作用是重新配置或者優化由主干網絡生成的初始特征圖,特征金字塔網絡就是一種典型的銜接部件;
密集連接頭(DenseHead):用于在特征圖上進行密集的位置相關操作,包括AnchorHead、AnchorFreeHead等,其中RPN、Retina、FCOS等Head是具有代表性的操作;
ROI抽取器:用于從單個或多個特征圖中抽取出每個RoI對應的特征,例如SingleRoIExtractor.
感興趣區域頭(RoIHead):將RoI特征作為輸出并計算出對應的任務結果,包括bbox的位置、分類或者分割的預測結果。
通過這些通用模塊,工程人員或研究人員可以構建出自己的檢測器,并在此基礎上進行更深入地開發和探索。
標準的訓練流程
同時在這一工具箱中將訓練過程總結成了一個標準的、適用于多種視覺任務的通用流程。其中訓練和驗證流程可以循環進行,在每個周期將在模型上運行多次前傳和反傳操作。
為了讓流程為便捷和個性化,研究人員定義了最小流程單位;同時也支持多種用戶自定義操作和時間節點,并可以利用鉤子觸發對應的時間節點及對應操作。
涵蓋豐富的模塊和架構
下表展示了目前MMDetection中包含具有代表性的模型架構,包括了單階段、兩段和多級的多種目標檢測及分割方法。
這一工具箱支持的檢測模型完整列表如下,數量上遠遠超過了其他現有目標檢測代碼庫:
此外還包括了各種先進的模塊方法實現:
為了比較這一工具包中各個模塊的性能,研究人員在模型性能、速度和內存的方面進行了比較。同時也在不同GPU及GPU節點上對代表性模型的表現進行測評。結果如下圖所示:
與先前的三個目標檢測工具箱進行了性能、速度和內存開銷方面的對比
下圖展示了典型模型在不同GPU和多個分布式架構上的拓展能力:
此外研究人員還對歸一化、損失函數、訓練規模以及各種超參數進行了詳細的分析和對比,如果想要了解更多細節請參看:
https://arxiv.org/pdf/1906.07155.pdf
如果在學習研發中需要使用工具箱,代碼和部署工具可以在這里找到,其中包含了200多個網絡模型和模塊工具:
https://github.com/open-mmlab/mmdetection
ref:http://mmlab.ie.cuhk.edu.hk/index.htmlhttps://github.com/open-mmlab/mmdetection/tree/master/mmdethttps://arxiv.org/pdf/1906.07155.pdfhttps://github.com/NVIDIA/apex
picture from:https://dribbble.com/shots/5075555-Toolbox
https://dribbble.com/shots/3000321-Toolbox
-
圖像
+關注
關注
2文章
1083瀏覽量
40418 -
模塊化
+關注
關注
0文章
329瀏覽量
21331
原文標題:目標檢測用這個就夠了!多家機構聯合提出MMDetection工具箱助力目標檢測新發展
文章出處:【微信號:thejiangmen,微信公眾號:將門創投】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論