數據對于深度學習來說至關重要，而數據增強策略對于提升訓練樣本數據量、改善模型穩定性和魯棒性，提高對于真實世界的適應性和泛化性具有重要的作用。

雖然在圖像分類中數據增強有著廣泛的使用，但將數據增強用于目標檢測的系統性研究還較少。此外由于目標檢測數據的標記成本比圖像分類更高，數據增強策略在有限數據的情況下除了能提高模型表現同時還能節省數據成本。

來自谷歌的研究人員針對目標檢測任務提出了一種基于學習的數據增強策略，通過在訓練數據上進行增強策略搜索和驗證集的性能測試來尋找最優的數據增強方法，有效地提升了模型的表現，同時學習到的數據增強策略對于不同數據、基礎網絡和模型架構都具有效的泛化性和適應性。值得一提的是，文章的作者來自提出著名的神經架構搜索及其相關方法的研究團隊。

通用高效的目標檢測數據增強策略

數據增強廣泛是機器學習中常用的數據處理手段，不同的數據集通常會利用針對性的數據處理手段來處理。例如MNIST大多使用尺度、旋轉和平移的操作，也有加入顏色、噪聲等變換，而針對自然圖像，更多采用進行和隨機裁剪的方法來進行。還包括以對象為中心的裁剪、針對圖像片的增減和變換等，但這些方法大都針對特定的數據來處理并集中于圖像分類問題。

但由于數據標記的成本很高，數據增強對于目標檢測有著更為重要的實際意義。由于目標檢測的復雜性使得有效的數據增強策略難以獲取。為了得到有效的數據增強策略并應用于目標檢測任務中，研究人員希望利用算法搜索到一套新穎的檢測數據增強策略，并能夠有效地應用于不同的數據集、數據尺寸、基礎網絡和檢測架構上，有效提升算法的性能。

基于離散優化增強策略搜索

對于目標檢測來說通常需要考慮目標框(bounding box, bbox)與變換后圖像連續性，研究人員針對bbox內部的圖像提出了一系列變換，同時探索了圖像整體變化時如何調整bbox的策略。通過定義一系列子策略集和多個圖像操作變換，最終將這一問題歸結為離散空間中的優化問題來進行求解。首先研究人員將圖像增強策略定義為K個子策略的無序集合，在訓練時從中隨機選取策略對圖像進行數據增強。而其中每一個策略則包含了N個圖先變換，這些圖像變換將依次作用于被增強的數據，研究的目的在于從中搜索出最有效的策略。這些變量共同定義了一個離散優化問題的搜索空間，針對目標檢測任務的數據增強，研究人員將設置K=5，N=2。其中搜索空間總共包含了五個子策略，每個子策略包含了2種圖像操作，而每個操作同時包含了這個操作對應的概率p和操作的具體數值m兩個參數。這里的概率定義的增強策略在數據樣本上進行的隨機性，而m則定義了增強的幅度。

具體來說，研究人員從實驗中總結了22中有利于檢測的數據增強算法，分別是顏色操作、幾何變換和bbox操作。

顏色操作：針對圖像的顏色通道進行操作，包括直方圖均衡、對比圖調整和亮度調整等；

幾何操作：對于圖像進行幾何變換，包括位置變換，bbox的大小和位置、旋轉、剪切變換等，需要指出的是在進行幾何變換時需要對bbox進行調整；

bbox操作：僅針對bbox內部的內容進行操作，而不改變外部的背景，可以綜合使用前面的顏色和幾何變換。

在使用過程中，研究人員將每種操作的幅度都歸一化到[0,10]，對應L=6等間距的空間，對應概率也是一個M=6的等間距空間，這一取值平衡了強化學習算法計算的可追溯性和學習能力。

針對這樣的數值定義可以計算出每個策略需要搜索的空間包含(22LM)^2，而五個策略對應的空間為(22*6*6)^10~9.6*10^18如此大的搜索空間一定需要高效的方法才能進行有效的處理。在這篇文章中研究人員采用了基于RNN輸出空間表示離散值，同時利用RL算法來更新模型權重。其中PPO(proximal policy optimization)被用于搜索策略。RNN每次需要進行30步來預測輸出，這來自于5個子策略，每個子策略兩個操作，每個操作包含概率、幅度和操作本身三個參數，其乘積即為30。在訓練過程中，研究人員為了減小整體計算量從COCO數據集中選取了5K圖像來訓練增強算法。算法利用了ResNet-50作為主干網絡、RetinaNet檢測器來從零開始構建目標檢測器，并利用在7392張COCO子驗證集上的mAP作為獎勵信號來更新控制器迭代搜索空間參數。

這一算法需要消耗巨大的算力，在400個TPUs上訓練了48個小時完成了20K增強策略的訓練，最終得到的數據增強策略使得目標檢測得到了較大的提升，其中最好的幾個策略能夠廣泛應用到不同的數據集、大小和架構上去。

結果

訓練后的結果顯示，算法通過驗證集的測試得到最多的圖像增強操作是旋轉操作，同時圖像均衡和bbox在Y方向上的平移操作也是排名較為靠前的操作。研究人員首先將學習到的策略進行了整體評測，在Res-Net和RetinaNet檢測器上都實現了較大幅度的提升：

為了探索哪些操作對于目標檢測算法帶來的優勢較大，研究人員將增強操作拆解成了顏色、幾何與bbox相關操作，并分別測試了對于基準網絡的提升，下表顯示了不同操作疊加下對于目標檢測性能的影響。

此外研究人員還探索了不同模型下數據增強策略的有效性，并通過增加圖像分辨率和錨的數量實現了50.7mAP！

同時也在不同的數據上驗證了這一算法的有效性。研究人員還探索了用于訓練數據增強策略數據集的大小對于目標檢測算法提升的效果，雖然隨著訓練數據的增加，數據增強的效果逐漸減弱。

但這種方法針對小數據集和小物體的檢測卻具有明顯的效果。同時對于較為困難的AP75任務也有較好的表現，這意味著數據增強策略幫助算法學習到了bbox位置出更細粒度的空間細節特征，這也同時改善了小物體的檢測性能。下表中mAPs顯示了小物體檢測提升的情況。

在改進模型正則化方面，研究人員發現了訓練數據大的情況下損失會提升，同時隨著數據量的增加L2會變小，數據增強策略進一步減少了權重的衰減。研究人員發現在使用有效數據增強策略的同時，就不需要正則化技術來幫助網絡更好的訓練了。