計算機視覺深度學習的成功部分歸功于擁有大量帶標記的訓練數據，因為模型的性能通常會隨著訓練數據質量、多樣性和數量的增加而相應提高。然而，要收集足夠多的高質量數據來訓練模型以使其具有良好的性能，往往非常困難。要解決這一問題，一種方法是將圖像對稱性硬編碼到神經網絡架構中來提高性能，另一種是由專家手動設計訓練高性能視覺模型常用的數據增強方法，如旋轉和翻轉。不過，直到最近，人們還很少關注如何利用機器學習來自動增強現有數據。我們此前推出了 AutoML，代替人為設計的系統組件，自動設計神經網絡架構和優化器，取得了良好效果。受此啟發，我們提出新的設想：數據增強過程是否也可以實現自動化？

在 “AutoAugment:Learning Augmentation Policies from Data” 一文中，我們探索了一種增強學習算法，這種算法增加了現有訓練數據集中數據的數量和多樣性。直觀地說，數據增強用于教會模型有關數據域中的圖像不變性，讓神經網絡對這些重要的對稱性保持不變，從而改善其性能。與以往使用手工設計的數據增強策略的先進深度學習模型不同，我們使用增強學習從數據本身尋找最佳圖像變換策略，從而在不依賴于生成新的和不斷擴展的數據集的情況下，提高了計算機視覺模型的性能。

增強訓練數據

數據增強的思路很簡單：圖像有許多對稱性，這些對稱性不會改變圖像中存在的信息。例如，狗的鏡面反射仍然是狗。雖然其中一些“不變性”對人類來說顯而易見，但有許多卻并非如此。例如，mixup 方法通過在訓練期間將圖像彼此疊加來增強數據，從而產生可改善神經網絡性能的數據。

左圖：來自 ImageNet 數據集的原始圖像。右圖：同一圖像通過常用的數據增強變換（圍繞中心水平翻轉）處理后。

AutoAugment 是為計算機視覺數據集設計自定義數據增強策略的一種自動方式，例如，可指導基本圖像變換操作的選擇，如水平/垂直翻轉圖像、旋轉圖像和更改圖像顏色等。AutoAugment 不僅可以預測要組合的圖像變換，還可以預測每個圖像使用變換的概率和數量，以便確保圖像操作并不局限于一種方式。AutoAugment 能夠從具有 2.9 x 1032 種圖像變換可能性的搜索空間中選出最佳策略。

AutoAugment 根據所運行的數據集學習不同的變換。例如，對于包含數字自然場景圖像的門牌號街景 (SVHN) 圖像，AutoAugment 側重于剪切和平移等幾何變換，這些操作表示在該數據集中通常觀察到的失真。此外，考慮到世界上不同樓號和門牌號材料的多樣性，AutoAugment 已經學會完全顛倒原始 SVHN 數據集中自然出現的顏色。

左圖：來自 SVHN 數據集的原始圖像。右圖：同一圖像通過 AutoAugment 變換后。在這種情況下，通過剪切圖像和反轉像素顏色實現最佳變換。

在 CIFAR-10 和 ImageNet 上，AutoAugment 不使用剪切，因為這些數據集通常不包括剪切物體的圖像，也不完全反轉顏色，因為這些變換會導致圖像失真。相反，AutoAugment 側重于微調顏色和色相分布，同時保留一般顏色屬性。這表明 CIFAR-10 和 ImageNet 中物體的實際顏色十分重要，而在 SVHN 上只有相對顏色是重要的。

左圖：來自 ImageNet 數據集的原始圖像。右圖：同一圖像通過 AutoAugment 策略變換后。首先最大化圖像對比度，然后旋轉圖像。

成果

我們的 AutoAugment 算法為一些最著名的計算機視覺數據集找到了增強策略，將這些策略納入神經網絡的訓練中后，準確性得到了質的提升。通過增強 ImageNet 數據，top1 準確度達到 83.54% 的最新水平，在 CIFAR10 上，我們的錯誤率為 1.48%，比研究員設計的默認數據增強降低了 0.83%。

在 SVHN 上，我們將最新的誤差從 1.30% 降到 1.02%。重要的是，我們發現 AutoAugment 策略是可轉移的 - 為 ImageNet 數據集找到的策略也可以應用于其他視覺數據集（Stanford Cars、FGVC-Aircraft，等等），從而提高神經網絡性能。

我們很高興看到 AutoAugment 算法在競爭對手的許多不同計算機視覺數據集上都達到了這種性能水平，同時也期待這項技術未來在更多的計算機視覺任務，甚至在音頻處理或語言模型等其他領域得到廣泛應用。論文附錄中提供了可實現最佳性能的策略，研究人員可以使用這些策略來改進相關視覺任務的模型。