數(shù)據(jù)增強是提高圖像分類器精度的有效技術(shù)。但是當前的數(shù)據(jù)增強實現(xiàn)是手工設(shè)計的。在本論文中，我們提出了AutoAugment來自動搜索改進數(shù)據(jù)增強策略。我們設(shè)計了一個搜索空間，其中一個策略由許多子策略組成，每個小批量的每個圖像隨機選擇一個子策略。子策略由兩個操作組成，每個操作都是圖像處理功能，例如平移，旋轉(zhuǎn)或剪切，以及應用這些功能的概率。我們使用搜索算法來找到最佳策略，使得神經(jīng)網(wǎng)絡(luò)在目標數(shù)據(jù)集上產(chǎn)生最高的驗證準確度。我們的方法在ImageNet上獲得了83.5％的top1準確度，比之前83.1％的記錄好0.4％。在CIFAR-10上，我們實現(xiàn)了1.5％的錯誤率，比之前的記錄好了0.6％。擴充策略在數(shù)據(jù)集之間是可以相互轉(zhuǎn)換的。在ImageNet上學到的策略也能在其他數(shù)據(jù)集上實現(xiàn)顯著的提升。
數(shù)據(jù)擴充是一種通過隨機“擴充”數(shù)據(jù)來增加數(shù)據(jù)量和多樣性的有效技術(shù)，是用來教授一個關(guān)于數(shù)據(jù)域不變性的模型，即使模型有良好的魯棒性和平移不變性。
機器學習和計算機視覺領(lǐng)域的一大重點是設(shè)計更好的網(wǎng)絡(luò)架構(gòu)。人們很少注意尋找更好的數(shù)據(jù)增強方法，這種方法包含更多的不變性。例如，在ImageNet上，2012年引入的數(shù)據(jù)增強方法仍然是標準，只是有一些小的變化。即使對特定數(shù)據(jù)集進行了增強改進，它們通常也不會有效地轉(zhuǎn)移到其他數(shù)據(jù)集。例如，訓練期間圖像的水平翻轉(zhuǎn)是CIFAR-10上的一種有效數(shù)據(jù)增強方法，但在MNIST上則不是，因為這些數(shù)據(jù)集中存在不同的對稱性。最近，人們提出了自動學習數(shù)據(jù)擴充的需求，這是一個尚未解決的重要問題。
我們使用搜索算法來尋找數(shù)據(jù)增強操作的最佳選擇和順序（如水平垂直翻轉(zhuǎn)、平移、顏色歸一化等等），這樣訓練神經(jīng)網(wǎng)絡(luò)可以獲得最佳的驗證精度。我們使用強化學習作為搜索算法，以此來訓練和選擇最佳的方法。
我們通過大量的實驗表明在兩種情況下AutoAugment可以獲得很好的提升：1）AutoAugment直接應用于感興趣的數(shù)據(jù)集，以找到最佳的擴充策略（AutoAugment-direct），2）學到的策略可以遷移到新的數(shù)據(jù)集（AutoAugment-transfer）。首先，對于直接應用，我們的方法在數(shù)據(jù)集上實現(xiàn)了最先進的準確性，例如CIFAR-10，減少的CIFAR-10，CIFAR-100，SVHN，減少的SVHN和ImageNet（沒有附加數(shù)據(jù)）。其次，如果直接應用代價很高，遷移增強政策可能是一個不錯的選擇。我們展示了在一個任務上找到的策略可以在不同的模型和數(shù)據(jù)集中很好地泛化。例如，ImageNet上的策略可以顯著改善各種FGVC數(shù)據(jù)集。具體結(jié)果見下表。
我們把尋找最優(yōu)增強策略定為離散搜索問題（見圖1）。我們的方法由兩部分組成：搜索算法和搜索空間。簡單來說，搜索算法（使用控制器RNN來實現(xiàn)）對數(shù)據(jù)增強策略S 進行采樣，該策略包括了要使用的圖像處理操作、每一批次使用該操作的概率及操作的大小信息。方法的關(guān)鍵是策略用于訓練固定架構(gòu)的神經(jīng)網(wǎng)絡(luò)，驗證準確率返回反向傳播更新控制器controller。由于不可微分，控制器可以通過策略梯度方法更新。下面將詳細描述這兩個重要組件。
圖1 我們使用搜索方法（例如強化學習）來搜索更好的數(shù)據(jù)擴充策略的框架。控制器RNN從搜索空間預測擴充策略。訓練一個具有固定結(jié)構(gòu)的子網(wǎng)絡(luò)，使其收斂到精度R。獎勵R將與策略梯度方法一起使用，以更新控制器，使其能夠隨著時間的推移生成更好的策略。
搜索空間詳細信息： 在我們設(shè)計的搜索空間中，一個策略包括5個子策略，每個子策略包括兩個有序的圖像運算。另外，每個運算與兩個超參數(shù)相關(guān)：1）應用操作的概率，2）操作的幅度大小。
圖2是搜索空間中包含5個子策略的樣例。第一個子策略指定了ShearX應用，然后反轉(zhuǎn)圖像的像素。ShearX的概率是0.9，使用幅值大小是7/10。然后應用概率是0.8的翻轉(zhuǎn)。反轉(zhuǎn)圖像像素操作不需要使用幅值大小。這些操作都是按照指定順序進行的。
圖2 不同小批量數(shù)據(jù)增強結(jié)果
如上圖所示，該策略有5個子策略。對于一個小批量中的每一幅圖像，我們隨機均勻地選擇一個子策略來生成一幅變換后的圖像來訓練神經(jīng)網(wǎng)絡(luò)。每個子策略由2個操作組成，每個操作與兩個數(shù)值關(guān)聯(lián)：調(diào)用操作的概率和操作的幅值大小。操作的概率表示有可能調(diào)用某個操作，也有可能該操作不會應用于該小批量。但是，如果應用，它將以固定的幅值應用。我們強調(diào)了應用子策略的隨機性，通過展示一幅圖像如何在不同的小批量中進行不同的轉(zhuǎn)換，即使使用相同的子策略也有可能采用不同的操作。如文中所述，在SVHN上，幾何變換更多地是通過自動增強來選擇的。可以看出為什么反轉(zhuǎn)是SVHN上常見的選擇操作，因為圖像中的數(shù)字對該變換是不變的。
實驗中使用的運算來自PIL。我們還使用了兩個很有應用前途的數(shù)據(jù)增強方法：Cutout和SamplePairing。我們使用的圖像操作運算有：ShearX/Y，TranslateX/Y，Rotate, AutoContrast, Invert, Equalize, Solarize, Posterize, Contrast, Color, Brightness, Sharpness, Cutout, Sample Pairing。在我們的搜索空間中總共有16個圖像操作，每個操作都具有默認的量級范圍，將量級范圍離散為10個值（均勻間距），這方便我們用離散搜索算法找到它們。類似的，我們也將操作的概率應用于11個值（均勻間距）來離散化。這使得搜索空間有(16*10*11)^2個可能性，我們的目標是同時找到這樣的5個子策略以增加多樣性。因此，包含5個子策略的搜索空間大約有(16*10*11)^10=2.9*10^32種可能性。
Search algorithm details 我們使用的搜索算法是強化學習。算法有兩部分：RNN控制器，它是一個循環(huán)神經(jīng)網(wǎng)絡(luò)；訓練算法是PPO。每一步中，控制器通過softmax進行決策，決策再輸入下一步。控制器總共有30個決策，可以預測5個子策略，每個子策略包括兩個操作，每個操作需要操作類型概率和使用幅值大小。
The training of controller RNN 控制器是用獎勵信號訓練的（學過強化學習算法的應該都知道），表示這個策略對模型泛化有多大提升。在實驗中，我們留出了驗證集來驗證衡量子模型泛化性。子模型通過在訓練集上（不包含驗證集）應用5個子策略生成的增強的數(shù)據(jù)進行訓練。對于小批量中的每個樣本，從5個子策略隨機選取一個來增強圖像，然后在驗證集上評估子模型來衡量精度，該精度用作RNN控制器的reward信號。在每個數(shù)據(jù)集上，控制器對大約15000個策略進行采樣。
Architecture of controller RNN and training hyperparameters
控制器RNN是一層LSTM網(wǎng)絡(luò)，每一層有100個隱藏單元，與每個架構(gòu)決策相聯(lián)系的兩個卷積單元有2*5B個softmax預測（其中B通常為5）。控制器RNN的10B預測中的每一個都與概率相關(guān)。子網(wǎng)絡(luò)的聯(lián)合概率是這些10B最大值的所有概率的乘積。該聯(lián)合概率用于計算控制器RNN的梯度。梯度通過子網(wǎng)絡(luò)的驗證精度進行縮放，以更新控制器RNN，從而控制器為性能不好的子網(wǎng)絡(luò)分配低概率，為精度高的子網(wǎng)絡(luò)分配高概率。我們強化學習算法采用了近端策略優(yōu)化（PPO），學習率為0.00035。為了鼓勵強化學習算法探索，我們還使用了權(quán)重為0.00001的熵懲罰。在我們的實現(xiàn)中，baseline function是以前獎勵的指數(shù)移動平均值，權(quán)重為0.95。控制器的權(quán)重在-0.1和0.1之間均勻初始化。為了方便起見，我們選擇使用PPO訓練控制器，盡管之前的工作已經(jīng)表明，其他方法（例如增強隨機搜索和進化策略）也可以表現(xiàn)得很好。
最后，我們把最好的5個策略拼接為一個策略（包含25個子策略）。最后的一個策略包含25個子策略，用于訓練每個數(shù)據(jù)集的模型。
子網(wǎng)絡(luò)架構(gòu)為小型Wide-ResNet-40-2（40層-widening為2）的模型，并訓練120輪。選用這個模型是為了提高計算效率，因為每個子模型都是從頭開始訓練的。
下圖中，我們展示了不同子模型神經(jīng)網(wǎng)絡(luò)架構(gòu)下的測試集精度，并找到了權(quán)重衰減和學習率超參數(shù)，這些超參數(shù)為基線增強的常規(guī)訓練提供了最佳驗證集精度。
圖3 CIFAR-10、CIFAR-100和SVHN數(shù)據(jù)集上的測試集錯誤率（%）。越低越好。
如上圖所示，ImageNet上成功的策略之一。如本文所述，ImageNet上的大多數(shù)策略都使用基于顏色的轉(zhuǎn)換。
如上圖所示，測試集上的Top-1/Top-5精度，越高的值表示性能越好。
AutoAugment vs. other automated data augmentation methods 一種方法是GAN，生成器學習提出增強策略使得增強的圖像可以騙過判別器。區(qū)別是，我們的方法試圖直接優(yōu)化分類精度，而他們的方法只是試圖確保增強圖像與當前訓練圖像相似。
如上圖所示，對于這兩種模型方法，自動增強會帶來更高的改進(～3.0%)。本文最后，作者認為本文的主要貢獻在于我們的數(shù)據(jù)擴充方法和搜索空間的構(gòu)建；不是在離散優(yōu)化方法中，可以自己選擇強化學習算法。
