編者按：今天，深度學習專家Fran?ois Chollet在推特上發布了這么一段話：

不久之后，AutoML就會發現他們將面臨和強化學習一樣的問題：人們會用非常具體的（有缺陷的）方法來解決許多寬泛的問題。

谷歌在AI First戰略下，發布了自主編寫機器學習代碼的工具AutoML，目的是讓更多人能夠以簡單的操作就能使用機器學習。AutoML然而這項工具真的如此強大嗎，還是說只是廣告打得響？fast.ai創始者之一Rachel Thomas就自己的理解分析了AutoML的現在以及未來。以下是論智的編譯。

在提出谷歌AutoML之前，CEO Sundar Pichai寫了這么一段話：

目前，設計神經網絡非常費時，并且需要專家只在科學和工程領域中的一小部分進行研究。為了解決這一問題，我們創造了一種名為AutoML的工具，有了它，神經網絡可以設計神經網絡。我們希望AutoML能做到目前博士們可以達到的水平，三至五年之后，我們希望它能為眾多開發者設計不同功能的新的神經網絡。

谷歌AI的負責人Jeff Dean表示，100倍的計算力可能會替代機器學習專家，對計算有大量需求的神經架構搜索是他唯一舉出的例子。

這就引出了一系列問題：開發者們需要“設計不同功能的神經網絡”嗎？神經網絡是否能用有效的方法解決類似的問題呢？巨大的計算力真的可以替代機器學習專家嗎？

在評價谷歌的言論之前，我們要知道谷歌之所以一直強調高效使用深度學習的關鍵是更多的計算力，是因為這與它的利益相關，因為在計算力這個方面，谷歌足以吊打其他人。如果這是真的，那我們可能都需要購買谷歌的產品了。就其本身而言，這并不意味著谷歌的說法是錯誤的，但是我們最好意識到他們言論之下的經濟動機。

在我們之前的文章中，我們介紹了AutoML的歷史，解釋了什么是神經架構搜索，并且指出對許多機器學習項目來說，設計或選擇一種架構并非耗時、最痛苦的部分。在今天的文章中，我要詳細講解谷歌的AutoML，該產品受到了許多媒體的關注。大致內容如下：

什么是谷歌AutoML？

什么是遷移學習？

神經架構搜索 vs 遷移學習：兩種相反的方法

需要更多證據

媒體為什么對谷歌AutoML大加贊賞

我們如何能解決機器學習專家短缺的問題？

什么是谷歌AutoML

雖然AutoML領域已經發展了好幾年，在2017年5月，谷歌在它的神經架構搜索中加入了AutoML這個術語。在谷歌開發者大會上，Sundar Pichai表示：“這就是我們為什么創造AutoML這一工具，它證明了讓神經網絡設計神經網絡是可能的。”同時，谷歌AI的研究者Barret Zoph和Quoc Le也表示：“我們的方法（AutoML）中，一個控制器神經網絡可以生成一個子模型架構……”

2018年1月，谷歌云宣布將AutoML最為機器學習產品的一部分。目前，AutoML中有一個公開可用的產品——AutoML Vision，這是一款可識別或者對圖中目標物體進行分類的API。根據該產品的詳情頁面，我們得知Cloud AutoML Vision依靠兩種核心技術：遷移學習和神經架構搜索。由于在上一篇文章中我們已經解釋過神經架構搜索，現在我們重點關注遷移學習，看看它是如何和神經架構搜索聯系在一起的。

什么是遷移學習？

遷移學習利用預訓練模型，可以讓人們用少量數據集或者較少的計算力得到頂尖的結果，是一種非常強大的技術。預訓練模型此前會在相似的、更大的數據集上進行訓練。由于模型無需從零開始學習，它可以比那些用更少數據和計算時間的模型得到更精確的結果。

遷移學習是項重要的技術，很多世界500強公司都用到了這種技術。雖然遷移學習看起來不如神經架構搜索那么“性感”，但是它卻創造過很多學術界進步的成果，例如Jeremy Howard和Sebastian Ruder將遷移學習應用到NLP中的應用，在6個數據集上達到了最佳分類效果，同時也成為了OpenAI在這一領域的研究基礎。

神經架構搜索 vs 遷移學習：兩種不同的方法

遷移學習之下的基礎理念是，神經網絡結構會對相同種類的問題進行泛化：例如，很多圖片都有基礎特征（比如角度、圓圈、狗狗的臉、車輪等等），這些特征構成了圖片的多樣性。相反，提升神經架構搜索的效率是因為，每個數據集都是獨一無二的，它的結構非常個性化。

當神經架構搜索發現了一種新結構，你必須從零開始學習該結構的權重。但是有了遷移學習，你可以從預訓練模型上已有的權重開始訓練。這也意味著你無法在同一個問題上同時使用遷移學習和神經架構搜索：如果你要學習一種新的結構，你可能需要為此訓練一個新權重；但如果你用遷移學習，可能無需對結構進行實質性改變。

當然，你可以將遷移學習運用到一個經過神經架構搜索的結構上（我覺得這是個不錯的想法）。這只需要幾個研究者用神經架構搜索和開源的模型即可。如果可以用遷移學習，并不是所有機器學習從業者都要在問題上使用神經架構搜索，然而，Jeff Dean、Sundar Pichai以及谷歌和媒體的報道都表示：每個人都應該直接用神經架構搜索。

神經架構搜索的好處是什么？

神經架構搜索很適合用來尋找新的結構！谷歌的AmoebaNet就是通過神經架構搜索學習來的，另外fast.ai很多技術進步也都得益于神經架構搜索。

AmoebaNet不是根據獎勵函數設計的，不具備縮放的能力，所以他不如ResNet那樣可以根據多種機器進行調整。但是一個可以縮放的神經網絡可以在未來學習并優化。

需要更多證據

沒有證據表明每個數據集最好在它自己的模型上建模，而不是在現有模型上微調。由于神經架構搜索需要大型訓練集，這對小型數據集來說可能不太友好。即使是谷歌自己的一些研究也會用遷移技術而不是為每個數據集尋找一種新結構，例如NASNet。

目前我還不知道有哪些使用神經架構搜索贏得了某項競賽的案例，也不知道某種需要大量元計算的方法領先其他方法的情況。例如，最近的兩篇論文——Efficient Neural Architecture Search（ENAS）和Differentiable architecture search（DARTS）提出了更有效率的算法。DARTS僅僅用4個GPU就達到了NASNet 1800個GPU和AmoebaNet 3150個GPU得到的效果。Jeff Dean是ENAS作者之一，提出了比之前少1000倍的計算力。

為什么還要吹捧谷歌AutoML呢？

有了上述那么多種限制，為什么還要還有很多人在宣傳谷歌AutoML的有用性呢？我認為有以下幾種解釋：

1.谷歌的AutoML真實反映了一些學術研究機構摻雜了盈利機構之后的危機。很多科學家都想創建有關熱門學術研究領域的產品，但并不評估它能否滿足實際需求。這也是很多AI創企的現狀，我的建議是不要試圖將博士論文變成產品，并且盡量不要雇傭純學術研究人員。

2. 谷歌很擅長營銷。人工智能對很多門外漢來說門檻較高，以至于他們沒辦法評估某種主張，尤其是谷歌這樣的巨頭。很多記者也隨波逐流，爭相報道谷歌的新技術、新成果。我經常跟哪些不在機器學習界工作的人談論谷歌的成果，他們即使沒有用過谷歌機器學習產品，但表現得也很興奮，可是如果仔細深究又講不出個所以然來。

谷歌造成的新聞誤導其中一個案例是谷歌AI研究人員宣布“他們創建了一種深度學習技術，能夠重建人類基因組”，并且他們還將這項技術與諾貝爾獲勝者做了對比，Wired對此進行了報道。在這之后，約翰霍普金斯大學生物統計學家、生物工程教授Steven Salzberg就批判了谷歌的這篇文章。Salzberg指出，這項研究實際上并沒有重建人類基因組，而且“在現有軟件上僅有微小提升，甚至還不如現有軟件”。其他很多基因研究者對Salzberg的說法表示了贊同。

谷歌確實有很多偉大的成果，但是我們在欣賞的同時也要注意鑒別。

3. 谷歌因為利益相關，說服我們高效利用深度學習的關鍵是更強的計算力，因為谷歌在計算力方面非常有優勢。AutoML通常需要大量計算，例如為了學習AmoebaNet需要用450個K40 GPU訓練7天。

如何解決機器學習專家短缺的問題？

為了解決全球機器學習從業者短缺的問題，我們可以采取的有以下幾種方法：

讓深度學習更易使用

給深度學習去神秘化

讓資金不夠充足的人也能用到云GPU

讓深度學習更易使用

為了讓深度學習更易使用，很多研究已經使其能夠更快、更輕易地訓練更好的網絡。典型的案例有：

Dropout能讓模型在更小的數據集上訓練，并且不存在過度擬合

批歸一化使訓練速度更快

線性整流函數（ReLU）避免了梯度爆炸

其他提高使用簡易程度的研究包括：

學習速率探測器使訓練過程更穩定

Super convergence加速了訓練時間，并且需要更少的計算資源

“Custom heads”對現有的架構來說，可以在很多問題上重復使用。

給深度學習去神秘化

另外一個障礙是，很多人總認為深度學習離他們很遠，或者覺得他們的數據集太小、并未接受過深度學習訓練或者計算力不夠等等。還有一種觀點認為，只有到了機器學習的博士階段才能用到深度學習，或者很多公司根本無法負擔招聘一位深度學習專家。

但是在我的經歷中，進入深度學習的門檻遠比他們想象中的低，只要你有一年的編程經驗以及一個GPU。

提供更多資源：谷歌Colab Notebooks

雖然云GPU的花費普通人還能負擔得起（每小時大約50美分，約合人民幣3.4元），但是很多學生表示確實有點貴。在某些國家因為規定，他們無法使用像AWS這樣的服務，現在谷歌Colab Notebook可以解決這個問題，它提供了Jupyter notebook環境，無需設置即可使用，在云上運行并給用戶使用免費的GPU。谷歌Colab Notebook將會為深度學習做出更多努力，也許這也是谷歌在機器學習未來發展的一個更好的目標。