2012年左右，多倫多大學(xué)的研究人員首次使用深度學(xué)習(xí)來贏下了ImageNet，它是一項非常受歡迎的計算機圖像識別競賽。對于那些參與AI行業(yè)的人來說，這是一個大問題，因為計算機視覺是使計算機能夠理解圖像背景的學(xué)科，也是人工智能中最具挑戰(zhàn)性的領(lǐng)域之一。

當然，與任何其他產(chǎn)生巨大影響的技術(shù)一樣，深度學(xué)習(xí)成為炒作的焦點。不同的公司和組織開始應(yīng)用它來解決不同的問題（或假裝應(yīng)用它）。許多公司開始使用深度學(xué)習(xí)和先進的人工智能技術(shù)重塑其產(chǎn)品和服務(wù)。

與此同時，媒體也經(jīng)常撰寫有關(guān)人工智能和深度學(xué)習(xí)的故事，這些故事充滿誤導(dǎo)性，并且大多是由那些對技術(shù)運作方式?jīng)]有正確理解的人撰寫。他們大多使用關(guān)于人工智能的聳人聽聞的頭條來博眼球，這些也促成了圍繞深度學(xué)習(xí)的炒作。

經(jīng)過媒體的炒作后，許多專家認為深度學(xué)習(xí)被夸大了，它最終會消退并可能導(dǎo)致另一個人工智能冬季，從而使人們對人工智能的興趣和資金投入大幅下降。其中一些著名專家也承認，深度學(xué)習(xí)已經(jīng)觸底，其中包括一些深入學(xué)習(xí)的先驅(qū)者。

但根據(jù)著名數(shù)據(jù)科學(xué)家和深度學(xué)習(xí)研究員杰里米·霍華德的說法，“深度學(xué)習(xí)過度夸大”的論點有點夸張。霍華德是fast.ai的創(chuàng)始人，fast.ai是一個非營利性的在線深度學(xué)習(xí)課程。

今年，霍華德在USENIX Enigma會議上發(fā)表的演講中發(fā)表了許多反對深度學(xué)習(xí)的論點。整個視頻非常清楚地說明了深度學(xué)習(xí)究竟做了什么和不做什么，這個演講可以幫助你清楚地了解該領(lǐng)域。

以下是霍華德演講主要反駁的幾個論點：

深度學(xué)習(xí)只是一種時尚-明年它將是另一回事（NO!）

許多人認為深度學(xué)習(xí)是突然冒出來，最終也會突然消失。

霍華德反駁解釋到：“你今天在深度學(xué)習(xí)中實際看到的是幾十年研究的結(jié)果，而這幾十年的研究終于達到了實際上給出最先進成果的程度。”

人工神經(jīng)網(wǎng)絡(luò)的概念是深度學(xué)習(xí)算法的主要組成部分，它已存在數(shù)十年，第一個神經(jīng)網(wǎng)絡(luò)可以追溯到20世紀50年代。

Mark I Perceptron是1957年神經(jīng)網(wǎng)絡(luò)的第一個實現(xiàn)

但是，由于數(shù)十年的研究以及數(shù)據(jù)和計算資源的可用性，深度學(xué)習(xí)的概念已經(jīng)從實驗室走出并進入實際領(lǐng)域。

霍華德說：“利用深度學(xué)習(xí)，人們可以減少很多復(fù)雜的繁瑣的事務(wù)，我們應(yīng)該期待看到[深度學(xué)習(xí)]繼續(xù)發(fā)展下去而不是消失。”

深度學(xué)習(xí)和機器學(xué)習(xí)是一回事（NO!）

濫用人工智能詞匯很容易導(dǎo)致了從業(yè)人員對行業(yè)的混淆和懷疑。有人說深度學(xué)習(xí)只是機器學(xué)習(xí)的另一個別稱，而其他人則認為它與其他AI技術(shù)（如支持向量機（SVM），隨機森林和邏輯回歸）屬于同一水平。

但深度學(xué)習(xí)和機器學(xué)習(xí)并不相同，深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集。通常，機器學(xué)習(xí)適用于基于訓(xùn)練數(shù)據(jù)的數(shù)學(xué)模型和行為規(guī)則的所有技術(shù)。ML技術(shù)已經(jīng)投入生產(chǎn)使用了很長時間。

在深度學(xué)習(xí)之前，科學(xué)家們必須在編寫“功能”或模塊方面投入大量精力，這些功能可以執(zhí)行模型想要執(zhí)行的任務(wù)的一小部分。例如，如果你想創(chuàng)建一個可以檢測貓的圖像的AI模型，你將不得不編寫較小的程序來檢測貓的特征，如耳朵、尾巴、鼻子、皮毛。而且你必須使這些程序足夠強大，以便從不同角度和不同光照條件下檢測這些特征，并告訴不同貓種之間的差異。最后你才能在這些功能之上進行機器學(xué)習(xí)。

如果你想解決更復(fù)雜的問題，如通過MRI掃描檢測乳腺癌，那么創(chuàng)建特征將變得更具挑戰(zhàn)性。霍華德說：“你將需要數(shù)十名領(lǐng)域?qū)＜遗c數(shù)十名計算機程序員和數(shù)學(xué)家合作，提出這些功能概念并對其進行編程。最后使用一個經(jīng)典的機器學(xué)習(xí)模型，如邏輯回歸。”這項工作大概需要數(shù)年的工作。

經(jīng)典的機器學(xué)習(xí)方法涉及許多復(fù)雜的步驟，需要數(shù)十名領(lǐng)域?qū)＜摇?shù)學(xué)家和程序員的合作

深度學(xué)習(xí)用神經(jīng)網(wǎng)絡(luò)取代了艱苦的經(jīng)典機器學(xué)習(xí)過程。霍華德將神經(jīng)網(wǎng)絡(luò)描述為“無限靈活的函數(shù)”。這意味著神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于機器學(xué)習(xí)解決的大多數(shù)問題，而無需通過以前必須執(zhí)行的所有特定于域的特征工程。

要想神經(jīng)網(wǎng)絡(luò)解決特定問題，你需要調(diào)整其參數(shù)。為此，深度學(xué)習(xí)使用“梯度下降”，這是一種通用優(yōu)化算法，可以將神經(jīng)網(wǎng)絡(luò)的參數(shù)與其想要解決的問題相匹配。

最后，深度學(xué)習(xí)利用了近年來可用的GPU和專用硬件的強大功能，以合理快速和可擴展的方式執(zhí)行這些任務(wù)。

霍華德說：“只有在過去的幾年里，這三件事情才能讓我們真正使用神經(jīng)網(wǎng)絡(luò)來獲得最先進的結(jié)果。”

因此，深度學(xué)習(xí)不是通過以前機器學(xué)習(xí)方法所涉及的專業(yè)知識密集型和容易出錯的過程，而是提供樣本數(shù)據(jù)（例如標記為貓圖片，標記為癌癥或非癌癥的MRI掃描...）并訓(xùn)練神經(jīng)元使用梯度下降的網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)比較并找到這些數(shù)據(jù)樣本中的常見模式，并學(xué)習(xí)應(yīng)用相同的知識來分類以前從未見過的新數(shù)據(jù)樣本。

這種方法在過去幾年中深入學(xué)習(xí)了最流行的人工智能技術(shù)，并引發(fā)了使用深度學(xué)習(xí)的應(yīng)用程序的爆炸式增長。

深度學(xué)習(xí)只對圖像識別有益（NO!）

很多人都承認深度學(xué)習(xí)是一種非常有用的人工智能技術(shù)，但很多批評者都抱怨它的使用僅限于解決涉及圖像分類的問題！

“圖像識別非常重要！”霍華德說。幾年前，霍華德和一組研究人員在肺部CT掃描上訓(xùn)練了一個深度神經(jīng)網(wǎng)絡(luò)，并創(chuàng)建了一種算法，可以檢測惡性癌癥腫瘤，這個算法的結(jié)果診斷的結(jié)果與四名人類放射科醫(yī)師相比，假陽性和陰性率更低。

霍華德還指出，許多問題可以重新理解為圖像識別問題。例如，在中國古代游戲圍棋中擊敗世界冠軍的深度學(xué)習(xí)算法AlphaGo實際上是一個圖像識別的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。

“具體來說，AlphaGo所做的是看了很多在真人玩過的圍棋的例子”霍華德解釋道。“基本上，他們最終做了一個圖像識別神經(jīng)網(wǎng)絡(luò)，他們試圖學(xué)習(xí)的東西不是這張照片是貓還是狗，而是這是一張白子贏或黑贏的圍棋照片。”這種方法一直是AlphaGo和許多掌握不同棋盤和視頻游戲的AI算法成功的關(guān)鍵因素。

關(guān)鍵是，許多問題可以轉(zhuǎn)化為圖像識別問題，并通過深度學(xué)習(xí)解決。例如，霍華德深度學(xué)習(xí)課程的學(xué)生創(chuàng)建了一個神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)在鼠標移動和點擊的圖像行為上進行訓(xùn)練。在這種情況下，他創(chuàng)建了一個卷積神經(jīng)網(wǎng)絡(luò)，試圖根據(jù)這些圖片預(yù)測欺詐行為。

深度學(xué)習(xí)可以將鼠標移動和點擊的視覺表示轉(zhuǎn)變?yōu)槠墼p檢測應(yīng)用程序

也就是說，深度學(xué)習(xí)也證明了其超越計算機視覺和圖像識別領(lǐng)域的價值。

霍華德指出，深度學(xué)習(xí)現(xiàn)在也適用于大多數(shù)自然語言處理（NLP）問題，這包括機器翻譯和文本摘要等領(lǐng)域。NLP是一個關(guān)鍵組件，它可以使Siri，Alexa和Cortana等AI助手理解你的命令。（有一點要知道：深度學(xué)習(xí)對人類語言的掌握有限）

深度學(xué)習(xí)還可以解決涉及結(jié)構(gòu)化數(shù)據(jù)的問題，例如電子表格中的行和列。例如，你可以為神經(jīng)網(wǎng)絡(luò)提供一組代表金融交易及結(jié)果（欺詐或正常）的行，并對其進行訓(xùn)練以預(yù)測欺詐性交易。

霍華德指出，深度學(xué)習(xí)也可以應(yīng)用于時間序列和信號問題，例如連接到網(wǎng)絡(luò)的不同IP地址的事件順序或隨時間收集的傳感器數(shù)據(jù)。

深度學(xué)習(xí)的痛點

霍華德還指出了一些深度學(xué)習(xí)成效有限的領(lǐng)域，這些領(lǐng)域包括強化學(xué)習(xí)，對抗模型和異常檢測。

一些專家認為強化學(xué)習(xí)是當前人工智能的圣杯。強化學(xué)習(xí)涉及開發(fā)AI模型而不向他們提供大量標記數(shù)據(jù)。在強化學(xué)習(xí)中，你為模型提供問題域的約束，并讓它開發(fā)自己的行為規(guī)則。AlphaGo的高級版AlphaGo Zero就是使用強化學(xué)習(xí)從頭開始訓(xùn)練自己，然后超過了AlphaGo。雖然深度強化學(xué)習(xí)是人工智能研究中比較有趣的領(lǐng)域之一，但它在解決現(xiàn)實問題方面沒有明顯的進展。Google Brain AI研究員Alex Irpan在深度強化學(xué)習(xí)的極限上有一篇引人深思的文章。

對抗模型是霍華德提及的另一個深度學(xué)習(xí)痛點。對抗性示例是操縱輸入可能導(dǎo)致神經(jīng)網(wǎng)絡(luò)以非理性方式運行的實例。有很多研究人員展示了對抗性示例如何能夠成為對AI模型的攻擊者。雖然已經(jīng)做了一些努力來加強深層學(xué)習(xí)模式以對抗對抗性攻擊，但到目前為止，成功有限。部分挑戰(zhàn)源于神經(jīng)網(wǎng)絡(luò)非常復(fù)雜且難以解釋的事實。

異常檢測，霍華德談到的第三個深度學(xué)習(xí)痛點也非常具有挑戰(zhàn)性。一般概念是在基線數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并讓它確定偏離基線的行為。這是在網(wǎng)絡(luò)安全中使用AI的主要方法之一，一些公司正在探索這一概念。但是，它仍然無法將自己確立為對抗安全威脅的非常可靠的方法。

深度學(xué)習(xí)是一個黑盒子

這是一個真正令人擔憂的問題，尤其是在人工智能模型被賦予關(guān)鍵決策的領(lǐng)域，例如醫(yī)療保健、自動駕駛汽車和刑事司法。那些愿意讓深度學(xué)習(xí)代表他們做出決定的人需要知道推動這些決策的因素是什么？不幸的是，當你在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時獲得的性能優(yōu)勢會降低你在決策過程中獲得的可見性。這就是深度學(xué)習(xí)通常被稱為“黑匣子”的原因。

但是，現(xiàn)在已經(jīng)有了很多有趣的研究來解釋AI決策，并幫助工程師和最終用戶理解影響神經(jīng)網(wǎng)絡(luò)輸出的元素。

深度學(xué)習(xí)需要大量數(shù)據(jù)

一般認為，要創(chuàng)建一個新的深度學(xué)習(xí)模型，需要訪問數(shù)百萬和數(shù)十億個帶標簽的示例，這就是為什么只有大型科技公司才能創(chuàng)建它。

“需要大量數(shù)據(jù)的說法通常不正確，因為大多數(shù)人在實踐中使用遷移學(xué)習(xí)”霍華德說。

遷移學(xué)習(xí)是機器學(xué)習(xí)中的一門學(xué)科，其中一個模型獲得的知識被轉(zhuǎn)移到執(zhí)行類似任務(wù)的另一個模型。與人類如何將知識從一個領(lǐng)域轉(zhuǎn)移到另一個領(lǐng)域相比，它非常原始。但是，遷移學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域是一個非常有用的工具，因為它使開發(fā)人員能夠用更少的數(shù)據(jù)創(chuàng)建新模型。

霍華德解釋說：“你從一個預(yù)先訓(xùn)練好的[神經(jīng)]網(wǎng)絡(luò)開始，然后為你的特定任務(wù)微調(diào)權(quán)重。一般來說，如果你有大約1,000個示例，你應(yīng)該能夠建立一個良好的神經(jīng)網(wǎng)絡(luò)。”

你需要博士學(xué)位才能進行核心深度學(xué)習(xí)

深度學(xué)習(xí)是一個非常復(fù)雜的計算機科學(xué)領(lǐng)域，它涉及許多高級數(shù)學(xué)概念。但是在過去幾年中，學(xué)術(shù)界已經(jīng)創(chuàng)建了大量的工具和庫來抽象出潛在的復(fù)雜性，并使你能夠無須解決過多的數(shù)學(xué)問題來開發(fā)深度學(xué)習(xí)模型。

Fast.ai和Keras就是兩個現(xiàn)成的庫，可用于快速開發(fā)深度學(xué)習(xí)應(yīng)用程序。還有很多在線課程，包括霍華德的fast.ai，Coursera和其他課程，使你能夠開始深入學(xué)習(xí)編程，只需要很少的編程知識。許多具有計算機科學(xué)以外背景的人已經(jīng)能夠?qū)⑦@些課程應(yīng)用于現(xiàn)實世界的問題。

需要明確的是，深度學(xué)習(xí)研究仍然是一個非常先進和復(fù)雜的領(lǐng)域，人才既稀缺又昂貴。開發(fā)新的深度學(xué)習(xí)技術(shù)的人是一些最令人垂涎和收入極高的研究人員。但這并不意味著其他人需要擁有相同水平的知識才能在他們的應(yīng)用程序中使用這些研究項目的結(jié)果。

深度學(xué)習(xí)需要大量的計算能力

“你可能會擔心你需要一個充滿GPU的大房間，總的來說這并不是真的，我現(xiàn)在看到的絕大部分成功結(jié)果都是用一個GPU完成的。” 霍華德說

大型公司和組織進行的大型研究項目需要大量的GPU，例如一款機器人手用6144 CPU和8個GPU進行訓(xùn)練出來的。另一個例子是OpenAI Five，一個訓(xùn)練有素的AI模型，可以玩著名的Dota 2在線戰(zhàn)斗競技游戲，OpenAI Five是用了128,000個CPU內(nèi)核和256個GPU的訓(xùn)練的結(jié)果。

但是，大多數(shù)實際問題都可以通過單個GPU解決。例如，你可以通過一個GPU來完成霍華德的Fast.ai課程。

總結(jié)：

我建議你觀看整個視頻，其中，霍華德深入研究了一些更專業(yè)的主題，例如你是否可以將深度學(xué)習(xí)應(yīng)用于信息安全。重要的是我們要了解深度學(xué)習(xí)的范圍和限制以及機會和優(yōu)勢，因為它是我們這個時代最有影響力的技術(shù)之一。深度學(xué)習(xí)不是過分夸大，也許它只是沒有很好地被理解。