在2018年及其以后，深層神經網絡和機器學習在更大的人工智能（AI）領域會如何發展？我們如何能開發出越來越復雜的機器以在日常生活中幫助人類？

這些都是普渡大學機器學習硬件教授尤金尼奧·庫魯爾塞羅(Eugenio Culurciello)關注的問題。請注意，本文的重點并非有關AI的預測，而是對該領域發展軌跡、趨勢以及技術需求的詳細分析，以幫助創造更有用的AI。當然，并非所有的機器學習都是針對AI的，還有些其他容易實現的目標，下面我們就仔細審視下。

目標

AI領域的目標是通過機器上實現人類和超人的能力，以便讓它們在日常生活中幫助我們。自動駕駛車輛、智能家居、人工助理以及安全攝像頭將是植入AI技術的首批目標，家庭烹飪和清潔機器人、無人偵察機和機器人則是第二批目標。

其他目標還有移動設備上的助理，全職陪伴助理（可以聽到和看到我們的生活經歷）。而AI領域的終極目標是打造完全自主的合成實體，它可以在日常工作中以相當于人類或超越人類的水平行事。

軟件

在這里，軟件被定義為通過優化算法訓練的神經網絡構架以解決特定的任務。今天，神經網絡是用來學習解決問題的實際工具，其中涉及通過大數據集進行分類學習。但這并不是全部AI，它要求在現實世界中，在沒有監督的情況下學習，也要吸取以前從未見過的經驗，常常需要把以前學到的知識結合起來以解決當前的挑戰。

如何讓目前的神經網絡演變成AI？

神經網絡架構：幾年前，當神經網絡架構發展起來的時候，我們經常認為從數據中自動學習算法的參數擁有巨大優勢，而且這比手工編寫的算法功能更強大。

我們必須嘗試從頭開始訓練多個架構，并看看哪一個最有效。這就是我們今天使用的、非常耗時的試錯過程!我們應該克服這一限制，并在這個非常重要的問題上多加思考。

無監督學習：我們不能總是干預神經網絡，引導它們的每一次體驗。我們不能在每個實例中都糾正它們，并提供它們的性能反饋。我們的生活也要持續下去！

但這正是我們今天利用受監督神經網絡所做的：我們為每個實例提供幫助，使它們能夠正確執行。相反，人類只需從少數幾個例子中學習，并且能夠以連續的方式自我校正和學習更復雜的數據。

預測神經網絡：目前神經網絡的一個主要局限是它們沒有人類大腦最重要的特征之一，即預測能力。關于人腦如何工作的一個主要理論是它能不斷地預測，即擁有預測代碼。

如果你仔細想想，就會發現我們每天都在使用它。你提起一個自認為很輕的物體，但結果它卻很重。這會讓你感到驚訝，因為當你接近它的時候，你已經預測它將如何影響你和你的身體，或者你的整體環境。

或者，在現代世界里，當我們匆忙出門時，我的手機落在哪里。構建預測神經網絡是我們與現實世界互動的核心，并能在復雜的環境中發揮作用。因此，這是任何強化學習的核心網絡。

當前神經網絡的局限性：無法預測，無法解釋理由，以及暫時的不穩定性，因此我們需要一種新的神經網絡。神經網絡膠囊（Neural Network Capsules）就是解決當前神經網絡局限性的一種方法，但我們認為它必須有些額外的特點：

1、視頻幀操作：這很簡單，因為我們需要做的就是讓膠囊路由查看最近時間的多個數據點。這相當于在最近的重要數據點上建立起關聯內存。請注意，這些不是最近幀的最新表達，而是它們最新的不同表達。

可以通過僅保存與預定義值不同的表達來獲得不同內容的不同表達。這個重要的細節只允許保存最近歷史上的相關信息，而不是一系列無用的相關數據點。

2、預測神經網絡能力:這已經是動態路由的一部分，它迫使各層預測下一層表達。這是一種非常強大的自我學習技巧，在我們看來，它勝過了我們在社區中發展的所有其他非監督表現學習。膠囊現在需要能夠預測長期的時空關系，但目前還沒有實現。

轉移學習：或者稱我們如何讓這些算法通過觀看視頻自學，就像我們學習如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對于加強學習也很重要。現在你可以通過舉例子的方式來訓練你的機器去做你想讓它做的事情，就像我們人類一樣。

強化學習：這是深神經網絡研究的“圣杯”，即教機器如何在真實的世界環境中學習！這需要自學、持續學習、預測能力，還有很多我們不知道的東西。在強化學習領域有很多東西需要了解，但對作者們來說，這只觸及到問題的表面。

強化學習通常被稱為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓練。但是，我們如何才能得到一個“通用”大腦輕松地解決所有的問題呢？

這是個“先有雞還是先有蛋”的問題！今天，要想一個個地解決強化學習的問題，我們需要使用標準神經網絡：一個深度的神經網絡，它接收大量的數據輸入，如視頻或音頻，并將其壓縮成表示；一個序列學習神經網絡，如RNN，以便了解任務。

這兩個部分都是問題的明顯解決方案，目前顯然是錯誤的，但這是每個人都在使用的，因為它們是當前可用的構建塊。

不要更多的遞歸神經網絡(RNN)：因為它們在并行化方面表現特別糟糕，甚至在特殊的定制機器上也很慢，因為它們的內存帶寬使用率很高，內存帶寬存在限制。基于注意力的神經網絡更高效，可更快速地進行訓練和部署，并且在訓練和部署方面的可伸縮性更少。

在神經網絡中，注意力有可能使許多架構發生真正的改變，但它并沒有得到應有的認可。聯想記憶和注意力的結合是下一波神經網絡發展的核心。我們認識到，基于注意力的神經網絡將逐漸取代基于RNN的語音識別，并在強化學習構架和通用人工智能中找到它們的方法。

分類神經網絡中信息的定位：實際上這是一個已經解決的問題，將被嵌入到未來的神經網絡架構中。

硬件

深度學習硬件才是進步的核心。現在讓我們忘記2008-2012年深度學習的快速擴展，近年的進步主要取決于硬件：在社交媒體的幫助下，每部手機上的廉價圖像傳感器都可以收集巨大的數據集，但其只處于次級重要程度。GPU允許加速深層神經網絡的訓練。在過去2年里，機器學習硬件蓬勃發展，尤其是針對深度神經網絡的硬件。

有幾家公司正在這個領域努力，包括英偉達、英特爾、Nervana、Movidius、Bitmain、Cambricon、Cerebras、DeePhi、谷歌、Graphcore、Groq、華為、ARM以及Wave Computing等，他們都在開發定制的高性能微型芯片，能夠訓練和運行深層神經網絡。

關鍵是提供最低功耗和最高的可測量性能，同時計算最近有用的神經網絡操作，而不是每秒鐘的原始理論操作。但是在這個領域很少有人了解硬件是如何真正改變機器學習、神經網絡和AI的，很少有人知道微型芯片的重要性以及如何開發它們。

培訓或推理：許多公司都在制造能提供神經網絡訓練的微型芯片。這是為了獲得英偉達市場的一部分，它是迄今為止事實上的培訓硬件。但這種訓練只占深層神經網絡應用的很小部分。對于每個訓練步驟，實際應用程序中都有上百萬個部署。

例如，你現在可以在云端使用的一個目標檢測神經網絡，它曾經被訓練過一次，并且在很多圖像上都是可以使用的。但是一旦經過訓練，它就可以被數以百萬計的計算機用于數十億的數據。

我們在這里想說的是，訓練硬件的重要性和你所使用的次數相比是微不足道的，而制作用于訓練的芯片組需要額外的硬件和額外的技巧。

這將導致相同性能卻消耗更高的功率，因此不是當前部署的最佳狀態。訓練硬件是很重要的，而對推理硬件進行修改卻很簡單，但它并不像許多人認為的那樣重要。

應用程序：能夠更快、更低功率地提供培訓的硬件在這個領域非常重要，因為它將允許更快地創建和測試新的模型和應用程序。但真正重要的一步是應用所需的硬件，主要是推理硬件。

今天有許多應用之所以無法使用，主要是因為硬件而不是軟件。例如，我們的手機可以是基于語音的助手，目前是次優的，因為它們不能一直運行。就連我們的家庭助理也離不開電源，除非我們在周圍安裝更多麥克風或設備，否則就不能跟著我們。

但也許最大的應用是將手機屏幕從我們的生活中移除，并將其嵌入到我們的視覺系統中。如果沒有超級高效的硬件，所有這些和更多的應用將是不可能的。

贏家和輸家：在硬件方面，贏家將是那些能夠以最低功耗發揮更高性能、并能將設備迅速投入市場的公司。想象用手機代替SoC，這種情況每年都會發生。現在想象下將神經網絡加速器嵌入到內存中。這可能會更快地征服市場，并快速滲透，這就是我們所說的贏家。

應用程序

我們在上面的“目標”部分簡要地討論了應用程序，但是我們需要詳細討論一下。AI和神經網絡將如何進入我們的日常生活？這是我們的名單：

分類圖像和視頻：已經存在于許多云服務中。下一步就是在智能攝像頭領域做同樣的事情，今天在這里也有許多供應商。神經網絡硬件將允許移除云并在本地處理越來越多的數據，保護隱私和節省網絡帶寬將成為贏家。

語音助理：它們正在成為我們生活中的一部分，可以在我們的智能設備中播放音樂和控制基本設備。但是對話是一種基本的人類活動，我們常常認為它是理所當然的。

你可以對話的小型設備是一場正在發生的革命。語音助理正變得越來越好，可以更好地服務于我們。但它們仍然與電網相連，我們想要的真正助理應該能隨時伴在我們身側。

手機怎么樣？硬件在這里再次勝出，因為它將使上述期望成為可能。Alexa、Cortana以及Siri可以始終陪伴著你。手機很快就會成為你的智能家居設備，這又是智能手機的又一次勝利。

但我們也希望它在我們的車里，并伴隨我們在城市中移動。我們需要本地處理語音，減少云端支持。更多的隱私和更少的帶寬成本。硬件有望在1-2年內提供給我們。

烹飪機器人：下一個最大的設備將是烹飪和清潔機器人。在這里，我們可能很快就有硬件，但我們顯然缺乏軟件。我們需要轉移學習、持續學習和強化學習。

一切都像魔法那樣，因為你知道：每個食譜都是不同的，每種烹飪成分看起來都不一樣。我們不能硬編碼所有這些選項。我們真的需要一個可以學習和推廣的合成實體來做這個。

我們離它還很遠，但并非遙不可及。以目前的速度前進，可能只需要幾年就能實現。正如我在過去幾年所做的那樣，我感肯定這些都能實現。