發(fā)展至今，人工智能可以劃分為兩類：弱人工智能和強人工智能。前者讓機器具備觀察和感知的能力，能做到一定程度的理解和推理；而強人工智能是讓機器獲得自適應(yīng)能力，解決一些從沒遇到過的問題。這里的“智能”從何而來？人工智能又如何取得突破？要從一種實現(xiàn)人工智能的方法——機器學(xué)習(xí)說起。

與傳統(tǒng)的為解決特定任務(wù)、硬編碼的軟件程序不同，機器學(xué)習(xí)是用大量的數(shù)據(jù)來“訓(xùn)練”，通過各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。

這里有三個重要信息：1. “機器學(xué)習(xí)”是“模擬、延伸和擴展人的智能”的一條路徑，是人工智能的一個子集；2. “機器學(xué)習(xí)”要基于大量數(shù)據(jù)，也就是說它的“智能”是用大量數(shù)據(jù)喂出來的；（敲黑板！！！這個后面會用到）3. 正是因為要處理海量數(shù)據(jù)，所以大數(shù)據(jù)技術(shù)尤為重要，而“機器學(xué)習(xí)”只是大數(shù)據(jù)技術(shù)上的一個應(yīng)用。

雖然傳統(tǒng)的機器學(xué)習(xí)算法在指紋識別、人臉檢測等領(lǐng)域的應(yīng)用基本達到了商業(yè)化要求，但“再進一步”卻很艱難，直到深度學(xué)習(xí)算法的出現(xiàn)。

深度學(xué)習(xí)（Deep Learning）屬于機器學(xué)習(xí)的子類，是目前最熱的機器學(xué)習(xí)方法，但它并不意味著是機器學(xué)習(xí)的終點。它的靈感來源于人類大腦的工作方式，是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達的一種學(xué)習(xí)過程。深度神經(jīng)網(wǎng)絡(luò)本身并非是一個全新概念，可理解為包含多個隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。機器學(xué)習(xí)和深度學(xué)習(xí)有哪些維度的不同？機器學(xué)習(xí)是一種實現(xiàn)人工智能的方法，深度學(xué)習(xí)是一種實現(xiàn)機器學(xué)習(xí)的技術(shù)。一個同心圓就可以展現(xiàn)出它們的關(guān)系。

具體不同大致有以下幾點：

1. 數(shù)據(jù)依賴。隨著數(shù)據(jù)量的增加，二者的表現(xiàn)有很大區(qū)別。深度學(xué)習(xí)適合處理大數(shù)據(jù)，而數(shù)據(jù)量比較小的時候，用傳統(tǒng)機器學(xué)習(xí)方法也許更合適。

2. 硬件依賴。深度學(xué)習(xí)十分地依賴于高端的硬件設(shè)施，因為計算量實在太大。它會涉及很多矩陣運算，因此很多深度學(xué)習(xí)都要求有GPU（專門為矩陣運算而設(shè)計的）參與運算。

3. 特征工程。簡單講就是在訓(xùn)練一個模型的時候，需要首先確定哪些特征。在機器學(xué)習(xí)方法中，幾乎所有特征都需要人為確認后，再進行手工特征編碼。而深度學(xué)習(xí)試圖自己從數(shù)據(jù)中學(xué)習(xí)特征。

4. 解決問題的方式。（重點！）解決問題時，機器學(xué)習(xí)通常先把問題分成幾塊，一個個地解決好之后，再重新組合。但是深度學(xué)習(xí)是一次性、端到端地解決。

5. 運行時間。深度學(xué)習(xí)需要花大量時間來訓(xùn)練，因為有太多參數(shù)要去學(xué)習(xí)。機器學(xué)習(xí)一般幾秒鐘最多幾小時就可以訓(xùn)練好。但深度學(xué)習(xí)訓(xùn)練出的模型優(yōu)勢就在于，在預(yù)測任務(wù)上運行非常快。也是剛剛提到的實時物體檢測。

深度學(xué)習(xí)前加個“分布式”，又是怎么回事？面對越來越復(fù)雜的任務(wù)，數(shù)據(jù)和深度學(xué)習(xí)模型的規(guī)模都變得日益龐大。當(dāng)訓(xùn)練數(shù)據(jù)詞表增大到成百上千萬時，如果不做任何剪枝處理，深度學(xué)習(xí)模型可能會擁有上百億、甚至是幾千億個參數(shù)。為了提高深度學(xué)習(xí)模型的訓(xùn)練效率，分布式訓(xùn)練出現(xiàn)了——即同時利用多個工作節(jié)點，分布式地、高效地訓(xùn)練出性能優(yōu)良的神經(jīng)網(wǎng)絡(luò)模型。

目前主要有兩種并行化/分布式訓(xùn)練方法：數(shù)據(jù)并行化和模型并行化。數(shù)據(jù)并行化里，不同的機器有同一個模型的多個副本，每個機器分配到數(shù)據(jù)的一部分，然后將所有機器的計算結(jié)果按照某種方式合并；模型并行化里，分布式系統(tǒng)中的不同機器負責(zé)單個網(wǎng)絡(luò)模型的不同部分。比如，神經(jīng)網(wǎng)絡(luò)模型的不同網(wǎng)絡(luò)層被分配到不同機器。