現(xiàn)在提到“神經(jīng)網(wǎng)絡”和“深度神經(jīng)網(wǎng)絡”，會覺得兩者沒有什么區(qū)別，神經(jīng)網(wǎng)絡還能不是“深度”（deep）的嗎？我們常用的 Logistic regression 就可以認為是一個不含隱含層的輸出層激活函數(shù)用 sigmoid（logistic） 的神經(jīng)網(wǎng)絡，顯然 Logistic regression 就不是 deep 的。不過，現(xiàn)在神經(jīng)網(wǎng)絡基本都是 deep 的，即包含多個隱含層。Why？

1. universality approximation theorem（通用近似定理）

任何連續(xù)的函數(shù) f : RN→RM 都可以用只有一個隱含層的神經(jīng)網(wǎng)絡表示。（隱含層神經(jīng)元足夠多）

一個神經(jīng)網(wǎng)絡可以看成是一個從輸入到輸出的映射，那么既然僅含一個隱含層的神經(jīng)網(wǎng)絡可以表示任何連續(xù)的函數(shù)，為什么還要多個隱含層的神經(jīng)網(wǎng)絡？

2. why deep？

"Yes, shallow network can represent any function.

However, using deep structure is more effective."

我們可以把僅含一個隱含層的神經(jīng)網(wǎng)絡結構叫做 shallow 的，把包含多個隱藏層的神經(jīng)網(wǎng)絡結構叫做 deep 的。

李宏毅教授在他的機器學習視頻中，提出一種叫做 Modularization（模塊化）的解釋。

在多層神經(jīng)網(wǎng)絡中，第一個隱含層學習到的特征是最簡單的，之后每個隱含層使用前一層得到的特征進行學習，所學到的特征變得越來越復雜。 如圖 3 和 4 所示。

low level 中每一個特征在 high level 或多或少被使用，這樣對于每一個 high level 特征，只需要訓練一套 low level 特征。是的，low level 特征被共用了，相當于將提取 low level 特征單獨成立了一個模塊，供高層調(diào)用。對于每一個 high level 特征，不需要每次都將 low level 特征訓練一遍。這就是 deep 的好處。

在比較深度神經(jīng)網(wǎng)絡和僅含一個隱含層神經(jīng)網(wǎng)絡的效果時，需要控制兩個網(wǎng)絡的 trainable 參數(shù)數(shù)量相同，不然沒有可比性。李宏毅教授在他的機器學習視頻中舉例，相同參數(shù)數(shù)量下，deep 表現(xiàn)更好；這也就意味著，達到相同的效果，deep 的參數(shù)會更少。

不否認，理論上僅含一個隱含層的神經(jīng)網(wǎng)絡完全可以實現(xiàn)深度神經(jīng)網(wǎng)絡的效果，但是訓練難度要大于深度神經(jīng)網(wǎng)絡。

實際上，在深度神經(jīng)網(wǎng)絡中，一個隱含層包含的神經(jīng)元也不少了，比如 AlexNet 和 VGG-16 最后全連接層的 4096 個神經(jīng)元。在 deep 的同時，fat 也不是說不需要，只是沒有像只用一層隱含層那么極端，每個隱含層神經(jīng)元的個數(shù)也是我們需要調(diào)節(jié)的超參數(shù)之一。

References

李宏毅機器學習
Universal approximation theorem - Wikipedia