Caffe的核心概念是Layer，每一個神經網絡的模塊都是一個Layer。Layer接收輸入數據，同時經過內部計算產生輸出數據。設計網絡結構時，只需要把各個Layer拼接在一起構成完整的網絡（通過寫protobuf配置文件定義）。比如卷積的Layer，它的輸入就是圖片的全部像素點，內部進行的操作是各種像素值與Layer參數的convolution操作，最后輸出的是所有卷積核filter的結果。每一個Layer需要定義兩種運算，一種是正向（forward）的運算，即從輸入數據計算輸出結果，也就是模型的預測過程；另一種是反向（backward）的運算，從輸出端的gradient求解相對于輸入的gradient，即反向傳播算法，這部分也就是模型的訓練過程。實現新Layer時，需要將正向和反向兩種計算過程的函數都實現，這部分計算需要用戶自己寫C++或者CUDA（當需要運行在GPU時）代碼，對普通用戶來說還是非常難上手的。正如它的名字Convolutional?Architecture?for?Fast?Feature?Embedding所描述的，Caffe最開始設計時的目標只針對于圖像，沒有考慮文本、語音或者時間序列的數據，因此Caffe對卷積神經網絡的支持非常好，但對時間序列RNN、LSTM等支持得不是特別充分。同時，基于Layer的模式也對RNN不是非常友好，定義RNN結構時比較麻煩。在模型結構非常復雜時，可能需要寫非常冗長的配置文件才能設計好網絡，而且閱讀時也比較費力。

Caffe的一大優勢是擁有大量的訓練好的經典模型（AlexNet、VGG、Inception）乃至其他state-of-the-art（ResNet等）的模型，收藏在它的Model?Zoo（github.com/BVLC/?caffe/wiki/Model-Zoo）。因為知名度較高，Caffe被廣泛地應用于前沿的工業界和學術界，許多提供源碼的深度學習的論文都是使用Caffe來實現其模型的。在計算機視覺領域Caffe應用尤其多，可以用來做人臉識別、圖片分類、位置檢測、目標追蹤等。雖然Caffe主要是面向學術圈和研究者的，但它的程序運行非常穩定，代碼質量比較高，所以也很適合對穩定性要求嚴格的生產環境，可以算是第一個主流的工業級深度學習框架。因為Caffe的底層是基于C++的，因此可以在各種硬件環境編譯并具有良好的移植性，支持Linux、Mac和Windows系統，也可以編譯部署到移動設備系統如Android和iOS上。和其他主流深度學習庫類似，Caffe也提供了Python語言接口pycaffe，在接觸新任務，設計新網絡時可以使用其Python接口簡化操作。不過，通常用戶還是使用Protobuf配置文件定義神經網絡結構，再使用command?line進行訓練或者預測。Caffe的配置文件是一個JSON類型的.prototxt文件，其中使用許多順序連接的Layer來描述神經網絡結構。Caffe的二進制可執行程序會提取這些.prototxt文件并按其定義來訓練神經網絡。理論上，Caffe的用戶可以完全不寫代碼，只是定義網絡結構就可以完成模型訓練了。Caffe完成訓練之后，用戶可以把模型文件打包制作成簡單易用的接口，比如可以封裝成Python或MATLAB的API。不過在.prototxt文件內部設計網絡節構可能會比較受限，沒有像TensorFlow或者Keras那樣在Python中設計網絡結構方便、自由。更重要的是，Caffe的配置文件不能用編程的方式調整超參數，也沒有提供像Scikit-learn那樣好用的estimator可以方便地進行交叉驗證、超參數的Grid?Search等操作。Caffe在GPU上訓練的性能很好（使用單塊GTX?1080訓練AlexNet時一天可以訓練上百萬張圖片），但是目前僅支持單機多GPU的訓練，沒有原生支持分布式的訓練。慶幸的是，現在有很多第三方的支持，比如雅虎開源的CaffeOnSpark，可以借助Spark的分布式框架實現Caffe的大規模分布式訓練。

Theano

Theano誕生于2008年，由蒙特利爾大學Lisa?Lab團隊開發并維護，是一個高性能的符號計算及深度學習庫。因其出現時間早，可以算是這類庫的始祖之一，也一度被認為是深度學習研究和應用的重要標準之一。Theano的核心是一個數學表達式的編譯器，專門為處理大規模神經網絡訓練的計算而設計。它可以將用戶定義的各種計算編譯為高效的底層代碼，并鏈接各種可以加速的庫，比如BLAS、CUDA等。Theano允許用戶定義、優化和評估包含多維數組的數學表達式，它支持將計算裝載到GPU（Theano在GPU上性能不錯，但是CPU上較差）。與Scikit-learn一樣，Theano也很好地整合了NumPy，對GPU的透明讓Theano可以較為方便地進行神經網絡設計，而不必直接寫CUDA代碼。Theano的主要優勢如下。