開源深度學習框架不僅對學術研究提供了有力的支持，同時也為工業界解決任務提供了眾多解決方案。本節將從模型表達能力、接口、部署、性能和架構等方面度量各開源框架在工業生產領域的表現。

圖2.27 各框架支持語言

表2.2 各框架工業能力評分(GitHub)

網絡和模型能力

Caffe在計算機視覺領域是最流行的工具包，有很多擴展，但對遞歸網絡和語言建模的支持很差。此外，在Caffe中圖層需要使用C++定義，而網絡則使用Protobuf定義。

TensorFlow是一個理想的RNN API和實現，向量運算的圖方法使得新網絡的指定變得相當容易，但其并不支持雙向RNN和3D卷積，同時公共版本的圖定義也不支持循環和條件控制，這使得RNN的實現并不理想，因為必須要使用Python循環且無法進行圖編譯優化。

Theano支持大部分先進的網絡，很多研究想法都來源于Theano，它引領了符號圖在編程網絡中使用的趨勢。Theano的符號API支持循環控制，讓RNN的實現更加容易且高效。

Torch對卷積網絡的支持非常好，通過時域卷積的本地接口使得它的使用非常直觀。Torch通過很多非官方的擴展支持大量的RNN，同時網絡的定義方法也有很多種。但Torch本質上是以圖層的方式定義網絡的，這種粗粒度的方式使得它對新圖層類型的擴展缺乏足夠的支持。與Caffe相比，在Torch中定義新圖層非常容易，不需要使用C++編程，圖層和網絡定義方式之間的區別最小。

接口

Caffe支持pycaffe接口，但這僅僅是用來輔助命令行接口的，而即便是使用pycaffe也必須使用protobuf定義模型。

TensorFlow支持Python和C++兩種類型的接口。用戶可以在一個相對豐富的高層環境中做實驗并在需要本地代碼或低延遲的環境中部署模型。

Theano支持Python接口。

Torch運行在LuaJIT上，與C++、C#以及Java等工業語言相比速度非?？?，用戶可編寫任意類型的計算而不需要擔心性能，但Lua并非主流語言。

模型部署

Caffe基于C++，可在多種設備上編譯，具有跨平臺性，是部署項目的最佳選擇。

TensorFlow支持C++接口，同時能夠基于ARM架構編譯和優化。用戶可將成熟模型部署在多種設備上而不需實現單獨的模型解碼器或者加載Python/LuaJIT解釋器。

Theano缺少底層的接口，并且其Python解釋器也很低效。

Torch的模型運行需要LuaJIT的支持，對集成造成了很大的障礙。

性能

Caffe 簡單快速。

TensorFlow僅使用了cuDNN v2，但即使如此它的性能依然要比同樣使用cuDNN v2的Torch要慢1.5倍，并且在批大小為128時訓練GoogleNet還出現了內存溢出的問題。

Theano在大型網絡上的性能與Torch7不相上下。但其因需要將C/CUDA代碼編譯成二進制而啟動時間過長。此外，Theano的導入也會消耗時間，并且在導入之后無法擺脫預配置的設備。

Torch非常好，沒有TensorFlow和Theano的問題。

架構

Caffe的主要劣勢是圖層需要使用C++定義，而模型需要使用protobuf定義。此外，如果想要支持CPU和GPU，用戶還必須實現額外的函數；對于自定義的層類型，還須為其分配id，并將其添加到proto文件中。

TensorFlow的架構清晰，采用了模塊化設計，支持多種前端和執行平臺。

Theano 的整個代碼庫都使用Python，連C/CUDA代碼也要被打包為Python字符串，這使其難以導航、調試、重構和維護。

Torch7和nn類庫擁有清晰的設計和模塊化的接口。

2.2.4 結論

1. 各深度學習框架對于硬件的利用情況：

多線程CPU的情況下Torch使用的最廣泛；

TensorFlow在多GPU的條件下最為靈活可用；

2. 各深度學習框架對于速度：

在網絡“深度”改變的情況下，Keras具有最快的訓練速度，TensorFlow具有最快的預測響應速度；

在網絡“寬度”改變的情況下，Caffe具有最快的訓練速度，TensorFlow在“寬度”改變較小的情況下具有最快的預測響應速度，“寬度”改變較大時Keras具有最快的響應速度，TensorFlow緊隨其后；

3. 各深度學習框架對于準確率：

在網絡“深度”改變的情況下，TensorFlow和Torch的分類準確率隨網絡“深度”的增加而下降；

在網絡“寬度”改變的情況下，TensorFlow的分類預測準確率相對穩定，超越CaffeTorch；

無論在網絡“深度”或是“寬度”改變的情況下，Keras對分類預測的準確率十分穩定，且超越其他框架，具有最佳的預測準確率；

4. 各深度學習框架的社區活躍度：

TensorFlow可以定義為“最流行”、“最被認可”的開源深度學習框架。其在GitHub上無論是Star數、Fork數，或是檢索基于TensorFlow的項目數，都大大超過其他框架，甚至超越其他框架資源的總和。

5. 各深度學習框架的工業表達能力：

Caffe具有優秀的模型表達能力和工業部署能力，尤其是計算機視覺方面，但對RNN和語言建模的支持很差。Caffe適用于視覺任務處理，尤其是基于深度學習的工業項目，其具有無可爭議的生產穩定性；但其缺乏靈活性，這使得對網絡結構的改變比其他框架麻煩，且Caffe的文檔十分匱乏，代碼閱讀困難高于其他框架。

Tensorflow具有很好的模型表達能力、優秀的接口和清晰的內部框架，適用于工業項目部署，但其速度性能不具備優勢；TensorFlow支持分布式計算，使得硬件設備的性能得到最充分發揮；其代碼的可讀性和社區活躍度使得無論是學術研究或工業生產變得容易；

Keras具有良好的速度性能、模型表達能力，使用簡潔、方便—只需幾行代碼就能構建一個神經網絡。Keras具有完整的文檔，使得學習和使用十分容易—即便不熟悉Python。其更適用于學術研究、實驗或輕量級工業任務(如獲取特征值)；

Torch具有十分優秀的速度性能，但其使用Lua語言；

DL4j兼容JVM，也適用 Java、Clojure和 Scala；