LuaJIT的通用計(jì)算性能遠(yuǎn)勝于Python，而且可以直接在LuaJIT中操作C的pointers。
Torch的框架，包含Lua是自洽的，而完全基于Python的程序?qū)Σ煌脚_(tái)、系統(tǒng)移植性較差，依賴(lài)的外部庫(kù)較多。
LuaJIT的FFI拓展接口非常易學(xué)，可以方便地鏈接其他庫(kù)到Torch中。Torch中還專(zhuān)門(mén)設(shè)計(jì)了N-Dimension?array?type的對(duì)象Tensor，Torch中的Tensor是一塊內(nèi)存的視圖，同時(shí)一塊內(nèi)存可能有許多視圖（Tensor）指向它，這樣的設(shè)計(jì)同時(shí)兼顧了性能（直接面向內(nèi)存）和便利性。同時(shí)，Torch還提供了不少相關(guān)的庫(kù)，包括線(xiàn)性代數(shù)、卷積、傅里葉變換、繪圖和統(tǒng)計(jì)等，如圖2-5所示。

圖2-5??Torch提供的各種數(shù)據(jù)處理的庫(kù)

Torch的nn庫(kù)支持神經(jīng)網(wǎng)絡(luò)、自編碼器、線(xiàn)性回歸、卷積網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等，同時(shí)支持定制的損失函數(shù)及梯度計(jì)算。Torch因?yàn)槭褂昧薒uaJIT，因此用戶(hù)在Lua中做數(shù)據(jù)預(yù)處理等操作可以隨意使用循環(huán)等操作，而不必像在Python中那樣擔(dān)心性能問(wèn)題，也不需要學(xué)習(xí)Python中各種加速運(yùn)算的庫(kù)。不過(guò)，Lua相比Python還不是那么主流，對(duì)大多數(shù)用戶(hù)有學(xué)習(xí)成本。Torch在CPU上的計(jì)算會(huì)使用OpenMP、SSE進(jìn)行優(yōu)化，GPU上使用CUDA、cutorch、cunn、cuDNN進(jìn)行優(yōu)化，同時(shí)還有cuda-convnet的wrapper。Torch有很多第三方的擴(kuò)展可以支持RNN，使得Torch基本支持所有主流的網(wǎng)絡(luò)。和Caffe類(lèi)似的是，Torch也是主要基于Layer的連接來(lái)定義網(wǎng)絡(luò)的。Torch中新的Layer依然需要用戶(hù)自己實(shí)現(xiàn)，不過(guò)定義新Layer和定義網(wǎng)絡(luò)的方式很相似，非常簡(jiǎn)便，不像Caffe那么麻煩，用戶(hù)需要使用C++或者CUDA定義新Layer。同時(shí)，Torch屬于命令式編程模式，不像Theano、TensorFlow屬于聲明性編程（計(jì)算圖是預(yù)定義的靜態(tài)的結(jié)構(gòu)），所以用它實(shí)現(xiàn)某些復(fù)雜操作（比如beam?search）比Theano和TensorFlow方便很多。

Lasagne

Lasagne是一個(gè)基于Theano的輕量級(jí)的神經(jīng)網(wǎng)絡(luò)庫(kù)。它支持前饋神經(jīng)網(wǎng)絡(luò)，比如卷積網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、LSTM等，以及它們的組合；支持許多優(yōu)化方法，比如Nesterov?momentum、RMSprop、ADAM等；它是Theano的上層封裝，但又不像Keras那樣進(jìn)行了重度的封裝，Keras隱藏了Theano中所有的方法和對(duì)象，而Lasagne則是借用了Theano中很多的類(lèi)，算是介于基礎(chǔ)的Theano和高度抽象的Keras之間的一個(gè)輕度封裝，簡(jiǎn)化了操作同時(shí)支持比較底層的操作。Lasagne設(shè)計(jì)的六個(gè)原則是簡(jiǎn)潔、透明、模塊化、實(shí)用、聚焦和專(zhuān)注。

Keras

Keras是一個(gè)崇尚極簡(jiǎn)、高度模塊化的神經(jīng)網(wǎng)絡(luò)庫(kù)，使用Python實(shí)現(xiàn)，并可以同時(shí)運(yùn)行在TensorFlow和Theano上。它旨在讓用戶(hù)進(jìn)行最快速的原型實(shí)驗(yàn)，讓想法變?yōu)榻Y(jié)果的這個(gè)過(guò)程最短。Theano和TensorFlow的計(jì)算圖支持更通用的計(jì)算，而Keras則專(zhuān)精于深度學(xué)習(xí)。Theano和TensorFlow更像是深度學(xué)習(xí)領(lǐng)域的NumPy，而Keras則是這個(gè)領(lǐng)域的Scikit-learn。它提供了目前為止最方便的API，用戶(hù)只需要將高級(jí)的模塊拼在一起，就可以設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)，它大大降低了編程開(kāi)銷(xiāo)（code?overhead）和閱讀別人代碼時(shí)的理解開(kāi)銷(xiāo)（cognitive?overhead）。它同時(shí)支持卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)，支持級(jí)聯(lián)的模型或任意的圖結(jié)構(gòu)的模型（可以讓某些數(shù)據(jù)跳過(guò)某些Layer和后面的Layer對(duì)接，使得創(chuàng)建Inception等復(fù)雜網(wǎng)絡(luò)變得容易），從CPU上計(jì)算切換到GPU加速無(wú)須任何代碼的改動(dòng)。因?yàn)榈讓邮褂肨heano或TensorFlow，用Keras訓(xùn)練模型相比于前兩者基本沒(méi)有什么性能損耗（還可以享受前兩者持續(xù)開(kāi)發(fā)帶來(lái)的性能提升），只是簡(jiǎn)化了編程的復(fù)雜度，節(jié)約了嘗試新網(wǎng)絡(luò)結(jié)構(gòu)的時(shí)間。可以說(shuō)模型越復(fù)雜，使用Keras的收益就越大，尤其是在高度依賴(lài)權(quán)值共享、多模型組合、多任務(wù)學(xué)習(xí)等模型上，Keras表現(xiàn)得非常突出。Keras所有的模塊都是簡(jiǎn)潔、易懂、完全可配置、可隨意插拔的，并且基本上沒(méi)有任何使用限制，神經(jīng)網(wǎng)絡(luò)、損失函數(shù)、優(yōu)化器、初始化方法、激活函數(shù)和正則化等模塊都是可以自由組合的。Keras也包括絕大部分state-of-the-art的Trick，包括Adam、RMSProp、Batch?Normalization、PReLU、ELU、LeakyReLU等。同時(shí)，新的模塊也很容易添加，這讓Keras非常適合最前沿的研究。Keras中的模型也都是在Python中定義的，不像Caffe、CNTK等需要額外的文件來(lái)定義模型，這樣就可以通過(guò)編程的方式調(diào)試模型結(jié)構(gòu)和各種超參數(shù)。在Keras中，只需要幾行代碼就能實(shí)現(xiàn)一個(gè)MLP，或者十幾行代碼實(shí)現(xiàn)一個(gè)AlexNet，這在其他深度學(xué)習(xí)框架中基本是不可能完成的任務(wù)。Keras最大的問(wèn)題可能是目前無(wú)法直接使用多GPU，所以對(duì)大規(guī)模的數(shù)據(jù)處理速度沒(méi)有其他支持多GPU和分布式的框架快。Keras的編程模型設(shè)計(jì)和Torch很像，但是相比Torch，Keras構(gòu)建在Python上，有一套完整的科學(xué)計(jì)算工具鏈，而Torch的編程語(yǔ)言Lua并沒(méi)有這樣一條科學(xué)計(jì)算工具鏈。無(wú)論從社區(qū)人數(shù)，還是活躍度來(lái)看，Keras目前的增長(zhǎng)速度都已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了Torch。

MXNet