MXNet是DMLC（Distributed?Machine?Learning?Community）開(kāi)發(fā)的一款開(kāi)源的、輕量級(jí)、可移植的、靈活的深度學(xué)習(xí)庫(kù)，它讓用戶可以混合使用符號(hào)編程模式和指令式編程模式來(lái)最大化效率和靈活性，目前已經(jīng)是AWS官方推薦的深度學(xué)習(xí)框架。MXNet的很多作者都是中國(guó)人，其最大的貢獻(xiàn)組織為百度，同時(shí)很多作者來(lái)自cxxnet、minerva和purine2等深度學(xué)習(xí)項(xiàng)目，可謂博采眾家之長(zhǎng)。它是各個(gè)框架中率先支持多GPU和分布式的，同時(shí)其分布式性能也非常高。MXNet的核心是一個(gè)動(dòng)態(tài)的依賴調(diào)度器，支持自動(dòng)將計(jì)算任務(wù)并行化到多個(gè)GPU或分布式集群（支持AWS、Azure、Yarn等）。它上層的計(jì)算圖優(yōu)化算法可以讓符號(hào)計(jì)算執(zhí)行得非常快，而且節(jié)約內(nèi)存，開(kāi)啟mirror模式會(huì)更加省內(nèi)存，甚至可以在某些小內(nèi)存GPU上訓(xùn)練其他框架因顯存不夠而訓(xùn)練不了的深度學(xué)習(xí)模型，也可以在移動(dòng)設(shè)備（Android、iOS）上運(yùn)行基于深度學(xué)習(xí)的圖像識(shí)別等任務(wù)。此外，MXNet的一個(gè)很大的優(yōu)點(diǎn)是支持非常多的語(yǔ)言封裝，比如C++、Python、R、Julia、Scala、Go、MATLAB和JavaScript等，可謂非常全面，基本主流的腳本語(yǔ)言全部都支持了。在MXNet中構(gòu)建一個(gè)網(wǎng)絡(luò)需要的時(shí)間可能比Keras、Torch這類高度封裝的框架要長(zhǎng)，但是比直接用Theano等要快。MXNet的各級(jí)系統(tǒng)架構(gòu)（下面為硬件及操作系統(tǒng)底層，逐層向上為越來(lái)越抽象的接口）如圖2-6所示。

圖2-6??MXNet系統(tǒng)架構(gòu)

DIGITS

DIGITS（Deep?Learning?GPU?Training?System）不是一個(gè)標(biāo)準(zhǔn)的深度學(xué)習(xí)庫(kù)，它可以算是一個(gè)Caffe的高級(jí)封裝（或者Caffe的Web版培訓(xùn)系統(tǒng)）。因?yàn)榉庋b得非常重，以至于你不需要（也不能）在DIGITS中寫(xiě)代碼，即可實(shí)現(xiàn)一個(gè)深度學(xué)習(xí)的圖片識(shí)別模型。在Caffe中，定義模型結(jié)構(gòu)、預(yù)處理數(shù)據(jù)、進(jìn)行訓(xùn)練并監(jiān)控訓(xùn)練過(guò)程是相對(duì)比較煩瑣的，DIGITS把所有這些操作都簡(jiǎn)化為在瀏覽器中執(zhí)行。它可以算作Caffe在圖片分類上的一個(gè)漂亮的用戶可視化界面（GUI），計(jì)算機(jī)視覺(jué)的研究者或者工程師可以非常方便地設(shè)計(jì)深度學(xué)習(xí)模型、測(cè)試準(zhǔn)確率，以及調(diào)試各種超參數(shù)。同時(shí)使用它也可以生成數(shù)據(jù)和訓(xùn)練結(jié)果的可視化統(tǒng)計(jì)報(bào)表，甚至是網(wǎng)絡(luò)的可視化結(jié)構(gòu)圖。訓(xùn)練好的Caffe模型可以被DIGITS直接使用，上傳圖片到服務(wù)器或者輸入url即可對(duì)圖片進(jìn)行分類。

CNTK

CNTK（Computational?Network?Toolkit）是微軟研究院（MSR）開(kāi)源的深度學(xué)習(xí)框架。它最早由start?the?deep?learning?craze的演講人創(chuàng)建，目前已經(jīng)發(fā)展成一個(gè)通用的、跨平臺(tái)的深度學(xué)習(xí)系統(tǒng)，在語(yǔ)音識(shí)別領(lǐng)域的使用尤其廣泛。CNTK通過(guò)一個(gè)有向圖將神經(jīng)網(wǎng)絡(luò)描述為一系列的運(yùn)算操作，這個(gè)有向圖中子節(jié)點(diǎn)代表輸入或網(wǎng)絡(luò)參數(shù)，其他節(jié)點(diǎn)代表各種矩陣運(yùn)算。CNTK支持各種前饋網(wǎng)絡(luò)，包括MLP、CNN、RNN、LSTM、Sequence-to-Sequence模型等，也支持自動(dòng)求解梯度。CNTK有豐富的細(xì)粒度的神經(jīng)網(wǎng)絡(luò)組件，使得用戶不需要寫(xiě)底層的C++或CUDA，就能通過(guò)組合這些組件設(shè)計(jì)新的復(fù)雜的Layer。CNTK擁有產(chǎn)品級(jí)的代碼質(zhì)量，支持多機(jī)、多GPU的分布式訓(xùn)練。