本文的作者經(jīng)常在電子郵箱中、社交媒體上，甚至在與深度學(xué)習(xí)研究人員、從業(yè)者和工程師面對(duì)面交談時(shí)，會(huì)被問到這些問題：我應(yīng)該在項(xiàng)目中使用 Keras 還是 TensorFlow？TensorFlow 和 Keras 哪個(gè)更好？我應(yīng)該花時(shí)間研究TensorFlow 還是 Keras？你是不是也有相同的疑問？如果有，相信這篇文章會(huì)給你答案。

實(shí)際上，到 2017 年中，Keras 已經(jīng)被大規(guī)模采用，并與 TensorFlow 集成在一起。這種 TensorFlow + Keras 的組合讓你可以：

使用 Keras 的接口定義模型；

如果你需要特定的 TensorFlow 功能或者需要實(shí)現(xiàn) Keras 不支持但 TensorFlow 支持的自定義功能，可以回到 TensorFlow。

簡(jiǎn)單地說，你可以將 TensorFlow 代碼直接插入到 Keras 的模型或訓(xùn)練管道中！

但請(qǐng)別誤會(huì)，我并不是說你就不需要了解 TensorFlow 了。我的意思是，如果你：

剛開始接觸深度學(xué)習(xí)……

在為下一個(gè)項(xiàng)目選型……

想知道 Keras 或 TensorFlow 哪個(gè)“更好”……

我的建議是先從 Keras 著手，然后深入 TensorFlow，這樣可以獲得你需要的某些特定功能。

在這篇文章中，我將向你展示如何使用 Keras 訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以及如何使用直接構(gòu)建在 TensorFlow 庫(kù)中的 Keras + TensorFlow 組合來訓(xùn)練模型。

Keras 與 TF 我該學(xué)哪個(gè)？

在文章的其余部分，我將繼續(xù)討論有關(guān) Keras 與 TensorFlow 的爭(zhēng)論以及為什么說這個(gè)問題其實(shí)是個(gè)錯(cuò)誤的問題。

我們將使用標(biāo)準(zhǔn)的 keras 模塊以及 TensorFlow 的 tf.keras 模塊實(shí)現(xiàn)一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）。

我們將在一個(gè)樣本數(shù)據(jù)集上訓(xùn)練 CNN，然后檢查結(jié)果——你會(huì)發(fā)現(xiàn)，Keras 和 TensorFlow 可以很融洽地合作。

最重要的是，你將會(huì)了解為什么 Keras 與 TensorFlow 之間的爭(zhēng)論其實(shí)是沒有意義的。

盡管從 TensorFlow 宣布將 Keras 集成到官方 TensorFlow 版本中已經(jīng)一年多時(shí)間了，但很多深度學(xué)習(xí)從業(yè)者仍然不知道他們可以通過 tf.keras 子模塊訪問 Keras，為此我感到很驚訝。

更重要的是，Keras + TensorFlow 的集成是無縫的，你可以直接將 TensorFlow 代碼放到 Keras 模型中。

在 TensorFlow 中使用 Keras 將為你帶來兩全其美的好處：

你可以使用 Keras 提供的簡(jiǎn)單直觀的 API 來創(chuàng)建模型；

Keras API 與 scikit-learn（被認(rèn)為是機(jī)器學(xué)習(xí) API 的“黃金標(biāo)準(zhǔn)”）很像；

Keras API 采用了模塊化，易于使用；

當(dāng)你需要自定義實(shí)現(xiàn)或者更復(fù)雜的損失函數(shù)時(shí)，可以直接進(jìn)入 TensorFlow，并讓代碼自動(dòng)與 Keras 模型集成。

在過去幾年中，深度學(xué)習(xí)研究人員、從業(yè)人員和工程師通常需要做出以下選擇：

我是選擇易用但難以定制的 Keras 庫(kù)？

還是選擇難用的 TensorFlow API，并編寫更多的代碼？

所幸的是，我們不必再糾結(jié)了。

如果你發(fā)現(xiàn)自己還在問這樣的問題，那么請(qǐng)退后一步——你問的是錯(cuò)誤的問題——你可以同時(shí)擁有這兩個(gè)框架。

如圖所示，導(dǎo)入 TensorFlow（tf），然后調(diào)用 tf.keras，可見 Keras 實(shí)際上已經(jīng)成為 TensorFlow 的一部分。

在 tf.keras 中包含 Keras 讓你可以使用標(biāo)準(zhǔn)的 Keras 包實(shí)現(xiàn)簡(jiǎn)單的前饋神經(jīng)網(wǎng)絡(luò)：

然后使用 tf.keras 子模塊實(shí)現(xiàn)相同的網(wǎng)絡(luò)：

這是否意味著你必須使用 tf.keras？標(biāo)準(zhǔn)的 Keras 包是不是已經(jīng)過時(shí)？當(dāng)然不是。

作為一個(gè)庫(kù)，Keras 仍然可以單獨(dú)使用，因此未來兩者可能會(huì)分道揚(yáng)鑣。不過，因?yàn)楣雀韫俜街С?Keras 和 TensorFlow，所以似乎不太可能出現(xiàn)這種情況。

關(guān)鍵是：

如果你習(xí)慣使用 Keras 編寫代碼，那么請(qǐng)繼續(xù)這樣做。

但如果你主要使用的是 TensorFlow，那么應(yīng)該開始考慮一下 Keras API：

它內(nèi)置于 TensorFlow 中；

它更容易使用；

當(dāng)你需要使用 TensorFlow 來實(shí)現(xiàn)特定功能時(shí)，可以直接將其集成到 Keras 模型中。

我們的樣本數(shù)據(jù)集

CIFAR-10 數(shù)據(jù)集包含了 10 個(gè)分類，我們將它用在我們的演示中。

為簡(jiǎn)單起見，我們將使用以下方法在 CIFAR-10 數(shù)據(jù)集上訓(xùn)練兩個(gè)單獨(dú)的卷積神經(jīng)網(wǎng)絡(luò)：

TensorFlow + Keras；

tf.keras 的 Keras 子模塊。

我還將展示如何將自定義的 TensorFlow 代碼包含在 Keras 模型中。

我們的項(xiàng)目結(jié)構(gòu)

可以使用 tree 命令在終端中查看我們的項(xiàng)目結(jié)構(gòu)：

pyimagesearch 模塊不能通過 pip 安裝，請(qǐng)點(diǎn)擊文末提供的下載鏈接?，F(xiàn)在讓我們看一下該模塊的兩個(gè)重要 Python 文件：

minivggnetkeras.py：MiniVGGNet（一個(gè)機(jī)遇 VGGNet 的深度學(xué)習(xí)模型）的 Keras 實(shí)現(xiàn)。

minivggnettf.py：MiniVGGNet 的 TensorFlow + Keras（即 tf.keras）實(shí)現(xiàn)。

項(xiàng)目根目錄包含兩個(gè) Python 文件：

train_network_keras.py：Keras 版本的訓(xùn)練腳本。

train_network_tf.py：TensorFlow + Keras 版本的訓(xùn)練腳本，幾乎與前一個(gè)一模一樣。

每個(gè)腳本都將生成相應(yīng)的訓(xùn)練準(zhǔn)確率和損失：

plot_keras.png

plot_tf.png

使用 Keras 訓(xùn)練網(wǎng)絡(luò)

訓(xùn)練的第一步是使用 Keras 實(shí)現(xiàn)網(wǎng)絡(luò)架構(gòu)。

打開 minivggnetkeras.py 文件，并插入以下代碼：

我們先導(dǎo)入構(gòu)建模型需要的一系列 Keras 包。

然后定義我們的 MiniVGGNetKeras 類：

我們定義了 build 方法、inputShape 和 input。

然后定義卷積神經(jīng)網(wǎng)絡(luò)的主要部分：

你會(huì)發(fā)現(xiàn)我們?cè)趹?yīng)用池化層之前堆疊了一系列卷積、ReLU 激活和批量規(guī)范化層，以便減少卷的空間維度。還使用了 Dropout 來減少過擬合。

現(xiàn)在將全連接層添加到網(wǎng)絡(luò)中：

我們已經(jīng)使用 Keras 實(shí)現(xiàn)了 CNN，現(xiàn)在創(chuàng)建將用于訓(xùn)練的驅(qū)動(dòng)腳本。

打開 train_network_keras.py 并插入以下代碼：

我們先導(dǎo)入需要的包。

matplotlib 設(shè)置為“Agg”，這樣就可以將訓(xùn)練結(jié)果保存為圖像文件。

然后導(dǎo)入 MiniVGGNetKeras 類。

我們使用 scikit-learn 的 LabelBinarizer 進(jìn)行“獨(dú)熱”編碼，并使用 classification_report 打印分類精度。

然后導(dǎo)入數(shù)據(jù)集。

我們通過 --plot 傳入命令行參數(shù)，也就是圖像的保存路徑。

現(xiàn)在讓我們加載 CIFAR-10 數(shù)據(jù)集，并對(duì)標(biāo)簽進(jìn)行編碼：

我們先加載和提取訓(xùn)練和測(cè)試分割，并將它們轉(zhuǎn)換為浮點(diǎn)數(shù)和進(jìn)行數(shù)據(jù)縮放。

然后我們對(duì)標(biāo)簽進(jìn)行編碼，并初始化 labelNames。

接下來，讓我們開始訓(xùn)練模型：

我們先設(shè)置訓(xùn)練參數(shù)和優(yōu)化方法。

然后我們使用 MiniVGGNetKeras.build 方法初始化和編譯模型。

隨后，我們啟動(dòng)了訓(xùn)練程序。

現(xiàn)在讓我們來評(píng)估網(wǎng)絡(luò)并生成結(jié)果圖：

我們基于數(shù)據(jù)的測(cè)試分割來評(píng)估網(wǎng)絡(luò)，并生成 classification_report，最后再導(dǎo)出結(jié)果。

注意：通常我會(huì)序列化并導(dǎo)出模型，以便可以將其用在圖像或視頻的處理腳本中，但這里不打算這樣做，因?yàn)檫@超出了本文的范圍。

打開一個(gè)終端并執(zhí)行以下命令：

我的 CPU 完成一個(gè) epoch 需要 5 分多鐘。

我們獲得了 75％的準(zhǔn)確率——當(dāng)然不是最先進(jìn)的，不過它比隨機(jī)猜測(cè)（1/10）要好得多。

對(duì)于小型網(wǎng)絡(luò)來說，我們的準(zhǔn)確率算是非常好的了，而且沒有發(fā)生過擬合。

使用 TensorFlow 和 tf.keras 訓(xùn)練網(wǎng)絡(luò)

使用 tf.keras 構(gòu)建的 MiniVGGNet CNN 與我們直接使用 Keras 構(gòu)建的模型是一樣的，除了為演示目的而修改的激活函數(shù)。

現(xiàn)在我們已經(jīng)使用 Keras 庫(kù)實(shí)現(xiàn)并訓(xùn)練了一個(gè)簡(jiǎn)單的 CNN，接下來我們要：

使用 TensorFlow 的 tf.keras 實(shí)現(xiàn)相同的網(wǎng)絡(luò)；

在 Keras 模型中包含一個(gè) TensorFlow 激活函數(shù)，這個(gè)函數(shù)不是使用 Keras 實(shí)現(xiàn)的。

首先，打開 minivggnettf.py 文件，我們將實(shí)現(xiàn) TensorFlow 版本的 MiniVGGNet：

請(qǐng)注意，導(dǎo)入部分只有一行。tf.keras 子模塊包含了我們可以直接調(diào)用的所有 Keras 函數(shù)。

我想強(qiáng)調(diào)一下 Lambda 層——它們用來插入自定義激活函數(shù) CRELU（Concatenated ReLU）。

Keras 并沒有實(shí)現(xiàn) CRELU，但 TensorFlow 實(shí)現(xiàn)了——通過使用 TensorFlow 和 tf.keras，我們可以使用一行代碼將 CRELU 添加到 Keras 模型中。

下一步是編寫 TensorFlow + Keras 驅(qū)動(dòng)腳本來訓(xùn)練 MiniVGGNetTF。

打開 train_network_tf.py 并插入以下代碼：

然后是解析命令行參數(shù)。

接著像之前一樣加載數(shù)據(jù)集。

其余的行都一樣——提取訓(xùn)練 / 測(cè)試分割和編碼標(biāo)簽。

現(xiàn)在讓我們開始訓(xùn)練模型：

訓(xùn)練過程幾乎是一樣的。我們已經(jīng)實(shí)現(xiàn)了完全相同的訓(xùn)練流程，只是這次使用的是 tf.keras。

打開一個(gè)終端并執(zhí)行以下命令：

訓(xùn)練完成后，你將獲得類似于下面這樣的結(jié)果：

通過使用 CRELU 替換 RELU 激活函數(shù)，我們獲得了 76％的準(zhǔn)確率。不過，這 1％的提升可能是因?yàn)榫W(wǎng)絡(luò)權(quán)重的隨機(jī)初始化，需要通過進(jìn)一步的交叉驗(yàn)證實(shí)驗(yàn)來證明這種準(zhǔn)確率的提升確實(shí)是因?yàn)?CRELU。

不管怎樣，原始準(zhǔn)確率并不是本節(jié)的重點(diǎn)。我們需要關(guān)注的是如何在 Keras 模型內(nèi)部使用 TensorFlow 激活函數(shù)替換標(biāo)準(zhǔn)的 Keras 激活函數(shù)！

你也可以使用自己的自定義激活函數(shù)、損失 / 成本函數(shù)或?qū)印?/p>

總結(jié)

在這篇文章中，我們討論了 Keras 和 TensorFlow 相關(guān)的問題，包括：

我應(yīng)該在項(xiàng)目中使用 Keras 還是 TensorFlow？

TensorFlow 和 Keras 哪個(gè)更好？

我應(yīng)該花時(shí)間研究 TensorFlow 還是 Keras？

最后我們發(fā)現(xiàn)，在 Keras 和 TensorFlow 之間做出選擇變得不那么重要。

因?yàn)?Keras 庫(kù)已經(jīng)通過 tf.keras 模塊直接集成到 TensorFlow 中了。