TensorFlow和Keras哪個更好用？

本文的作者經(jīng)常在電子郵箱中、社交媒體上，甚至在與深度學習研究人員、從業(yè)者和工程師面對面交談時，會被問到這些問題：我應(yīng)該在項目中使用 Keras 還是 TensorFlow？TensorFlow 和 Keras 哪個更好？我應(yīng)該花時間研究TensorFlow 還是 Keras？你是不是也有相同的疑問？如果有，相信這篇文章會給你答案。

實際上，到 2017 年中，Keras 已經(jīng)被大規(guī)模采用，并與 TensorFlow 集成在一起。這種 TensorFlow + Keras 的組合讓你可以：

使用 Keras 的接口定義模型；

如果你需要特定的 TensorFlow 功能或者需要實現(xiàn) Keras 不支持但 TensorFlow 支持的自定義功能，可以回到 TensorFlow。

簡單地說，你可以將 TensorFlow 代碼直接插入到 Keras 的模型或訓(xùn)練管道中！

但請別誤會，我并不是說你就不需要了解 TensorFlow 了。我的意思是，如果你：

剛開始接觸深度學習……

在為下一個項目選型……

想知道 Keras 或 TensorFlow 哪個“更好”……

我的建議是先從 Keras 著手，然后深入 TensorFlow，這樣可以獲得你需要的某些特定功能。

在這篇文章中，我將向你展示如何使用 Keras 訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以及如何使用直接構(gòu)建在 TensorFlow 庫中的 Keras + TensorFlow 組合來訓(xùn)練模型。

Keras 與 TF 我該學哪個？

在文章的其余部分，我將繼續(xù)討論有關(guān) Keras 與 TensorFlow 的爭論以及為什么說這個問題其實是個錯誤的問題。

我們將使用標準的 keras 模塊以及 TensorFlow 的 tf.keras 模塊實現(xiàn)一個卷積神經(jīng)網(wǎng)絡(luò)（CNN）。

我們將在一個樣本數(shù)據(jù)集上訓(xùn)練 CNN，然后檢查結(jié)果——你會發(fā)現(xiàn)，Keras 和 TensorFlow 可以很融洽地合作。

最重要的是，你將會了解為什么 Keras 與 TensorFlow 之間的爭論其實是沒有意義的。

盡管從 TensorFlow 宣布將 Keras 集成到官方 TensorFlow 版本中已經(jīng)一年多時間了，但很多深度學習從業(yè)者仍然不知道他們可以通過 tf.keras 子模塊訪問 Keras，為此我感到很驚訝。

更重要的是，Keras + TensorFlow 的集成是無縫的，你可以直接將 TensorFlow 代碼放到 Keras 模型中。

在 TensorFlow 中使用 Keras 將為你帶來兩全其美的好處：

你可以使用 Keras 提供的簡單直觀的 API 來創(chuàng)建模型；

Keras API 與 scikit-learn（被認為是機器學習 API 的“黃金標準”）很像；

Keras API 采用了模塊化，易于使用；

當你需要自定義實現(xiàn)或者更復(fù)雜的損失函數(shù)時，可以直接進入 TensorFlow，并讓代碼自動與 Keras 模型集成。

在過去幾年中，深度學習研究人員、從業(yè)人員和工程師通常需要做出以下選擇：

我是選擇易用但難以定制的 Keras 庫？

還是選擇難用的 TensorFlow API，并編寫更多的代碼？

所幸的是，我們不必再糾結(jié)了。

如果你發(fā)現(xiàn)自己還在問這樣的問題，那么請退后一步——你問的是錯誤的問題——你可以同時擁有這兩個框架。

如圖所示，導(dǎo)入 TensorFlow（tf），然后調(diào)用 tf.keras，可見 Keras 實際上已經(jīng)成為 TensorFlow 的一部分。

在 tf.keras 中包含 Keras 讓你可以使用標準的 Keras 包實現(xiàn)簡單的前饋神經(jīng)網(wǎng)絡(luò)：

然后使用 tf.keras 子模塊實現(xiàn)相同的網(wǎng)絡(luò)：

這是否意味著你必須使用 tf.keras？標準的 Keras 包是不是已經(jīng)過時？當然不是。

作為一個庫，Keras 仍然可以單獨使用，因此未來兩者可能會分道揚鑣。不過，因為谷歌官方支持 Keras 和 TensorFlow，所以似乎不太可能出現(xiàn)這種情況。

關(guān)鍵是：

如果你習慣使用 Keras 編寫代碼，那么請繼續(xù)這樣做。

但如果你主要使用的是 TensorFlow，那么應(yīng)該開始考慮一下 Keras API：

它內(nèi)置于 TensorFlow 中；

它更容易使用；

當你需要使用 TensorFlow 來實現(xiàn)特定功能時，可以直接將其集成到 Keras 模型中。

我們的樣本數(shù)據(jù)集

CIFAR-10 數(shù)據(jù)集包含了 10 個分類，我們將它用在我們的演示中。

為簡單起見，我們將使用以下方法在 CIFAR-10 數(shù)據(jù)集上訓(xùn)練兩個單獨的卷積神經(jīng)網(wǎng)絡(luò)：

TensorFlow + Keras；

tf.keras 的 Keras 子模塊。

我還將展示如何將自定義的 TensorFlow 代碼包含在 Keras 模型中。

我們的項目結(jié)構(gòu)

可以使用 tree 命令在終端中查看我們的項目結(jié)構(gòu)：

pyimagesearch 模塊不能通過 pip 安裝，請點擊文末提供的下載鏈接。現(xiàn)在讓我們看一下該模塊的兩個重要 Python 文件：

minivggnetkeras.py：MiniVGGNet（一個機遇 VGGNet 的深度學習模型）的 Keras 實現(xiàn)。

minivggnettf.py：MiniVGGNet 的 TensorFlow + Keras（即 tf.keras）實現(xiàn)。

項目根目錄包含兩個 Python 文件：

train_network_keras.py：Keras 版本的訓(xùn)練腳本。

train_network_tf.py：TensorFlow + Keras 版本的訓(xùn)練腳本，幾乎與前一個一模一樣。

每個腳本都將生成相應(yīng)的訓(xùn)練準確率和損失：

plot_keras.png

plot_tf.png

使用 Keras 訓(xùn)練網(wǎng)絡(luò)

訓(xùn)練的第一步是使用 Keras 實現(xiàn)網(wǎng)絡(luò)架構(gòu)。

打開 minivggnetkeras.py 文件，并插入以下代碼：

我們先導(dǎo)入構(gòu)建模型需要的一系列 Keras 包。

然后定義我們的 MiniVGGNetKeras 類：

我們定義了 build 方法、inputShape 和 input。

然后定義卷積神經(jīng)網(wǎng)絡(luò)的主要部分：

你會發(fā)現(xiàn)我們在應(yīng)用池化層之前堆疊了一系列卷積、ReLU 激活和批量規(guī)范化層，以便減少卷的空間維度。還使用了 Dropout 來減少過擬合。

現(xiàn)在將全連接層添加到網(wǎng)絡(luò)中：

我們已經(jīng)使用 Keras 實現(xiàn)了 CNN，現(xiàn)在創(chuàng)建將用于訓(xùn)練的驅(qū)動腳本。

打開 train_network_keras.py 并插入以下代碼：

我們先導(dǎo)入需要的包。

matplotlib 設(shè)置為“Agg”，這樣就可以將訓(xùn)練結(jié)果保存為圖像文件。

然后導(dǎo)入 MiniVGGNetKeras 類。

我們使用 scikit-learn 的 LabelBinarizer 進行“獨熱”編碼，并使用 classification_report 打印分類精度。

然后導(dǎo)入數(shù)據(jù)集。

我們通過 --plot 傳入命令行參數(shù)，也就是圖像的保存路徑。

現(xiàn)在讓我們加載 CIFAR-10 數(shù)據(jù)集，并對標簽進行編碼：

我們先加載和提取訓(xùn)練和測試分割，并將它們轉(zhuǎn)換為浮點數(shù)和進行數(shù)據(jù)縮放。

然后我們對標簽進行編碼，并初始化 labelNames。

接下來，讓我們開始訓(xùn)練模型：

我們先設(shè)置訓(xùn)練參數(shù)和優(yōu)化方法。

然后我們使用 MiniVGGNetKeras.build 方法初始化和編譯模型。

隨后，我們啟動了訓(xùn)練程序。

現(xiàn)在讓我們來評估網(wǎng)絡(luò)并生成結(jié)果圖：

我們基于數(shù)據(jù)的測試分割來評估網(wǎng)絡(luò)，并生成 classification_report，最后再導(dǎo)出結(jié)果。

注意：通常我會序列化并導(dǎo)出模型，以便可以將其用在圖像或視頻的處理腳本中，但這里不打算這樣做，因為這超出了本文的范圍。

打開一個終端并執(zhí)行以下命令：

我的 CPU 完成一個 epoch 需要 5 分多鐘。

我們獲得了 75％的準確率——當然不是最先進的，不過它比隨機猜測（1/10）要好得多。

對于小型網(wǎng)絡(luò)來說，我們的準確率算是非常好的了，而且沒有發(fā)生過擬合。

使用 TensorFlow 和 tf.keras 訓(xùn)練網(wǎng)絡(luò)

使用 tf.keras 構(gòu)建的 MiniVGGNet CNN 與我們直接使用 Keras 構(gòu)建的模型是一樣的，除了為演示目的而修改的激活函數(shù)。

現(xiàn)在我們已經(jīng)使用 Keras 庫實現(xiàn)并訓(xùn)練了一個簡單的 CNN，接下來我們要：

使用 TensorFlow 的 tf.keras 實現(xiàn)相同的網(wǎng)絡(luò)；

在 Keras 模型中包含一個 TensorFlow 激活函數(shù)，這個函數(shù)不是使用 Keras 實現(xiàn)的。

首先，打開 minivggnettf.py 文件，我們將實現(xiàn) TensorFlow 版本的 MiniVGGNet：

請注意，導(dǎo)入部分只有一行。tf.keras 子模塊包含了我們可以直接調(diào)用的所有 Keras 函數(shù)。

我想強調(diào)一下 Lambda 層——它們用來插入自定義激活函數(shù) CRELU（Concatenated ReLU）。

Keras 并沒有實現(xiàn) CRELU，但 TensorFlow 實現(xiàn)了——通過使用 TensorFlow 和 tf.keras，我們可以使用一行代碼將 CRELU 添加到 Keras 模型中。

下一步是編寫 TensorFlow + Keras 驅(qū)動腳本來訓(xùn)練 MiniVGGNetTF。

打開 train_network_tf.py 并插入以下代碼：

然后是解析命令行參數(shù)。

接著像之前一樣加載數(shù)據(jù)集。

其余的行都一樣——提取訓(xùn)練 / 測試分割和編碼標簽。

現(xiàn)在讓我們開始訓(xùn)練模型：

訓(xùn)練過程幾乎是一樣的。我們已經(jīng)實現(xiàn)了完全相同的訓(xùn)練流程，只是這次使用的是 tf.keras。

打開一個終端并執(zhí)行以下命令：

訓(xùn)練完成后，你將獲得類似于下面這樣的結(jié)果：

通過使用 CRELU 替換 RELU 激活函數(shù)，我們獲得了 76％的準確率。不過，這 1％的提升可能是因為網(wǎng)絡(luò)權(quán)重的隨機初始化，需要通過進一步的交叉驗證實驗來證明這種準確率的提升確實是因為 CRELU。

不管怎樣，原始準確率并不是本節(jié)的重點。我們需要關(guān)注的是如何在 Keras 模型內(nèi)部使用 TensorFlow 激活函數(shù)替換標準的 Keras 激活函數(shù)！

你也可以使用自己的自定義激活函數(shù)、損失 / 成本函數(shù)或?qū)印?/p>

總結(jié)

在這篇文章中，我們討論了 Keras 和 TensorFlow 相關(guān)的問題，包括：

我應(yīng)該在項目中使用 Keras 還是 TensorFlow？

TensorFlow 和 Keras 哪個更好？

我應(yīng)該花時間研究 TensorFlow 還是 Keras？

最后我們發(fā)現(xiàn)，在 Keras 和 TensorFlow 之間做出選擇變得不那么重要。

因為 Keras 庫已經(jīng)通過 tf.keras 模塊直接集成到 TensorFlow 中了。