深度學(xué)習(xí)中的學(xué)習(xí)率調(diào)節(jié)實(shí)踐

多層感知器多層感知器（MLP）是由一個(gè)輸入層、一個(gè)或多個(gè)隱藏層和一個(gè)稱為輸出層的最終層組成的人工神經(jīng)網(wǎng)絡(luò)（ANN）。通常，靠近輸入層的層稱為較低層，靠近輸出層的層稱為外層，除輸出層外的每一層都包含一個(gè)偏置神經(jīng)元，并與下一層完全相連。當(dāng)一個(gè) ANN 包含一個(gè)很深的隱藏層時(shí)，它被稱為深度神經(jīng)網(wǎng)絡(luò)（DNN）。

在本文中，我們將在 MNIST 數(shù)據(jù)集上訓(xùn)練一個(gè)深度 MLP，并通過指數(shù)增長來尋找最佳學(xué)習(xí)率，繪制損失圖，并找到損失增長的點(diǎn)，以達(dá)到 85％以上的準(zhǔn)確率。對(duì)于最佳的實(shí)踐過程，我們將實(shí)現(xiàn)早期停止，保存檢查點(diǎn)，并使用 TensorBoard 繪制學(xué)習(xí)曲線。你可以在這里查看 jupyter Notebook：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices／blob／master／optimal＿learning＿rates＿with＿keras＿api．ipynb 指數(shù)學(xué)習(xí)率學(xué)習(xí)率可以說是最重要的超參數(shù)。一般情況下，最佳學(xué)習(xí)速率約為最大學(xué)習(xí)速率（即訓(xùn)練算法偏離的學(xué)習(xí)速率）的一半。找到一個(gè)好的學(xué)習(xí)率的一個(gè)方法是訓(xùn)練模型進(jìn)行幾百次迭代，從非常低的學(xué)習(xí)率（例如，1e－5）開始，逐漸增加到非常大的值（例如，10）。這是通過在每次迭代時(shí)將學(xué)習(xí)速率乘以一個(gè)常數(shù)因子來實(shí)現(xiàn)的。如果你將損失描繪為學(xué)習(xí)率的函數(shù)，你應(yīng)該首先看到它在下降，但過一段時(shí)間后，學(xué)習(xí)率會(huì)變得很高，這時(shí)損失會(huì)迅速回升：最佳學(xué)習(xí)率將略低于轉(zhuǎn)折點(diǎn)，然后你可以重新初始化你的模型，并使用此良好的學(xué)習(xí)率對(duì)其進(jìn)行正常訓(xùn)練。Keras 模型我們先導(dǎo)入相關(guān)庫 import osimport matplotlib．pyplot as pltimport numpy as npimport pandas as pd

PROJECT＿ROOT＿DIR ＝ ＂．＂IMAGES＿PATH ＝ os．path．join（PROJECT＿ROOT＿DIR， ＂images＂）os．makedirs（IMAGES＿PATH， exist＿ok＝True）

def save＿fig（fig＿id， tight＿layout＝True， fig＿extension＝＂png＂， resolution＝300）： path ＝ os．path．join（IMAGES＿PATH， fig＿id ＋ ＂．＂ ＋ fig＿extension） print（＂Saving figure＂， fig＿id） if tight＿layout： plt．tight＿layout（） plt．savefig（path， format＝fig＿extension， dpi＝resolution）import tensorflow as tffrom tensorflow import keras 接下來加載數(shù)據(jù)集（X＿train， y＿train）， （X＿test， y＿test） ＝ keras．datasets．fashion＿mnist．load＿data（）

X＿train．shape

X＿train．dtype 標(biāo)準(zhǔn)化像素 X＿valid， X＿train ＝ X＿train［：5000］ ／ 255．0， X＿train［5000：］ ／ 255．0y＿valid， y＿train ＝ y＿train［：5000］， y＿train［5000：］ X＿test ＝ X＿test ／ 255．0 讓我們快速看一下數(shù)據(jù)集中的圖像樣本，讓我們感受一下分類任務(wù)的復(fù)雜性：class＿names ＝ ［＂T－shirt／top＂， ＂Trouser＂， ＂Pullover＂， ＂Dress＂， ＂Coat＂， ＂Sandal＂， ＂Shirt＂， ＂Sneaker＂， ＂Bag＂， ＂Ankle boot＂］

n＿rows ＝ 4n＿cols ＝ 10plt．figure（figsize＝（n＿cols ＊ 1．2， n＿rows ＊ 1．2））for row in range（n＿rows）： for col in range（n＿cols）： index ＝ n＿cols ＊ row ＋ col plt．subplot（n＿rows， n＿cols， index ＋ 1） plt．imshow（X＿train［index］， cmap＝＂binary＂， interpolation＝＂nearest＂） plt．a(chǎn)xis（＇off＇） plt．title（class＿names［y＿train［index］］， fontsize＝12）plt．subplots＿adjust（wspace＝0．2， hspace＝0．5）save＿fig（＇fashion＿mnist＿plot＇， tight＿layout＝False）plt．show（）

我們已經(jīng)準(zhǔn)備好用 Keras 來建立我們的 MLP。下面是一個(gè)具有兩個(gè)隱藏層的分類 MLP：model ＝ keras．models．Sequential（［ keras．layers．Flatten（input＿shape＝［28，28］）， keras．layers．Dense（300， activation＝＂relu＂）， keras．layers．Dense（100， activation＝＂relu＂）， keras．layers．Dense（10， activation＝＂softmax＂）］）讓我們一行一行地看這個(gè)代碼：首先，我們創(chuàng)建了一個(gè) Sequential 模型，它是神經(jīng)網(wǎng)絡(luò)中最簡單的 Keras 模型，它只由一堆按順序連接的層組成。接下來，我們構(gòu)建第一層并將其添加到模型中。它是一個(gè) Flatten 層，其目的是將每個(gè)輸入圖像轉(zhuǎn)換成一個(gè) 1D 數(shù)組：如果它接收到輸入數(shù)據(jù) X，則計(jì)算 X．reshape（－1，1）。由于它是模型的第一層，所以應(yīng)該指定其輸入形狀。你也可以添加 keras．layers．InputLayer 作為第一層，設(shè)置其 input＿shape＝［28，28］下一步，我們添加一個(gè) 300 個(gè)神經(jīng)元的隱藏層，并指定它使用 ReLU 激活函數(shù)。每一個(gè)全連接層管理自己的權(quán)重矩陣，包含神經(jīng)元與其輸入之間的所有連接權(quán)重，同事它還管理一個(gè)偏置向量，每個(gè)神經(jīng)元一個(gè)。然后我們添加了第二個(gè) 100 個(gè)神經(jīng)元的隱藏層，同樣使用 ReLU 激活函數(shù)。最后，我們使用 softmax 激活函數(shù)添加了一個(gè)包含 10 個(gè)神經(jīng)元的輸出層（因?yàn)槲覀兊姆诸惾蝿?wù)是每個(gè)類都是互斥的）。使用回調(diào)在 Keras 中，fit（）方法接受一個(gè)回調(diào)參數(shù)，該參數(shù)允許你指定 Keras 在訓(xùn)練開始和結(jié)束、每個(gè) epoch 的開始和結(jié)束時(shí)，甚至在處理每個(gè) batch 處理之前和之后要調(diào)用對(duì)象的列表。為了實(shí)現(xiàn)指數(shù)級(jí)增長的學(xué)習(xí)率，我們需要?jiǎng)?chuàng)建自己的自定義回調(diào)。我們的回調(diào)接受一個(gè)參數(shù)，用于提高學(xué)習(xí)率的因子。為了將損失描繪成學(xué)習(xí)率的函數(shù)，我們跟蹤每個(gè) batch 的速率和損失。請(qǐng)注意，我們將函數(shù)定義為 on＿batch＿end（），這取決于我們的目標(biāo)，當(dāng)然也可以是 on＿train＿begin（）， on＿train＿end（）， on＿batch＿begin（）。對(duì)于我們的用例，我們希望在每個(gè)批處理之后提高學(xué)習(xí)率并記錄損失：K ＝ keras．backend

class ExponentialLearningRate（keras．callbacks．Callback）： def ＿＿init＿＿（self， factor）： self．factor ＝ factor self．rates ＝ ［］ self．losses ＝ ［］ def on＿batch＿end（self， batch， logs）： self．rates．a(chǎn)ppend（K．get＿value（self．model．optimizer．lr）） self．losses．a(chǎn)ppend（logs［＂loss＂］） K．set＿value（self．model．optimizer．lr， self．model．optimizer．lr ＊ self．factor）現(xiàn)在我們的模型已經(jīng)創(chuàng)建好了，我們只需調(diào)用它的 compile（）方法來指定要使用的 loss 函數(shù)和優(yōu)化器，或者你可以指定要在訓(xùn)練和評(píng)估期間計(jì)算的額外指標(biāo)列表。首先，我們使用“稀疏的分類交叉熵”損失，因?yàn)槲覀冇邢∈璧?a target="_blank">標(biāo)簽（也就是說，對(duì)于每個(gè)實(shí)例，只有一個(gè)目標(biāo)類索引，在我們的例子中，從 0 到 9），并且這些類是互斥的）；接下來，我們指定使用隨機(jī)梯度下降，并將學(xué)習(xí)速率初始化為 1e－3，并在每次迭代中增加 0．5％：model．compile（loss＝＂sparse＿categorical＿crossentropy＂， optimizer＝keras．optimizers．SGD（lr＝1e－3）， metrics＝［＂accuracy＂］）expon＿lr ＝ ExponentialLearningRate（factor＝1．005）現(xiàn)在讓我們訓(xùn)練模型一個(gè) epoch：history ＝ model．fit（X＿train， y＿train， epochs＝1， validation＿data＝（X＿valid， y＿valid）， callbacks＝［expon＿lr］）我們現(xiàn)在可以將損失繪制為學(xué)習(xí)率的函數(shù)：plt．plot（expon＿lr．rates， expon＿lr．losses）plt．gca（）．set＿xscale（＇log＇）plt．hlines（min（expon＿lr．losses）， min（expon＿lr．rates）， max（expon＿lr．rates））plt．a(chǎn)xis（［min（expon＿lr．rates）， max（expon＿lr．rates）， 0， expon＿lr．losses［0］］）plt．xlabel（＂Learning rate＂）plt．ylabel（＂Loss＂）save＿fig（＂learning＿rate＿vs＿loss＂）

正如我們所期望的，隨著學(xué)習(xí)率的提高，最初的損失逐漸減少，但過了一段時(shí)間，學(xué)習(xí)率太大，導(dǎo)致?lián)p失反彈：最佳學(xué)習(xí)率將略低于損失開始攀升的點(diǎn)（通常比轉(zhuǎn)折點(diǎn)低 10 倍左右）。我們現(xiàn)在可以重新初始化我們的模型，并使用良好的學(xué)習(xí)率對(duì)其進(jìn)行正常訓(xùn)練。還有更多的學(xué)習(xí)率技巧，包括創(chuàng)建學(xué)習(xí)進(jìn)度表，我希望在以后的調(diào)查中介紹，但對(duì)如何手動(dòng)選擇好的學(xué)習(xí)率有一個(gè)直觀的理解同樣重要。我們的損失在 3e－1 左右開始反彈，所以讓我們嘗試使用 2e－1 作為我們的學(xué)習(xí)率：keras．backend．clear＿session（）np．random．seed（42）tf．random．set＿seed（42）model ＝ keras．models．Sequential（［ keras．layers．Flatten（input＿shape＝［28， 28］）， keras．layers．Dense（300， activation＝＂relu＂）， keras．layers．Dense（100， activation＝＂relu＂）， keras．layers．Dense（10， activation＝＂softmax＂）］）model．compile（loss＝＂sparse＿categorical＿crossentropy＂， optimizer＝keras．optimizers．SGD（lr＝2e－1）， metrics＝［＂accuracy＂］）使用 TensorBoard 進(jìn)行可視化 TensorBoard 是一個(gè)很好的交互式可視化工具，你可以使用它查看訓(xùn)練期間的學(xué)習(xí)曲線、比較學(xué)習(xí)曲線、可視化計(jì)算圖、分析訓(xùn)練統(tǒng)計(jì)數(shù)據(jù)、查看模型生成的圖像，可視化復(fù)雜的多維數(shù)據(jù)投影到三維和自動(dòng)聚類，等等！這個(gè)工具是在安裝 TensorFlow 時(shí)自動(dòng)安裝的，所以你應(yīng)該已經(jīng)安裝了。讓我們首先定義將用于 TensorBoard 日志的根日志目錄，再加上一個(gè)小函數(shù)，該函數(shù)將根據(jù)當(dāng)前時(shí)間生成一個(gè)子目錄路徑，以便每次運(yùn)行時(shí)它都是不同的。你可能需要在日志目錄名稱中包含額外的信息，例如正在測試的超參數(shù)值，以便更容易地了解你在 TensorBoard 中查看的內(nèi)容：root＿logdir ＝ os．path．join（os．curdir， ＂my＿logs＂）

def get＿run＿logdir（）： import time run＿id ＝ time．strftime（＂run＿％Y＿％m＿％d－％H＿％M＿％S＂） return os．path．join（root＿logdir， run＿id）
run＿logdir ＝ get＿run＿logdir（） ＃ 例如， ＇．／my＿logs／run＿2020＿07＿31－15＿15＿22＇Keras api 提供了一個(gè) TensorBoard（）回調(diào)函數(shù)。TensorBoard（）回調(diào)函數(shù)負(fù)責(zé)創(chuàng)建日志目錄，并在訓(xùn)練時(shí)創(chuàng)建事件文件和編寫摘要（摘要是一種二進(jìn)制數(shù)據(jù)記錄，用于創(chuàng)建可視化 TensorBoard）。每次運(yùn)行有一個(gè)目錄，每個(gè)目錄包含一個(gè)子目錄，分別用于記錄訓(xùn)練日志和驗(yàn)證日志，兩者都包含事件文件，但訓(xùn)練日志也包含分析跟蹤：這使 TensorBoard 能夠準(zhǔn)確地顯示模型在模型的每個(gè)部分（跨越所有設(shè)備）上花費(fèi)了多少時(shí)間，這對(duì)于查找性能瓶頸非常有用。early＿stopping＿cb ＝ keras．callbacks．EarlyStopping（patience＝20）checkpoint＿cb ＝ keras．callbacks．ModelCheckpoint（＂my＿fashion＿mnist＿model．h5＂， save＿best＿only＝True）tensorboard＿cb ＝ keras．callbacks．TensorBoard（run＿logdir）
history ＝ model．fit（X＿train， y＿train， epochs＝100， validation＿data＝（X＿valid， y＿valid）， callbacks＝［early＿stopping＿cb， checkpoint＿cb， tensorboard＿cb］）接下來，我們需要啟動(dòng) TensorBoard 服務(wù)器。我們可以通過運(yùn)行以下命令在 Jupyter 中直接執(zhí)行此操作。第一行加載 TensorBoard 擴(kuò)展，第二行啟動(dòng)端口 6004 上的 TensorBoard 服務(wù)器，并連接到它：％load＿ext tensorboard ％tensorboard — logdir＝．／my＿logs — port＝6004 現(xiàn)在你應(yīng)該可以看到 TensorBoard 的 web 界面。單擊“scaler”選項(xiàng)卡以查看學(xué)習(xí)曲線。在左下角，選擇要可視化的日志（例如，第一次運(yùn)行的訓(xùn)練日志），然后單擊 epoch＿loss scaler。請(qǐng)注意，在我們的訓(xùn)練過程中，訓(xùn)練損失下降得很順利。

你還可以可視化整個(gè)圖形、學(xué)習(xí)的權(quán)重（投影到 3D）或分析軌跡。TensorBoard（）回調(diào)函數(shù)也有記錄額外數(shù)據(jù)的選項(xiàng)，例如 NLP 數(shù)據(jù)集的嵌入。這實(shí)際上是一個(gè)非常有用的可視化工具。結(jié)論在這里我們得到了 88％的準(zhǔn)確率，這是我們可以達(dá)到的最好的深度 MLP。如果我們想進(jìn)一步提高性能，我們可以嘗試卷積神經(jīng)網(wǎng)絡(luò)（CNN），它對(duì)圖像數(shù)據(jù)非常有效。

就我們的目的而言，這就足夠了。我們學(xué)會(huì)了如何：使用 Keras 的 Sequential API 構(gòu)建深度 mlp。通過按指數(shù)增長學(xué)習(xí)率，繪制損失圖，并找到損失重新出現(xiàn)的點(diǎn)，來找到最佳學(xué)習(xí)率。構(gòu)建深度學(xué)習(xí)模型時(shí)的最佳實(shí)踐，包括使用回調(diào)和使用 TensorBoard 可視化學(xué)習(xí)曲線。如果你想在這里看到 ppt 或 jupyterNotebook 中完整的代碼和說明，請(qǐng)隨時(shí)查看 Github 存儲(chǔ)庫：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices。

審核編輯 黃昊宇