深度學習的學習率調(diào)節(jié)實踐的PDF文件講解

　　多層感知器多層感知器（MLP）是由一個輸入層、一個或多個隱藏層和一個稱為輸出層的最終層組成的人工神經(jīng)網(wǎng)絡（ANN）。通常，靠近輸入層的層稱為較低層，靠近輸出層的層稱為外層，除輸出層外的每一層都包含一個偏置神經(jīng)元，并與下一層完全相連。當一個 ANN 包含一個很深的隱藏層時，它被稱為深度神經(jīng)網(wǎng)絡（DNN）。在本文中，我們將在 MNIST 數(shù)據(jù)集上訓練一個深度 MLP，并通過指數(shù)增長來尋找最佳學習率，繪制損失圖，并找到損失增長的點，以達到 85％以上的準確率。對于最佳的實踐過程，我們將實現(xiàn)早期停止，保存檢查點，并使用 TensorBoard 繪制學習曲線。你可以在這里查看 jupyter Notebook：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices ／blob／master／optimal＿learning＿rates＿with＿keras＿api．ipynb 指數(shù)學習率學習率可以說是最重要的超參數(shù)。一般情況下，最佳學習速率約為最大學習速率（即訓練算法偏離的學習速率）的一半。找到一個好的學習率的一個方法是訓練模型進行幾百次迭代，從非常低的學習率（例如，1e－5）開始，逐漸增加到非常大的值（例如，10）。這是通過在每次迭代時將學習速率乘以一個常數(shù)因子來實現(xiàn)的。如果你將損失描繪為學習率的函數(shù)，你應該首先看到它在下降，但過一段時間后，學習率會變得很高，這時損失會迅速回升：最佳學習率將略低于轉折點，然后你可以重新初始化你的模型，并使用此良好的學習率對其進行正常訓練。

?