多層感知器多層感知器（MLP）是由一個輸入層、一個或多個隱藏層和一個稱為輸出層的最終層組成的人工神經網絡（ANN）。通常，靠近輸入層的層稱為較低層，靠近輸出層的層稱為外層，除輸出層外的每一層都包含一個偏置神經元，并與下一層完全相連。當一個 ANN 包含一個很深的隱藏層時，它被稱為深度神經網絡（DNN）。

在本文中，我們將在 MNIST 數據集上訓練一個深度 MLP，并通過指數增長來尋找最佳學習率，繪制損失圖，并找到損失增長的點，以達到 85％以上的準確率。對于最佳的實踐過程，我們將實現早期停止，保存檢查點，并使用 TensorBoard 繪制學習曲線。你可以在這里查看 jupyter Notebook：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices／blob／master／optimal＿learning＿rates＿with＿keras＿api．ipynb 指數學習率學習率可以說是最重要的超參數。一般情況下，最佳學習速率約為最大學習速率（即訓練算法偏離的學習速率）的一半。找到一個好的學習率的一個方法是訓練模型進行幾百次迭代，從非常低的學習率（例如，1e－5）開始，逐漸增加到非常大的值（例如，10）。這是通過在每次迭代時將學習速率乘以一個常數因子來實現的。如果你將損失描繪為學習率的函數，你應該首先看到它在下降，但過一段時間后，學習率會變得很高，這時損失會迅速回升：最佳學習率將略低于轉折點，然后你可以重新初始化你的模型，并使用此良好的學習率對其進行正常訓練。Keras 模型我們先導入相關庫 import osimport matplotlib．pyplot as pltimport numpy as npimport pandas as pd

PROJECT＿ROOT＿DIR ＝ ＂．＂IMAGES＿PATH ＝ os．path．join（PROJECT＿ROOT＿DIR， ＂images＂）os．makedirs（IMAGES＿PATH， exist＿ok＝True）

def save＿fig（fig＿id， tight＿layout＝True， fig＿extension＝＂png＂， resolution＝300）： path ＝ os．path．join（IMAGES＿PATH， fig＿id ＋ ＂．＂ ＋ fig＿extension） print（＂Saving figure＂， fig＿id） if tight＿layout： plt．tight＿layout（） plt．savefig（path， format＝fig＿extension， dpi＝resolution）import tensorflow as tffrom tensorflow import keras 接下來加載數據集（X＿train， y＿train）， （X＿test， y＿test） ＝ keras．datasets．fashion＿mnist．load＿data（）

X＿train．shape

X＿train．dtype 標準化像素 X＿valid， X＿train ＝ X＿train［：5000］ ／ 255．0， X＿train［5000：］ ／ 255．0y＿valid， y＿train ＝ y＿train［：5000］， y＿train［5000：］ X＿test ＝ X＿test ／ 255．0 讓我們快速看一下數據集中的圖像樣本，讓我們感受一下分類任務的復雜性：class＿names ＝ ［＂T－shirt／top＂， ＂Trouser＂， ＂Pullover＂， ＂Dress＂， ＂Coat＂， ＂Sandal＂， ＂Shirt＂， ＂Sneaker＂， ＂Bag＂， ＂Ankle boot＂］

n＿rows ＝ 4n＿cols ＝ 10plt．figure（figsize＝（n＿cols ＊ 1．2， n＿rows ＊ 1．2））for row in range（n＿rows）： for col in range（n＿cols）： index ＝ n＿cols ＊ row ＋ col plt．subplot（n＿rows， n＿cols， index ＋ 1） plt．imshow（X＿train［index］， cmap＝＂binary＂， interpolation＝＂nearest＂） plt．axis（＇off＇） plt．title（class＿names［y＿train［index］］， fontsize＝12）plt．subplots＿adjust（wspace＝0．2， hspace＝0．5）save＿fig（＇fashion＿mnist＿plot＇， tight＿layout＝False）plt．show（）

我們已經準備好用 Keras 來建立我們的 MLP。下面是一個具有兩個隱藏層的分類 MLP：model ＝ keras．models．Sequential（［ keras．layers．Flatten（input＿shape＝［28，28］）， keras．layers．Dense（300， activation＝＂relu＂）， keras．layers．Dense（100， activation＝＂relu＂）， keras．layers．Dense（10， activation＝＂softmax＂）］）讓我們一行一行地看這個代碼：首先，我們創建了一個 Sequential 模型，它是神經網絡中最簡單的 Keras 模型，它只由一堆按順序連接的層組成。接下來，我們構建第一層并將其添加到模型中。它是一個 Flatten 層，其目的是將每個輸入圖像轉換成一個 1D 數組：如果它接收到輸入數據 X，則計算 X．reshape（－1，1）。由于它是模型的第一層，所以應該指定其輸入形狀。你也可以添加 keras．layers．InputLayer 作為第一層，設置其 input＿shape＝［28，28］下一步，我們添加一個 300 個神經元的隱藏層，并指定它使用 ReLU 激活函數。每一個全連接層管理自己的權重矩陣，包含神經元與其輸入之間的所有連接權重，同事它還管理一個偏置向量，每個神經元一個。然后我們添加了第二個 100 個神經元的隱藏層，同樣使用 ReLU 激活函數。最后，我們使用 softmax 激活函數添加了一個包含 10 個神經元的輸出層（因為我們的分類任務是每個類都是互斥的）。使用回調在 Keras 中，fit（）方法接受一個回調參數，該參數允許你指定 Keras 在訓練開始和結束、每個 epoch 的開始和結束時，甚至在處理每個 batch 處理之前和之后要調用對象的列表。為了實現指數級增長的學習率，我們需要創建自己的自定義回調。我們的回調接受一個參數，用于提高學習率的因子。為了將損失描繪成學習率的函數，我們跟蹤每個 batch 的速率和損失。請注意，我們將函數定義為 on＿batch＿end（），這取決于我們的目標，當然也可以是 on＿train＿begin（）， on＿train＿end（）， on＿batch＿begin（）。對于我們的用例，我們希望在每個批處理之后提高學習率并記錄損失：K ＝ keras．backend

class ExponentialLearningRate（keras．callbacks．Callback）： def ＿＿init＿＿（self， factor）： self．factor ＝ factor self．rates ＝ ［］ self．losses ＝ ［］ def on＿batch＿end（self， batch， logs）： self．rates．append（K．get＿value（self．model．optimizer．lr）） self．losses．append（logs［＂loss＂］） K．set＿value（self．model．optimizer．lr， self．model．optimizer．lr ＊ self．factor）現在我們的模型已經創建好了，我們只需調用它的 compile（）方法來指定要使用的 loss 函數和優化器，或者你可以指定要在訓練和評估期間計算的額外指標列表。首先，我們使用“稀疏的分類交叉熵”損失，因為我們有稀疏的標簽（也就是說，對于每個實例，只有一個目標類索引，在我們的例子中，從 0 到 9），并且這些類是互斥的）；接下來，我們指定使用隨機梯度下降，并將學習速率初始化為 1e－3，并在每次迭代中增加 0．5％：model．compile（loss＝＂sparse＿categorical＿crossentropy＂， optimizer＝keras．optimizers．SGD（lr＝1e－3）， metrics＝［＂accuracy＂］）expon＿lr ＝ ExponentialLearningRate（factor＝1．005）現在讓我們訓練模型一個 epoch：history ＝ model．fit（X＿train， y＿train， epochs＝1， validation＿data＝（X＿valid， y＿valid）， callbacks＝［expon＿lr］）我們現在可以將損失繪制為學習率的函數：plt．plot（expon＿lr．rates， expon＿lr．losses）plt．gca（）．set＿xscale（＇log＇）plt．hlines（min（expon＿lr．losses）， min（expon＿lr．rates）， max（expon＿lr．rates））plt．axis（［min（expon＿lr．rates）， max（expon＿lr．rates）， 0， expon＿lr．losses［0］］）plt．xlabel（＂Learning rate＂）plt．ylabel（＂Loss＂）save＿fig（＂learning＿rate＿vs＿loss＂）

正如我們所期望的，隨著學習率的提高，最初的損失逐漸減少，但過了一段時間，學習率太大，導致損失反彈：最佳學習率將略低于損失開始攀升的點（通常比轉折點低 10 倍左右）。我們現在可以重新初始化我們的模型，并使用良好的學習率對其進行正常訓練。還有更多的學習率技巧，包括創建學習進度表，我希望在以后的調查中介紹，但對如何手動選擇好的學習率有一個直觀的理解同樣重要。我們的損失在 3e－1 左右開始反彈，所以讓我們嘗試使用 2e－1 作為我們的學習率：keras．backend．clear＿session（）np．random．seed（42）tf．random．set＿seed（42）model ＝ keras．models．Sequential（［ keras．layers．Flatten（input＿shape＝［28， 28］）， keras．layers．Dense（300， activation＝＂relu＂）， keras．layers．Dense（100， activation＝＂relu＂）， keras．layers．Dense（10， activation＝＂softmax＂）］）model．compile（loss＝＂sparse＿categorical＿crossentropy＂， optimizer＝keras．optimizers．SGD（lr＝2e－1）， metrics＝［＂accuracy＂］）使用 TensorBoard 進行可視化 TensorBoard 是一個很好的交互式可視化工具，你可以使用它查看訓練期間的學習曲線、比較學習曲線、可視化計算圖、分析訓練統計數據、查看模型生成的圖像，可視化復雜的多維數據投影到三維和自動聚類，等等！這個工具是在安裝 TensorFlow 時自動安裝的，所以你應該已經安裝了。讓我們首先定義將用于 TensorBoard 日志的根日志目錄，再加上一個小函數，該函數將根據當前時間生成一個子目錄路徑，以便每次運行時它都是不同的。你可能需要在日志目錄名稱中包含額外的信息，例如正在測試的超參數值，以便更容易地了解你在 TensorBoard 中查看的內容：root＿logdir ＝ os．path．join（os．curdir， ＂my＿logs＂）

def get＿run＿logdir（）： import time run＿id ＝ time．strftime（＂run＿％Y＿％m＿％d－％H＿％M＿％S＂） return os．path．join（root＿logdir， run＿id）
run＿logdir ＝ get＿run＿logdir（） ＃ 例如， ＇．／my＿logs／run＿2020＿07＿31－15＿15＿22＇Keras api 提供了一個 TensorBoard（）回調函數。TensorBoard（）回調函數負責創建日志目錄，并在訓練時創建事件文件和編寫摘要（摘要是一種二進制數據記錄，用于創建可視化 TensorBoard）。每次運行有一個目錄，每個目錄包含一個子目錄，分別用于記錄訓練日志和驗證日志，兩者都包含事件文件，但訓練日志也包含分析跟蹤：這使 TensorBoard 能夠準確地顯示模型在模型的每個部分（跨越所有設備）上花費了多少時間，這對于查找性能瓶頸非常有用。early＿stopping＿cb ＝ keras．callbacks．EarlyStopping（patience＝20）checkpoint＿cb ＝ keras．callbacks．ModelCheckpoint（＂my＿fashion＿mnist＿model．h5＂， save＿best＿only＝True）tensorboard＿cb ＝ keras．callbacks．TensorBoard（run＿logdir）
history ＝ model．fit（X＿train， y＿train， epochs＝100， validation＿data＝（X＿valid， y＿valid）， callbacks＝［early＿stopping＿cb， checkpoint＿cb， tensorboard＿cb］）接下來，我們需要啟動 TensorBoard 服務器。我們可以通過運行以下命令在 Jupyter 中直接執行此操作。第一行加載 TensorBoard 擴展，第二行啟動端口 6004 上的 TensorBoard 服務器，并連接到它：％load＿ext tensorboard ％tensorboard — logdir＝．／my＿logs — port＝6004 現在你應該可以看到 TensorBoard 的 web 界面。單擊“scaler”選項卡以查看學習曲線。在左下角，選擇要可視化的日志（例如，第一次運行的訓練日志），然后單擊 epoch＿loss scaler。請注意，在我們的訓練過程中，訓練損失下降得很順利。

你還可以可視化整個圖形、學習的權重（投影到 3D）或分析軌跡。TensorBoard（）回調函數也有記錄額外數據的選項，例如 NLP 數據集的嵌入。這實際上是一個非常有用的可視化工具。結論在這里我們得到了 88％的準確率，這是我們可以達到的最好的深度 MLP。如果我們想進一步提高性能，我們可以嘗試卷積神經網絡（CNN），它對圖像數據非常有效。

就我們的目的而言，這就足夠了。我們學會了如何：使用 Keras 的 Sequential API 構建深度 mlp。通過按指數增長學習率，繪制損失圖，并找到損失重新出現的點，來找到最佳學習率。構建深度學習模型時的最佳實踐，包括使用回調和使用 TensorBoard 可視化學習曲線。如果你想在這里看到 ppt 或 jupyterNotebook 中完整的代碼和說明，請隨時查看 Github 存儲庫：https：／／github．com／lukenew2／learning＿rates＿and＿best＿practices。

審核編輯 黃昊宇