神經網絡中的損失函數(shù)層和Optimizers圖文解讀

對于許多機器學習算法來說，最終要解決的問題往往是最小化一個函數(shù)，我們通常稱這個函數(shù)叫損失函數(shù)。在神經網絡里面同樣如此，損失函數(shù)層（CostLayer）和Optimizers因而應運而生（……），其中：

CostLayer 用于得到損失

Optimizers 用于最小化這個損失

需要一提的是，在神經網絡里面，可以這樣來理解損失：它是輸入 x 經過前傳算法后得到的輸出和真實標簽y 之間的差距。如何定義這個差距以及如何縮小這個差距會牽扯到相當多的數(shù)學知識，我們這里就只講實現(xiàn)，數(shù)學層面的內容（有時間的話）（也就是說基本沒可能）（喂）會在數(shù)學系列里面說明。感謝萬能的 tensorflow，它貼心地幫我們定義好了損失函數(shù)和 Optimizers，所以我們只要封裝它們就好了

CostLayer

先定義一個基類：

相當于我們把 Layer 的激活函數(shù)“偷換”成了損失函數(shù)。calculate 函數(shù)用于直接計算損失，它只在復雜模型中分析模型表現(xiàn)時用到，可以暫時不管

再定義實際應用的 CostLayer，我們以應用最廣泛的 CrossEntropy 為例：

這里面用的正是 tensorflow 的內置函數(shù)

Optimizers

這一部分的封裝做得更加沒有營養(yǎng)，大部分代碼都僅僅是為了和我自己造的輪子的接口 一致。最關鍵的部分只有兩行：

其中 self._opt 是 tensorflow 幫我們定義好的 Optimizers 中的一個，它的作用也很簡單粗暴：更新 session 中的各個變量以使得損失 x 向最小值邁進

以上，CostLayer 和 Optimizers 的定義、功能和實現(xiàn)就說得差不多了；再加上前幾章，一個完整的、較樸素的神經網絡就完全做好了，它支持如下功能：

自定義激活函數(shù)

任意堆疊 Layer

通過循環(huán)來堆疊重復的結構

通過準確率來評估模型的好壞

這不算是一個很好的模型、但已經具有了基本的雛形，走到這一步可以算是告一段落。接下來如果要拓展的話，大致流程會如下：

在訓練過程中記錄下當前訓練的結果、從而畫出類似這樣的曲線：

讓模型支持比較大規(guī)模數(shù)據(jù)的訓練，它包括幾個需要改進的地方：

我們目前沒有把數(shù)據(jù)分割成一個個小 batch 來訓練我們的模型；但當數(shù)據(jù)量大起來的時候、這種處理是不可或缺的

我們目前做預測時是將整個數(shù)據(jù)扔給模型讓它做前傳算法的。數(shù)據(jù)量比較大時，這樣做會引發(fā)內存不足的問題，為此我們需要分批前傳并在最后做一個整合

我們目前沒有進行交叉驗證，這使我們的模型比較容易過擬合。雖然其實讓用戶自己去劃分數(shù)據(jù)也可以，但留一個接口是好的習慣

最后也是最重要的，當然就是把我們的模型擴展成一個支持 CNN 模型了。這是一個巨坑、且容我慢慢來填……