深度學習基礎(chǔ)知識(4)

神經(jīng)網(wǎng)絡(luò)的學習：從訓練數(shù)據(jù)中自動獲取最優(yōu)權(quán)重的過程，是使損失函數(shù)的值最小的權(quán)重參數(shù)。

機器學習做手寫數(shù)據(jù)識別：從圖像中提取特征量，再用機器學習技術(shù)學習這些特征量的模式。 圖像的特征量通常表示為向量的形式，機器視覺領(lǐng)域常用的特征量包括SIFT、SURF和HOG等。 對轉(zhuǎn)換后的向量使用機器學習中的SVM、KNN等分類器進行學習。

深度學習直接學習圖像本身，特征量也是由機器來學習的。 它的優(yōu)點是對所有問題都可以用同樣的流程來解決。

1、訓練數(shù)據(jù)和測試數(shù)據(jù)

機器學習中，一般將數(shù)據(jù)分為訓練數(shù)據(jù)和測試數(shù)據(jù)。 首先使用訓練數(shù)據(jù)進行學習，尋找最優(yōu)的參數(shù)，然后使用測試數(shù)據(jù)評價模型。 為了正確評價模型的泛化能力，必須劃分訓練數(shù)據(jù)和測試數(shù)據(jù)。 泛化能力是指處理未被觀察過的數(shù)據(jù)的能力。 獲得泛化能力是機器學習的最終目標。 僅僅使用一個數(shù)據(jù)集去學習和評價參數(shù)，是無法正確評價的。 可能順利處理某個數(shù)據(jù)集，但無法處理其他數(shù)據(jù)集的情況。 只對某個數(shù)據(jù)集過度擬合的狀態(tài)稱為過擬合，避免過擬合也是機器學習的一個重要課題。

2、損失函數(shù)

神經(jīng)網(wǎng)絡(luò)通過損失函數(shù)尋找最優(yōu)權(quán)重參數(shù)。 損失函數(shù)是表示神經(jīng)網(wǎng)絡(luò)性能的惡劣程度的指標。

1)均方誤差

表示輸出與訓練數(shù)據(jù)的不匹配程度，希望得到最小的均方誤差。

2)交叉熵誤差

實際上只計算對應(yīng)正確解標簽的輸出的自然對數(shù)。 交叉熵誤差的值是由正確解標簽所對應(yīng)的輸出結(jié)果決定的。 根據(jù)自然對數(shù)的圖像，正確解標簽對應(yīng)的輸出越大，交叉熵誤差越接近0，當輸出為1時，交叉熵誤差為0。 使用代碼實現(xiàn)時為了避免負無窮大需要添加一個微小值。

以上都是針對單個數(shù)據(jù)的損失函數(shù)，如果要求所有訓練數(shù)據(jù)的損失函數(shù)的總和，需要寫成下式

MNIST數(shù)據(jù)集的訓練數(shù)據(jù)有60000個，如果求全部數(shù)據(jù)的損失函數(shù)和不太現(xiàn)實。 因此，需要從全部數(shù)據(jù)中選出一部分，神經(jīng)網(wǎng)絡(luò)的學習也是從訓練數(shù)據(jù)中選出一部分（mini-batch)然后對每批數(shù)據(jù)進行學習。

從訓練數(shù)據(jù)中隨機抽取10筆數(shù)據(jù)的代碼：

train_size=x_train.shape[0]
batch_size=10
batch_mask=np.random.choice(train_size,batch_size)
x_batch=x_train[batch_mask]
t_batch=t_train[batch_mask]

x_train形狀為60000*784,所以train_size=60000。 使用np.random.choice()可以從指定的數(shù)字中隨機選擇想要的數(shù)字,在60000個數(shù)據(jù)中隨機取10個數(shù)字。 后續(xù)只需要使用這個mini_batch計算損失函數(shù)。

3、mini_batch交叉熵誤差的實現(xiàn)

def cross_entropy_error(y,t):
  if y.dim==1:
    t=t.reshape(1,t.size)
    y=y.reshape(1,y.size)
  batch_size=y.shape[0]
  return -np.sum(t*np.log(y+1e-7))/batch_size

當y的維度為1，即求單個數(shù)據(jù)的交叉熵誤差時，需要改變數(shù)據(jù)的形狀變?yōu)?*60000，當輸入為mini-batch時，需要用batch的個數(shù)進行歸一化，計算單個數(shù)據(jù)的平均交叉熵誤差。

return -np.sum(np.log(y[np.arange(batch_size),t]+1e-7))/batch_size

如果訓練數(shù)據(jù)是標簽形式，改為上述代碼。 np.arange(batch_size)會生成一個0到batch_size-1的數(shù)組，因為t中的標簽是以0-9數(shù)字的方式進行存儲的，所以y[np.arange(batch_size),t]生成了一個二維數(shù)組。

4、為什么要設(shè)定損失函數(shù)

在神經(jīng)網(wǎng)絡(luò)的學習中，尋找最優(yōu)權(quán)重和偏置時，要尋找使損失函數(shù)的值盡可能小的參數(shù)，需要計算梯度并更新參數(shù)。 如果用識別精度作為指標，絕大多數(shù)地方的導數(shù)都會變?yōu)?導致參數(shù)無法更新。 因為識別精度的概念是在訓練數(shù)據(jù)中正確識別的數(shù)量，稍微改變權(quán)重的值識別精度可能無法變化，即使變化也是離散的值。 階躍函數(shù)不能作為激活函數(shù)的原因也是這樣，對微小變化不敏感，且變化是不連續(xù)的。