PyTorch教程4.6之分類中的泛化

到目前為止，我們一直專注于如何通過訓練具有多個輸出和 softmax 函數的（線性）神經網絡來解決多類分類問題。將我們模型的輸出解釋為概率預測，我們激發(fā)并推導了交叉熵損失函數，它計算我們的模型（對于一組固定參數）分配給實際標簽的負對數似然。最后，我們通過將我們的模型擬合到訓練集來將這些工具付諸實踐。然而，一如既往，我們的目標是學習一般模式，根據以前看不見的數據（測試集）進行經驗評估。訓練集上的高精度毫無意義。每當我們的每個輸入都是唯一的（對于大多數高維數據集而言確實如此）時，我們可以通過僅記住第一個訓練時期的數據集并隨后在我們看到標簽時查找標簽來獲得訓練集的完美準確性一個新形象。然而，記住與確切訓練示例相關聯的確切標簽并不能告訴我們如何對新示例進行分類。如果沒有進一步的指導，每當我們遇到新的例子時，我們可能不得不求助于隨機猜測。

許多緊迫的問題需要立即引起注意：

1. 我們需要多少測試示例才能精確估計我們的分類器對基礎人群的準確性？

2. 如果我們在同一個測試中反復評估模型會發(fā)生什么？

3. 為什么我們應該期望將我們的線性模型擬合到訓練集應該比我們的樸素記憶方案更好？

雖然第 3.6 節(jié)介紹了線性回歸背景下過度擬合和泛化的基礎知識，但本章將更深入一些，介紹統(tǒng)計學習理論的一些基本思想。事實證明，我們通?？梢?/font>先驗地保證泛化：對于許多模型，以及泛化差距的任何期望上限?，我們通?？梢源_定一些所需的樣本數量n這樣如果我們的訓練集至少包含n樣本，那么我們的經驗誤差將位于?的真實錯誤，對于任何數據生成分布。不幸的是，事實證明，雖然這些類型的保證提供了一套深刻的知識構建塊，但它們對深度學習從業(yè)者的實用性有限。簡而言之，這些保證表明，確保先驗深度神經網絡的泛化需要數量荒謬的示例（可能數萬億或更多），即使我們發(fā)現，在我們關心的任務上，深度神經網絡通?？梢院芎玫胤夯h更少的例子（千）。因此，深度學習從業(yè)者通常完全放棄先驗保證，而是在過去對類似問題進行了很好泛化的基礎上采用方法，并證明泛化事后 通過實證評估。當我們到達 第 5 節(jié)時，我們將重新審視泛化，并簡要介紹大量科學文獻，這些文獻如雨后春筍般涌現，試圖解釋為什么深度神經網絡在實踐中泛化。