解析訓練集的過度擬合與欠擬合

在正式講這兩個概念之前我們先來看一個故事：假設你想要習英語但之前對英語一無所知，不過曾聽說過莎士比亞是一個位偉大的英國作家。你想要學英語的話，當然是將自己泡在一個圖書館中，背誦他的相關作品，用他的作品學習英語。一年的學習結束后，你走出圖書館，來到了紐約，并向你看到的第一個人打了聲招呼：“嗨，愿光明與你同在！” 那人用奇怪的眼光看著你，嘴里嘟囔著“神經(jīng)病”。你故作鎮(zhèn)定地又試了一遍：“親愛的夫人，今天是何等的優(yōu)雅呢？” 你再次收獲了失敗，還把那個人嚇跑了。當你三次嘗試都失敗后，你心煩意亂的說道：“啊，此乃何等之遺憾，何等之悲傷！”確實很遺憾，因為你犯下了一個建模當中最基礎的錯誤之一：對訓練集的過度擬合。

在數(shù)據(jù)科學學科中， 過度擬合(overfit)模型被解釋為一個從訓練集(training set)中得到了高方差(variance)和低偏差(bias)，導致其在測試數(shù)據(jù)中得到低泛化(generalization)的模型。為了更好地理解這個復雜的定義，我們試著將它理解為去嘗試學習英語的過程。我們要構建的這一模型代表了如何用英語交流。把莎士比亞的所有作品作為訓練數(shù)據(jù)，把在紐約的對話作為測試集(testing set)。如果我們把社會認可程度來衡量這一模型的表現(xiàn)的話，那么事實表明我們的模型將不能夠有效推廣到測試集上。但是，模型中的方差和偏差又是什么呢？

方差可以理解為為了響應訓練集時模型所產(chǎn)生的變化。若我們只是單純的去記憶訓練集，我們的模型將具有高方差：它高度取決于訓練集數(shù)據(jù)。如果我們讀的所有作品來自J.K. 羅琳 而不是莎士比亞, 這個模型將變得完全不同。當這樣一個具有高方差的模型應用到一個新的測試集上時，這個模型將無法獲得很好的表現(xiàn)。因為在沒有訓練集數(shù)據(jù)的情況下模型將迷失方向。就好比一個學生只是單純復習了教科書上列出的問題，但這卻無法幫助他解決一些實際的問題。

偏差(bias)，作為與方差相對的一個概念，表示了我們基于數(shù)據(jù)所做出的假設的強度（有效性）。在前文我們嘗試學習英語的例子中，我們基于一個沒有初始化的模型?，并把作家的作品當作學習語言的教科書。低偏差看似是一個正向的東西，因為我們可能會有這樣的想法：我們并不需要去帶著傾向性思維看待我們的數(shù)據(jù)。然而我們卻需要對數(shù)據(jù)表達的完整性持懷疑態(tài)度。因為任何自然處理流程都會生成噪點，并且我們無法自信地保證我們的訓練數(shù)據(jù)涵蓋了所有這些噪點。所以我們在開始學習英語之前需要明白，我們無法通過死記硬背莎士比亞的名著來熟練掌握英語。

總體來說，偏差關系到數(shù)據(jù)被忽略的程度，而方差則關系到模型和數(shù)據(jù)的依賴程度。在所有的建模過程中，偏差和方差之間永遠存在著一個權衡問題，并且需要我們針對實際情況找到一個最佳的平衡點。偏差和方差這兩個概念可應用于任何從簡單到復雜的模型算法，對于數(shù)據(jù)科學家來說，它們至關重要。

剛才我們了解到了過度擬合的模型具有高方差、低偏差的特點。那么相反的情況：一個低方差、高偏差的模型又會是什么樣呢？這被稱作欠擬合。相較于之前與訓練數(shù)據(jù)緊密貼合的模型，一個欠擬合模型忽視了從訓練數(shù)據(jù)中獲得的信息，進而使其無法找到輸入和輸出數(shù)據(jù)之間的內在聯(lián)系。讓我們用之前嘗試學習英語的例子來解釋它，這一次我們試著去對之前我們用到的模型做出一些假設，并且我們改成使用《老友記》全集作為這一次學習英語的訓練數(shù)據(jù)。為了避免我們之前犯過的錯誤，這次我們提前作出假設：只有那些以最常用的詞--the, be, to, of, and, a—為開頭的句子才是重要的。當學習的時候，我們不去考慮別的句子，并且我們相信這能夠構建更有效的模型。

經(jīng)過了漫長的訓練后，我們又再一次站在了紐約的大街上。這一次，我們的表現(xiàn)相對好了一點點，但是別人依然無法聽懂我們，最后，我們還是以失敗告終。盡管我們學習到了一些英語知識，并且能夠組織一些數(shù)量有限的句子，由于從訓練數(shù)據(jù)上造成的高偏差，我們無法從中學到英語的基礎結構和語法。雖然這個模型沒有受到高方差帶來的影響，但是相對于之前的嘗試來說，顯得又太矯枉過正，擬合不充分！

對數(shù)據(jù)的過度關注會導致過度擬合，對數(shù)據(jù)的忽視又會導致欠擬合，那么我們到底該怎么辦呢？一定有一個能找到最佳平衡點的辦法！值得慶幸的是，在數(shù)據(jù)科學中，有一個很好的解決方案，叫作“驗證(Validation)”。用上面的例子來說，我們只使用了一個訓練集和一個測試集。這意味著我們無法在實戰(zhàn)前知道我們的模型的好壞。最理想的情況是，我們能夠用一個模擬測試集去對模型進行評估，并在真實測試之前對模型進行改進。這個模擬測試集被稱作驗證集(validation set)，是模型研發(fā)工作中非常關鍵的部分。

兩次失敗的英語學習過后，我們學聰明了，這一次我們決定使用一個測試集。我們這次同時使用Shakespeare的作品和《老友記》，因為我們從過去的經(jīng)驗中認識到越多的數(shù)據(jù)總是能夠改善這個模型。不同的是，在這次訓練結束以后，我們不直接走到街上，我們先找到一群朋友，每周和他們相聚，并以用英語來和他們交談的形式來評估我們的模型。剛開始的第一周，由于我們的英語水平還很差，我們很難融入到對話當中。然而這一切僅僅是被模擬成一個驗證集，每當我們意識到錯誤后，就能夠調整我們的模型。最后，當我們能夠適應并掌控與朋友們的對話練習時，我們相信已經(jīng)是準備好面對測試集的時候了。于是，我們再一次大膽的走了出去，這一次我們成功了！我們非常適應在真實的情況下和別人交談，這得益于一個非常關鍵的因素：驗證集，是它改善并優(yōu)化了我們的模型。

英語學習只是一個相對簡易的例子。在眾多真實的數(shù)據(jù)科學模型中，考慮到在一個驗證集上出現(xiàn)過度擬合的可能性，通常會使用到非常多的驗證集！這樣的解決辦法稱之為交叉驗證(corss-validation)，這個方法要求我們將訓練集拆分成多個不同的子集，或者在數(shù)據(jù)足夠多的條件下來使用多個驗證集。交叉驗證法這一個概念涵蓋著問題的方方面面?，F(xiàn)在當你碰到一個和過度擬合 vs. 欠擬合，偏差 vs. 方差這幾個概念有關的問題的時候，你腦海中將會浮現(xiàn)出一個概念框架，這個框架將有助于你去理解并且解決這個問題！

數(shù)據(jù)科學看似復雜，但它其實都是通過一系列基礎的模塊搭建而成的。其中的一些概念已經(jīng)在這篇文章中提到過，它們是：

過度擬合：過度依賴于訓練數(shù)據(jù)

欠擬合：無法獲取訓練數(shù)據(jù)中的存在的關系

高方差：一個模型基于訓練數(shù)據(jù)產(chǎn)生了劇烈的變化

高偏差：一個忽視了訓練數(shù)據(jù)的模型假設

過度擬合和欠擬合造成對測試集的低泛化性

使用驗證集對模型進行校正可以避免實際過程中造成的欠擬合和過度擬合

數(shù)據(jù)科學和其它科技領域其實與我們的日常生活息息相關。在一些與現(xiàn)實有關的例子的幫助下，我們可以很好地解釋并理解這些概念。一旦我們了解了一個框架，我們就能夠用技術來處理所有的細節(jié)，從而解決難題。