過擬合分析 - 對機器學習的理解和用Python實現(xiàn)的機器學習樣例分析

這一點當然是十分重要的，因為我們拿來訓練模型的數(shù)據(jù)終究只是樣本空間的一個很小的采樣，如果只是過分專注于它們，就會出現(xiàn)所謂的“過擬合”（Over Fitting）的情況。當然，如果過分罔顧訓練數(shù)據(jù)，又會出現(xiàn)“欠擬合”（Under Fitting）?？梢杂靡粡垐D來直觀地感受過擬合和欠擬合（如圖1所示，左為欠擬合，右為過擬合）。

圖1 欠擬合與過擬合

所以需要“張弛有度”，找到最好的那個平衡點。統(tǒng)計學習中的結(jié)構(gòu)風險最小化（Structural Risk Minimization，SRM）就是研究這個的，它和傳統(tǒng)的經(jīng)驗風險最小化（Empirical Risk Minimization，ERM）相比，注重于對風險上界的最小化，而不是單純地使經(jīng)驗風險最小化。它有一個原則：在使風險上界最小的函數(shù)子集中挑選出使經(jīng)驗風險最小的函數(shù)。而這個函數(shù)子集，正是我們之前提到過的假設(shè)空間。

注意：所謂經(jīng)驗風險，可以理解為訓練數(shù)據(jù)集上的風險。相對應(yīng)的，ERM則可以理解為只注重訓練數(shù)據(jù)集的學習方法，它的理論基礎(chǔ)是經(jīng)驗風險在某種足夠合理的數(shù)學意義上一致收斂于期望風險，亦即所謂的“真正的”風險。

關(guān)于SRM和ERM的詳細討論會涉及諸如VC維和正則化的概念，這里不進行詳細展開，但需要有這么一個直觀的認識：為了使我們學習方法訓練出的模型泛化能力足夠好，需要對模型做出一定的“限制”，而這個“限制”就表現(xiàn)在假設(shè)空間的選取上。一個非常普遍的做法是對模型的復(fù)雜度做出一定的懲罰，從而使模型趨于精簡。這與所謂的“奧卡姆剃刀原理”不謀而合：“如無必要，勿增實體”“切勿浪費較多的東西去做，用較少的東西、同樣可以做好事情”。

相比起通過選取合適的假設(shè)空間來規(guī)避過擬合，進行交叉驗證（Cross Validation）則可以讓我們知道過擬合的程度，從而幫助我們選擇合適的模型。常見的交叉驗證有以下三種。

S-fold Cross Validation：中文可翻譯成S折交叉驗證，它是應(yīng)用最多的一種方法，其方法大致如下。

. 將數(shù)據(jù)分成S份：D={D_1,D_2,…,D_S}，一共做S次試驗。
. 在第i次試驗中，使用D-D_i作為訓練集，D_i作為測試集對模型進行訓練和評測。
. 最終選擇平均測試誤差最小的模型。

留一交叉驗證（Leave-one-out Cross Validation）：這是S折交叉驗證的特殊情況，此時S=N。

簡易交叉驗證：這種實現(xiàn)起來最簡單，也是本書（在進行交叉驗證時）所采用的方法。它簡單地將數(shù)據(jù)進行隨機分組，最后達到訓練集約占原數(shù)據(jù)70%的程度（這個比例可以視情況改變），選擇模型時使用測試誤差作為標準。

機器學習的重要性

道理說了不少，但到底為什么要學機器學習，機器學習的重要性又在哪里呢？事實上，回顧歷史可以發(fā)現(xiàn)，人類的發(fā)展通常伴隨著簡單體力勞動向復(fù)雜腦力勞動的過渡。過去的工作基本上都有著明確的定義，告訴你這一步怎么做、下一步再怎么做。而如今這一類的工作已經(jīng)越來越少，取而代之的是更為寬泛模糊的、概念性的東西，比如說“將本季度的產(chǎn)品推向最合適的市場，在最大化期望利潤的同時，盡量做到風險最小化”這種需求。想要完成好這樣的任務(wù)，需要獲取相應(yīng)的數(shù)據(jù)；雖說網(wǎng)絡(luò)的存在讓我們能夠得到數(shù)之不盡的數(shù)據(jù)，然而從這些數(shù)據(jù)中獲得信息與知識卻不是一項簡單的工作。我們當然可以人工地、仔細地逐項甄選，但這樣顯然就又回到了最初的原點。機器學習這門技術(shù)，可以說正因此應(yīng)運而生。

單單抽象地說一大堆空話可能會讓人頭昏腦漲，我們就舉一舉機器學習具體的應(yīng)用范圍，從中大概能夠比較直觀地看出機器學習的強大與重要。

發(fā)展到如今，機器學習的“爪牙”可謂已經(jīng)伸展到了各個角落、包括但不限于：

機器視覺，也就是最近機器學習里很火熱的深度學習的一種應(yīng)用；

語音識別，也就是微軟Cortana背后的核心技術(shù)；

數(shù)據(jù)挖掘，也就是耳熟能詳?shù)拇髷?shù)據(jù)相關(guān)的領(lǐng)域；