機(jī)器學(xué)習(xí)挑戰(zhàn)：如何避免機(jī)器學(xué)習(xí)模型過(guò)擬合？

分類(lèi)是機(jī)器學(xué)習(xí)最常見(jiàn)的應(yīng)用之一。 分類(lèi)技術(shù)可預(yù)測(cè)離散的響應(yīng) — 例如，電子郵件是不是垃圾郵件，腫瘤是惡性還是良性的。 分類(lèi)模型可將輸入數(shù)據(jù)劃分成不同類(lèi)別。 典型的應(yīng)用包括醫(yī)學(xué)成像、語(yǔ)音識(shí)別和信用評(píng)估。

選擇最合適的分類(lèi)模型，診斷和糾正過(guò)擬合是機(jī)器學(xué)習(xí)的基本技能。 那什么是過(guò)擬合? 我們又可以如何防止和避免過(guò)擬合呢?

什么是過(guò)擬合?

過(guò)擬合指當(dāng)模型與訓(xùn)練數(shù)據(jù)過(guò)于接近貼合，以至于不知道如何對(duì)新數(shù)據(jù)做出響應(yīng)時(shí)發(fā)生的一種機(jī)器學(xué)習(xí)行為。 過(guò)擬合的原因可能是：

機(jī)器學(xué)習(xí)模型太過(guò)復(fù)雜; 它記憶了訓(xùn)練數(shù)據(jù)中非常微妙的的模式，而這些模式無(wú)法很好地泛化。

訓(xùn)練數(shù)據(jù)的規(guī)模對(duì)于模型復(fù)雜度來(lái)說(shuō)太小，和/或者包含大量不相關(guān)的信息。

您可以通過(guò)管理模型復(fù)雜度和改進(jìn)訓(xùn)練數(shù)據(jù)集來(lái)防止過(guò)擬合。

過(guò)擬合與欠擬合

欠擬合與過(guò)擬合正相反。 欠擬合指模型不能很好地與訓(xùn)練數(shù)據(jù)貼合，也無(wú)法很好地泛化到新數(shù)據(jù)。 在分類(lèi)模型和回歸模型中都可能出現(xiàn)過(guò)擬合和欠擬合。 下圖說(shuō)明了過(guò)擬合的模型的分類(lèi)決策邊界和回歸線如何過(guò)于緊密地跟隨訓(xùn)練數(shù)據(jù)，而欠擬合的模型的分類(lèi)決策邊界和回歸線又如何不夠緊密地跟隨訓(xùn)練數(shù)據(jù)。

與正確擬合的模型相比，過(guò)擬合的分類(lèi)模型和回歸模型對(duì)訓(xùn)練數(shù)據(jù)的記憶太好。

當(dāng)只針對(duì)訓(xùn)練數(shù)據(jù)查看機(jī)器學(xué)習(xí)模型的計(jì)算誤差時(shí)，過(guò)擬合比欠擬合更難檢測(cè)。 因此，為了避免過(guò)擬合，在對(duì)測(cè)試數(shù)據(jù)使用機(jī)器學(xué)習(xí)模型之前對(duì)其進(jìn)行驗(yàn)證就很重要。

針對(duì)訓(xùn)練數(shù)據(jù)，過(guò)擬合模型的計(jì)算誤差低，而測(cè)試數(shù)據(jù)的誤差高。

將 MATLAB 與 Statistics and Machine Learning Toolbox 和 Deep Learning Toolbox 結(jié)合使用，可以防止機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型的過(guò)擬合。 MATLAB 提供了專(zhuān)為避免模型過(guò)擬合而設(shè)計(jì)的函數(shù)和方法。 您可以在訓(xùn)練或調(diào)整模型時(shí)使用這些工具來(lái)防止過(guò)擬合。

如何通過(guò)降低模型復(fù)雜度來(lái)避免過(guò)擬合

使用 MATLAB，您可以從頭開(kāi)始訓(xùn)練機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型(如 CNN)，或利用預(yù)訓(xùn)練的深度學(xué)習(xí)模型。為了防止過(guò)擬合，請(qǐng)執(zhí)行模型驗(yàn)證，以確保為數(shù)據(jù)選擇具有合適復(fù)雜程度的模型，或使用正則化來(lái)降低模型的復(fù)雜度。

模型驗(yàn)證

當(dāng)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行計(jì)算時(shí)，過(guò)擬合模型的誤差較低。因此，在引入新數(shù)據(jù)之前，最好在單獨(dú)的數(shù)據(jù)集(即驗(yàn)證數(shù)據(jù)集)上驗(yàn)證您的模型。對(duì)于 MATLAB 機(jī)器學(xué)習(xí)模型，您可以使用 cvpartition 函數(shù)將數(shù)據(jù)集隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集。對(duì)于深度學(xué)習(xí)模型，您可以在訓(xùn)練過(guò)程中監(jiān)控驗(yàn)證準(zhǔn)確度。通過(guò)模型選擇和超參數(shù)調(diào)整來(lái)提高經(jīng)過(guò)正確驗(yàn)證的模型準(zhǔn)確度度量應(yīng)該能夠提高模型處理新數(shù)據(jù)的準(zhǔn)確度。

交叉驗(yàn)證是一種模型評(píng)估方法，用于評(píng)估機(jī)器學(xué)習(xí)算法對(duì)新數(shù)據(jù)集執(zhí)行預(yù)測(cè)的性能。交叉驗(yàn)證可以幫助您避免選擇過(guò)于復(fù)雜而導(dǎo)致過(guò)擬合的算法。使用 crossval 函數(shù)，通過(guò)使用常見(jiàn)的交叉驗(yàn)證方法來(lái)計(jì)算機(jī)器學(xué)習(xí)模型的交叉驗(yàn)證誤差估計(jì)值。這些常見(jiàn)方法包括如 k 折法(將數(shù)據(jù)劃分為 k 個(gè)隨機(jī)選擇的大小大致相等的子集)和留出法(將數(shù)據(jù)按照指定比率隨機(jī)劃分為兩個(gè)子集)等。

正則化

正則化是一種用于防止機(jī)器學(xué)習(xí)模型中的統(tǒng)計(jì)過(guò)擬合的方法。正則化算法通常通過(guò)對(duì)復(fù)雜度或粗糙度應(yīng)用罰分來(lái)實(shí)現(xiàn)。通過(guò)向模型中引入更多信息，正則化算法可以使模型更加簡(jiǎn)約和準(zhǔn)確，從而處理多重共線性和冗余預(yù)測(cè)變量。

對(duì)于機(jī)器學(xué)習(xí)，您可以在三種流行的正則化方法之間進(jìn)行選擇：lasso(L1 范數(shù))、脊(L2 范數(shù))和彈性網(wǎng)，以用于幾種類(lèi)型的線性機(jī)器學(xué)習(xí)模型。對(duì)于深度學(xué)習(xí)，您可以在指定的訓(xùn)練選項(xiàng)中增大 L2 正則化因子，或在您的網(wǎng)絡(luò)中使用丟棄層來(lái)避免過(guò)擬合。

示例和操作方法

正則化

深度學(xué)習(xí)提示和竅門(mén)

如何通過(guò)增強(qiáng)訓(xùn)練數(shù)據(jù)集來(lái)避免過(guò)擬合

交叉驗(yàn)證和正則化通過(guò)管理模型復(fù)雜度來(lái)防止過(guò)擬合。 另一種方法是改進(jìn)數(shù)據(jù)集。 深度學(xué)習(xí)模型比其他機(jī)器學(xué)習(xí)模型更需要大量的數(shù)據(jù)來(lái)避免過(guò)擬合。

數(shù)據(jù)增強(qiáng)

當(dāng)數(shù)據(jù)可用性受限時(shí)，可使用數(shù)據(jù)增強(qiáng)方法來(lái)向數(shù)據(jù)集添加現(xiàn)有數(shù)據(jù)的隨機(jī)版本從而人為擴(kuò)展訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)點(diǎn)。 使用 MATLAB，您可以增強(qiáng)圖像、音頻和其他類(lèi)型的數(shù)據(jù)。 例如，通過(guò)隨機(jī)化現(xiàn)有圖像的縮放比例和旋轉(zhuǎn)來(lái)增強(qiáng)圖像數(shù)據(jù)。

數(shù)據(jù)生成

合成數(shù)據(jù)生成是擴(kuò)展數(shù)據(jù)集的另一種方法。 使用 MATLAB，您可以使用生成對(duì)抗網(wǎng)絡(luò) (GAN) 或數(shù)字孿生(通過(guò)仿真生成數(shù)據(jù))來(lái)生成合成數(shù)據(jù)。

數(shù)據(jù)清洗

數(shù)據(jù)噪聲會(huì)導(dǎo)致過(guò)擬合。 減少不想要的數(shù)據(jù)點(diǎn)的一種常見(jiàn)方法是使用 rmoutliers 函數(shù)從數(shù)據(jù)中刪除離群值。

示例和操作方法

使用增強(qiáng)的圖像訓(xùn)練網(wǎng)絡(luò)

增強(qiáng)深度學(xué)習(xí)的點(diǎn)云數(shù)據(jù)

使用條款 GAN 生成的合成信號(hào)

設(shè)置參數(shù)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)

審核編輯：湯梓紅