R-sq越高代表模型擬合越好？

在統(tǒng)計(jì)建模中，究竟R-sq應(yīng)該取多大? 我們經(jīng)常聽到這個(gè)疑問。以前，我們分享過如何解釋R-Sq，我們還糾正了一個(gè)統(tǒng)計(jì)上的誤區(qū)，即較低的R-sq不一定差，較高的R-sq不一定好。顯然，“R-sq應(yīng)該多高”的答案就是：視情況而定。

盲目追求高R-sq的模型很容易掉入過度擬合的陷阱，這一點(diǎn)在大數(shù)據(jù)建模中經(jīng)常發(fā)現(xiàn)。

什么是好的模型？

我們?cè)诮５臅r(shí)候最不愿意看到兩種情況：過度擬合和欠擬合。使用與擬合模型相同的數(shù)據(jù)來評(píng)估模型，經(jīng)常會(huì)導(dǎo)致過度擬合，如下圖：

而這種過度擬合的模型如果用來預(yù)測的話，效果往往不好。

那么什么才算一個(gè)好的模型呢？一個(gè)好的模型需要在高方差（過度擬合）和高偏差（欠擬合）之間找到一種權(quán)衡。

上圖就是由于模型太簡單導(dǎo)致存在高的偏差。

上圖就是由于模型過度擬合導(dǎo)致存在高的方差。

過度擬合與欠擬合之間的權(quán)衡

那么如何去找到“高偏差”與“高方差”之間的權(quán)衡呢？這就需要用到“驗(yàn)證”法了。

大數(shù)據(jù)建模把數(shù)據(jù)分為兩大類：訓(xùn)練集和測試集。訓(xùn)練集用來創(chuàng)建模型，而測試集來評(píng)估模型的性能，這樣我們就可以來權(quán)衡過度擬合和欠擬合的模型。

舉個(gè)例子，對(duì)于同一組數(shù)據(jù)我們可以下面三個(gè)不同的模型，看起來立方模型是最好的。

但當(dāng)我們常用驗(yàn)證法，從下圖中我們可知，用訓(xùn)練集來建模時(shí)，模型越復(fù)雜模型誤差確實(shí)越小，但再來看看測試集你會(huì)發(fā)現(xiàn)當(dāng)模型復(fù)雜到一定程度，它的誤差會(huì)隨著模型復(fù)雜度的增加而增大。也就是說，太簡單和太復(fù)雜的模型都不能很好的用來預(yù)測?？磥碚业竭@個(gè)權(quán)衡點(diǎn)很重要，這是如何做到的呢？這就要來說說所謂的“驗(yàn)證”法了。

三種驗(yàn)證方法

在Minitab 21版本的回歸（擬合回歸模型、擬合二值Logistic模型、擬合Poisson模型）和預(yù)測分析模塊中包含三種用于驗(yàn)證的方法：

對(duì)這三種驗(yàn)證方法做一個(gè)簡單介紹：

1. 留一驗(yàn)證法

這種方法正如其名，留一留一，就是留下一行yi，再用其他所有數(shù)據(jù)來建模，得到模型后再把留下來這一行代入得到的模型就會(huì)得到對(duì)應(yīng)的擬合者，其過程如下所示：

接下來，我們計(jì)算預(yù)測的殘差平方和（Predicted Residual Sum of Squares）

有了PRESS就可以來計(jì)算R-sq(預(yù)測)了，到這里是不是很熟悉了。

2. 測試集驗(yàn)證法

隨機(jī)保留一定比例（Minitab 21默認(rèn)保留30%）的數(shù)據(jù)（測試集），用剩余的數(shù)據(jù)來擬合模型（訓(xùn)練集）。

3. K折交叉驗(yàn)證法

將數(shù)據(jù)拆分個(gè)K個(gè)子集，以其中一份為測試數(shù)據(jù)，其它K-1份用于訓(xùn)練數(shù)據(jù)來擬合模型。使用測試數(shù)據(jù)計(jì)算誤差，重復(fù)k次，每次忽略一份，基于測試數(shù)據(jù)誤差統(tǒng)計(jì)匯總信息選擇模型。

小結(jié)

當(dāng)你詢問R-sq應(yīng)該取多大時(shí)，可能是因?yàn)槟阆氪_定當(dāng)前模型是否能夠滿足要求。我希望你有更好的方法來解決這這個(gè)問題而不是只通過R-sq，尤其當(dāng)你的數(shù)據(jù)量和數(shù)據(jù)維度比較大的時(shí)候。

審核編輯黃宇