統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的真正差別。你分得清嗎？

統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的真正差別。統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)在很多情況下是被混淆的，大部分人其實(shí)并不能很好的區(qū)分二者。介于此，本文詳解的講解了二者實(shí)際的差異，非常有指導(dǎo)意義。

很多人并不能很好的區(qū)分統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)，因?yàn)橹g確實(shí)有太多的相同之處。目前流行的一種說(shuō)法是，機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)之間的主要區(qū)別在于它們的目的：機(jī)器學(xué)習(xí)模型旨在使最準(zhǔn)確的預(yù)測(cè)成為可能；統(tǒng)計(jì)模型被設(shè)計(jì)用于推斷變量之間的關(guān)系。

這種說(shuō)法在技術(shù)上來(lái)說(shuō)沒有問(wèn)題，但它沒有給出特別明確或令人滿意的答案。說(shuō)機(jī)器學(xué)習(xí)是關(guān)于準(zhǔn)確的預(yù)測(cè)，而統(tǒng)計(jì)模型設(shè)計(jì)用于推理幾乎是無(wú)意義的陳述，除非你精通這些概念。

因?yàn)榻y(tǒng)計(jì)數(shù)據(jù)和統(tǒng)計(jì)模型是不一樣的。統(tǒng)計(jì)學(xué)是數(shù)據(jù)的數(shù)學(xué)研究，沒有數(shù)據(jù)就無(wú)法進(jìn)行統(tǒng)計(jì)；統(tǒng)計(jì)模型是數(shù)據(jù)的模型，用于推斷數(shù)據(jù)中的關(guān)系或創(chuàng)建能夠預(yù)測(cè)未來(lái)值的模型。通常，這兩者是相輔相成的。

實(shí)際上，我們需要討論兩件事：首先，統(tǒng)計(jì)數(shù)據(jù)與機(jī)器學(xué)習(xí)有何不同？其次，統(tǒng)計(jì)模型與機(jī)器學(xué)習(xí)有何不同。所以今天，我們就來(lái)詳細(xì)解讀一下二者的區(qū)別。

統(tǒng)計(jì)學(xué)模型與機(jī)器學(xué)習(xí)在線性回歸上的差異

可能因?yàn)榻y(tǒng)計(jì)建模和機(jī)器學(xué)習(xí)中使用的方法的相似性，使人們認(rèn)為它們是同一個(gè)東西?？梢岳斫猓静皇沁@樣。

最明顯的例子是線性回歸，這可能是造成這種誤解的主要原因。線性回歸是一種統(tǒng)計(jì)方法，我們訓(xùn)練線性回歸量并獲得與統(tǒng)計(jì)回歸模型相同的結(jié)果，旨在最小化數(shù)據(jù)點(diǎn)之間的平方誤差。

在一個(gè)案例中，我們做了“訓(xùn)練”模型的事情，其中涉及使用數(shù)據(jù)的一個(gè)子集。我們不知道模型將如何執(zhí)行，直到在訓(xùn)練期間能夠“測(cè)試”出此數(shù)據(jù)不存在的、被稱為測(cè)試集的其他數(shù)據(jù)。在這種情況下，機(jī)器學(xué)習(xí)的目的是在測(cè)試集上獲得最佳性能。

對(duì)于統(tǒng)計(jì)模型，我們只要找出可以最小化所有數(shù)據(jù)的均方誤差（假設(shè)數(shù)據(jù)是一個(gè)線性回歸量，加上一些隨機(jī)噪聲，本質(zhì)上通常是高斯噪聲），無(wú)需訓(xùn)練，也無(wú)需測(cè)試。

一般來(lái)說(shuō)，特別是在研究中（例如下面的傳感器示例），模型的要點(diǎn)是表征數(shù)據(jù)與結(jié)果變量之間的關(guān)系，而不是對(duì)未來(lái)數(shù)據(jù)進(jìn)行預(yù)測(cè)。我們將此過(guò)程稱為統(tǒng)計(jì)推斷，而不是預(yù)測(cè)。但我們?nèi)匀豢梢允褂么四Ｐ瓦M(jìn)行預(yù)測(cè)，但評(píng)估模型的方式不涉及測(cè)試集，而是涉及評(píng)估模型參數(shù)的重要性和穩(wěn)健性。

（受監(jiān)督的）機(jī)器學(xué)習(xí)的目的是獲得可以進(jìn)行可重復(fù)預(yù)測(cè)的模型。我們通常不關(guān)心模型是否可解釋，機(jī)器學(xué)習(xí)只看重結(jié)果。而統(tǒng)計(jì)建模更多的是發(fā)現(xiàn)變量之間的關(guān)系和這些關(guān)系的重要性，同時(shí)也適合預(yù)測(cè)。

舉例說(shuō)明這兩個(gè)程序之間差異。一名環(huán)境科學(xué)家主要研究傳感器數(shù)據(jù)。如果試圖證明傳感器能夠響應(yīng)某種刺激（例如氣體濃度），就會(huì)使用統(tǒng)計(jì)模型來(lái)確定信號(hào)響應(yīng)是否具有統(tǒng)計(jì)顯著性。

他會(huì)嘗試?yán)斫膺@種關(guān)系并測(cè)試其可重復(fù)性，以便能夠準(zhǔn)確地表征傳感器響應(yīng)并根據(jù)這些數(shù)據(jù)做出推斷?？赡軠y(cè)試的一些事情包括實(shí)際上，響應(yīng)是否是線性的？響應(yīng)是否可以歸因于氣體濃度而不是傳感器中的隨機(jī)噪聲？等等。

而同時(shí)，我們還可以獲得20個(gè)不同傳感器的陣列，可以用來(lái)嘗試預(yù)測(cè)新近表征的傳感器的響應(yīng)。我們不認(rèn)為一個(gè)預(yù)測(cè)傳感器結(jié)果的20個(gè)不同變量的模型具備多少可解釋性。由于化學(xué)動(dòng)力學(xué)和物理變量與氣體濃度之間的關(guān)系引起的非線性，這個(gè)模型可能會(huì)比神經(jīng)網(wǎng)絡(luò)更深?yuàn)W。我希望這個(gè)模型有意義，但只要我能做出準(zhǔn)確的預(yù)測(cè)就已經(jīng)很不錯(cuò)了。

如果試圖證明數(shù)據(jù)變量之間的關(guān)系達(dá)到一定程度的統(tǒng)計(jì)顯著性，那么發(fā)論文的時(shí)候應(yīng)該會(huì)使用統(tǒng)計(jì)模型而不是機(jī)器學(xué)習(xí)。這是因?yàn)槲覀兏P(guān)心變量之間的關(guān)系，而不是做出預(yù)測(cè)。做出預(yù)測(cè)仍然很重要，但是大多數(shù)機(jī)器學(xué)習(xí)算法缺乏可解釋性使得難以證明數(shù)據(jù)內(nèi)的關(guān)系（這實(shí)際上是學(xué)術(shù)研究中的一個(gè)大問(wèn)題，研究人員使用他們不理解和獲得的算法似是而非的推論）。

這兩種方法的目標(biāo)不同，盡管使用的方法類似。機(jī)器學(xué)習(xí)算法的評(píng)估使用測(cè)試集來(lái)驗(yàn)證其準(zhǔn)確性。統(tǒng)計(jì)模型可以使用置信區(qū)間，顯著性檢驗(yàn)和其他檢驗(yàn)對(duì)回歸參數(shù)進(jìn)行分析，以評(píng)估模型的合法性。由于這些方法產(chǎn)生相同的結(jié)果，因此很容易理解為什么人們可能認(rèn)為它們是相同的。

統(tǒng)計(jì)與機(jī)器學(xué)習(xí)在線性回歸上的差異

有一個(gè)誤解存在了10年：僅基于它們都利用相同的基本概率概念這一事實(shí)，來(lái)混淆這兩個(gè)術(shù)語(yǔ)是不合理的。

有人一種說(shuō)法是，根據(jù)這個(gè)事實(shí)做出機(jī)器學(xué)習(xí)只是美化統(tǒng)計(jì)的陳述，我們也可以做出以下陳述：

物理學(xué)只是美化數(shù)學(xué)

動(dòng)物學(xué)只是美化郵票收藏

建筑只是美化沙子城堡建筑

這些陳述（尤其是第三個(gè)）非?；闹嚕羞@些陳述都基于這種混淆基于類似想法的術(shù)語(yǔ)的想法（用于架構(gòu)示例的雙關(guān)語(yǔ)）。

實(shí)際上，物理學(xué)是建立在數(shù)學(xué)基礎(chǔ)之上的，它是數(shù)學(xué)應(yīng)用于理解現(xiàn)實(shí)中存在的物理現(xiàn)象。物理學(xué)還包括統(tǒng)計(jì)學(xué)的各個(gè)方面，現(xiàn)代統(tǒng)計(jì)學(xué)的形式通常是由一個(gè)由Zermelo-Frankel集理論與測(cè)量理論相結(jié)合的框架構(gòu)建，以產(chǎn)生概率空間。它們之間都有很多共同之處，因?yàn)槎紒?lái)自相似的起源，并應(yīng)用類似的想法，來(lái)達(dá)成合乎邏輯的結(jié)論。同樣，建筑和沙堡建筑也有很多共同點(diǎn)啊，但這兩個(gè)顯然不是一個(gè)概念。

還有兩個(gè)與機(jī)器學(xué)習(xí)和統(tǒng)計(jì)相關(guān)的常見誤解我們需要糾正一下，一個(gè)是混淆了數(shù)據(jù)科學(xué)和統(tǒng)計(jì)學(xué)；另一個(gè)是混淆了機(jī)器學(xué)習(xí)和人工智能。這些是AI與機(jī)器學(xué)習(xí)不同，數(shù)據(jù)科學(xué)與統(tǒng)計(jì)學(xué)不同。這些是相當(dāng)無(wú)爭(zhēng)議的問(wèn)題所以它會(huì)很快。

數(shù)據(jù)科學(xué) vs 統(tǒng)計(jì)學(xué)

數(shù)據(jù)科學(xué)本質(zhì)上是應(yīng)用于數(shù)據(jù)的計(jì)算和統(tǒng)計(jì)方法，這些方法可以是小型或大型數(shù)據(jù)集，也可以是探索性數(shù)據(jù)分析。數(shù)據(jù)被檢查和可視化，以幫助科學(xué)家更好地理解數(shù)據(jù)，并從中做出推論。數(shù)據(jù)科學(xué)還包括數(shù)據(jù)爭(zhēng)用和預(yù)處理等內(nèi)容，因此還在某種程度上涉及到計(jì)算機(jī)科學(xué)，例如編碼，在數(shù)據(jù)庫(kù)，Web服務(wù)器等之間建立連接和pipe等。不一定非得使用計(jì)算機(jī)來(lái)進(jìn)行統(tǒng)計(jì)，但如果沒有計(jì)算機(jī)，就沒法真正進(jìn)行數(shù)據(jù)科學(xué)。所以，數(shù)據(jù)科學(xué)使用統(tǒng)計(jì)數(shù)據(jù)，但二者也顯然不一樣。

機(jī)器學(xué)習(xí) vs 人工智能

機(jī)器學(xué)習(xí)跟人工智能不同。事實(shí)上，機(jī)器學(xué)習(xí)是人工智能的一個(gè)子集，這是非常明顯的，因?yàn)槲覀冋凇坝?xùn)練”一臺(tái)機(jī)器，根據(jù)以前的數(shù)據(jù)對(duì)某些類型的數(shù)據(jù)做出可推廣的推斷。

機(jī)器學(xué)習(xí)是基于統(tǒng)計(jì)學(xué)的

在我們討論統(tǒng)計(jì)和機(jī)器學(xué)習(xí)的不同之前，讓我們首先討論相似之處。我們已經(jīng)在前幾節(jié)中對(duì)此進(jìn)行了一些討論。

機(jī)器學(xué)習(xí)建立在統(tǒng)計(jì)框架之上。這應(yīng)該是顯而易見的，因?yàn)闄C(jī)器學(xué)習(xí)涉及數(shù)據(jù)，并且必須使用統(tǒng)計(jì)框架來(lái)描述數(shù)據(jù)。然而，統(tǒng)計(jì)力學(xué)也擴(kuò)展到大量粒子的熱力學(xué)，也建立在統(tǒng)計(jì)框架之上。壓力的概念實(shí)際上是一個(gè)統(tǒng)計(jì)量，溫度也是一個(gè)統(tǒng)計(jì)量。如果你覺得這聽起來(lái)很荒謬可笑，但事實(shí)上確實(shí)如此。這就是為什么你無(wú)法描述分子的溫度或壓力，這是荒謬的。溫度是分子碰撞產(chǎn)生的平均能量的表現(xiàn)。對(duì)于足夠大量的分子，我們可以描述像房子或戶外的溫度。

你會(huì)承認(rèn)熱力學(xué)和統(tǒng)計(jì)學(xué)是一樣的嗎？不，熱力學(xué)使用統(tǒng)計(jì)數(shù)據(jù)來(lái)幫助我們以運(yùn)輸現(xiàn)象的形式理解工作和熱量的相互作用。

實(shí)際上，熱力學(xué)是建立在除了統(tǒng)計(jì)之外的更多項(xiàng)目之上的。同樣，機(jī)器學(xué)習(xí)也利用了大量其他數(shù)學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域，例如：

ML理論來(lái)自數(shù)學(xué)和統(tǒng)計(jì)學(xué)等領(lǐng)域

ML算法來(lái)自優(yōu)化，矩陣代數(shù)，微積分等領(lǐng)域

ML實(shí)現(xiàn)來(lái)自計(jì)算機(jī)科學(xué)與工程概念（例如內(nèi)核技巧，特征散列）

當(dāng)你開始使用Python進(jìn)行編碼，剔除sklearn庫(kù)并開始使用這些算法時(shí)，很多這些概念都被抽象出來(lái)，因此很難看出這些差異。

統(tǒng)計(jì)學(xué)習(xí)理論：機(jī)器學(xué)習(xí)的統(tǒng)計(jì)基礎(chǔ)

統(tǒng)計(jì)學(xué)與機(jī)器學(xué)習(xí)之間的主要區(qū)別在于統(tǒng)計(jì)學(xué)僅基于概率空間。從集合論中推導(dǎo)出整個(gè)統(tǒng)計(jì)數(shù)據(jù)，它討論了我們?nèi)绾螌?shù)字組合成類別，稱為集合，然后對(duì)此集合強(qiáng)加一個(gè)度量，以確保所有這些的總和值為1，我們稱之為概率空間。

除了這些集合和度量的概念之外，統(tǒng)計(jì)數(shù)據(jù)不對(duì)宇宙做任何其他假設(shè)。這就是為什么當(dāng)我們用非常嚴(yán)格的數(shù)學(xué)術(shù)語(yǔ)指定概率空間時(shí)，我們指定了3個(gè)東西。

概率空間，我們這樣表示，（Ω，F(xiàn)，P）由三部分組成：

樣本空間Ω，它是所有可能結(jié)果的集合

一組事件F，其中每個(gè)事件是包含零個(gè)或多個(gè)結(jié)果的集合

為事件分配概率P; 也就是說(shuō)，從事件到概率的函數(shù)

機(jī)器學(xué)習(xí)基于統(tǒng)計(jì)學(xué)習(xí)理論。它仍然基于概率空間的這種公理概念。該理論是在20世紀(jì)60年代發(fā)展起來(lái)的，并擴(kuò)展到傳統(tǒng)統(tǒng)計(jì)學(xué)。

機(jī)器學(xué)習(xí)有幾種類型，這里我們主要講監(jiān)督學(xué)習(xí)，因?yàn)樗亲钊菀捉忉尩摹?/p>

根據(jù)監(jiān)督學(xué)習(xí)的統(tǒng)計(jì)學(xué)習(xí)理論，一組數(shù)據(jù)，我們將其表示為S={(x?，y?)}。這是一個(gè)有n個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)集，每個(gè)數(shù)據(jù)點(diǎn)由我們稱之為功能的其他一些值描述，這些值由x提供，并且這些特征由某個(gè)函數(shù)映射以給出值y。

假如說(shuō)我們已經(jīng)有了這些數(shù)據(jù)，我們的目標(biāo)是找到將x值映射到y(tǒng)值的函數(shù)?？梢悦枋龃擞成涞乃锌赡芎瘮?shù)的集合，稱為假設(shè)空間。

要找到這個(gè)函數(shù)，我們必須讓算法“學(xué)會(huì)”一些方法來(lái)找出解決問(wèn)題的最佳方法，這個(gè)過(guò)程由損失函數(shù)實(shí)現(xiàn)。因此，對(duì)于我們所擁有的每個(gè)假設(shè)（建議函數(shù)），需要通過(guò)查看其對(duì)所有數(shù)據(jù)的預(yù)期風(fēng)險(xiǎn)值來(lái)評(píng)估該函數(shù)的執(zhí)行情況。

預(yù)期風(fēng)險(xiǎn)基本上是損失函數(shù)乘以數(shù)據(jù)概率分布的總和。如果我們知道映射的聯(lián)合概率分布，就很容易找到最佳函數(shù)。然而，這通常是未知的，因此我們最好的選擇是猜測(cè)，然后憑經(jīng)驗(yàn)確定損失函數(shù)是否更好。我們稱之為經(jīng)驗(yàn)風(fēng)險(xiǎn)。

然后，我們可以比較不同的函數(shù)，并尋找給出最小預(yù)期風(fēng)險(xiǎn)的假設(shè)，即假設(shè)給出數(shù)據(jù)上所有假設(shè)的最小值（稱為下限）。

然而，該算法具有作弊的傾向，可以通過(guò)過(guò)度擬合數(shù)據(jù)來(lái)最小化其損失函數(shù)。這就是為什么在學(xué)習(xí)基于訓(xùn)練集數(shù)據(jù)的函數(shù)之后，該函數(shù)需要在測(cè)試數(shù)據(jù)集上進(jìn)行驗(yàn)證，驗(yàn)證用的數(shù)據(jù)數(shù)據(jù)不會(huì)出現(xiàn)在訓(xùn)練集中。

顯然，這不是統(tǒng)計(jì)學(xué)看重的點(diǎn)，因?yàn)榻y(tǒng)計(jì)學(xué)并不需要最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)。選擇最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)的函數(shù)的學(xué)習(xí)算法稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。

舉例

以線性回歸的簡(jiǎn)單情況為例。在傳統(tǒng)意義上，我們嘗試將某些數(shù)據(jù)之間的錯(cuò)誤最小化，以便找到可用于描述數(shù)據(jù)的函數(shù)。在這種情況下，常使用均方誤差。我們將它調(diào)整為正負(fù)誤差不會(huì)相互抵消。然后我們可以以封閉形式的方式求解回歸系數(shù)。

如果將損失函數(shù)作為均方誤差來(lái)執(zhí)行統(tǒng)計(jì)學(xué)習(xí)理論所支持的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，最終得到的是與傳統(tǒng)線性回歸分析相同的結(jié)果。

這是因?yàn)閮煞N情況是等價(jià)的，就像在同一數(shù)據(jù)上執(zhí)行最大似然估計(jì)也會(huì)得到相同的結(jié)果一樣。最大似然可以用不同的方式來(lái)實(shí)現(xiàn)同一目標(biāo)，但沒有人會(huì)說(shuō)最大似然與線性回歸相同，對(duì)吧。

另一個(gè)需要注意的是，在傳統(tǒng)的統(tǒng)計(jì)方法中，并沒有訓(xùn)練和測(cè)試集的概念。而是用度量來(lái)檢查模型的執(zhí)行方式。雖然評(píng)估程序不同，但兩種方法都能夠在統(tǒng)計(jì)上給出魯棒的結(jié)果。

更進(jìn)一步，傳統(tǒng)的統(tǒng)計(jì)方法提供了最優(yōu)解，因?yàn)榻鉀Q方案具有封閉形式，它沒有測(cè)試任何其它假設(shè)并收斂到解決方案。而機(jī)器學(xué)習(xí)方法則是嘗試了一堆不同的模型，收斂到最終假設(shè)。

如果我們使用了不同的損失函數(shù)，結(jié)果就不會(huì)收斂。例如，如果我們使用鉸鏈損耗（使用標(biāo)準(zhǔn)梯度下降不可微分，那么就需要其他技術(shù)，如近端梯度下降來(lái)解決問(wèn)題），那么結(jié)果將不會(huì)相同。

當(dāng)然，可以通過(guò)考慮模型的偏差來(lái)進(jìn)行最終比較，比如要求機(jī)器學(xué)習(xí)算法測(cè)試線性模型，以及多項(xiàng)式模型，指數(shù)模型等，以查看這些假設(shè)是否更適合我們的先驗(yàn)損失函數(shù)。

這類似于增加相關(guān)的假設(shè)空間。在傳統(tǒng)的統(tǒng)計(jì)意義上，我們選擇一個(gè)模型就可以評(píng)估其準(zhǔn)確性，但不能自動(dòng)選擇100個(gè)不同模型中的最佳模型。因?yàn)槟Ｐ椭锌傆幸恍┢钤从谧畛醯乃惴ㄟx擇。這是必要的，因?yàn)檎业綄?duì)數(shù)據(jù)集最佳的任意函數(shù)是NP難問(wèn)題。

結(jié)論

沒有統(tǒng)計(jì)學(xué)就不會(huì)存在機(jī)器學(xué)習(xí)，但機(jī)器學(xué)習(xí)在當(dāng)代非常有用，因?yàn)樽?a target="_blank">信息爆炸以來(lái)人類，已經(jīng)產(chǎn)生了大量數(shù)據(jù)。

在“到底應(yīng)該選擇機(jī)器學(xué)習(xí)還是統(tǒng)計(jì)模型”的問(wèn)題上，很大程度上取決于目的是什么。如果只是想創(chuàng)建一種能夠高精度地預(yù)測(cè)住房?jī)r(jià)格的算法，或者使用數(shù)據(jù)來(lái)確定某人是否可能感染某些類型的疾病，那么機(jī)器學(xué)習(xí)可能是更好的方法；如果試圖證明變量之間的關(guān)系或從數(shù)據(jù)推斷，統(tǒng)計(jì)模型可能是更好的方法。

還有就是，即使沒有強(qiáng)大的統(tǒng)計(jì)學(xué)背景，也仍然可以掌握機(jī)器學(xué)習(xí)并應(yīng)用在實(shí)際問(wèn)題中。但基本的統(tǒng)計(jì)思想還是要有的，以防止模型過(guò)度擬合和給出似是而非的推論。

這里推薦幾個(gè)不錯(cuò)的課程，可以讓你對(duì)機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)有更清晰的認(rèn)識(shí)：

9.520/6.860: Statistical Learning Theory and Applications

http://www.mit.edu/~9.520/fall18/

該課程是以統(tǒng)計(jì)學(xué)家的角度來(lái)闡述機(jī)器學(xué)習(xí)

ECE 543: Statistical Learning Theory

http://maxim.ece.illinois.edu/teaching/spring18/index.html