正態(tài)分布和高斯分布的作用_高斯分布的定義_誤差服從高斯分布

　　正態(tài)分布（Normal distribution），也稱“常態(tài)分布”，又名高斯分布（Gaussian distribution），最早由A.棣莫弗在求二項分布的漸近公式中得到。C.F.高斯在研究測量誤差時從另一個角度導(dǎo)出了它。P.S.拉普拉斯和高斯研究了它的性質(zhì)。是一個在數(shù)學(xué)、物理及工程等領(lǐng)域都非常重要的概率分布，在統(tǒng)計學(xué)的許多方面有著重大的影響力。

　　正態(tài)曲線呈鐘型，兩頭低，中間高，左右對稱因其曲線呈鐘形，因此人們又經(jīng)常稱之為鐘形曲線。

　　若隨機變量X服從一個數(shù)學(xué)期望為μ、方差為σ^2的正態(tài)分布，記為N（μ，σ^2）。其概率密度函數(shù)為正態(tài)分布的期望值μ決定了其位置，其標準差σ決定了分布的幅度。當(dāng)μ = 0，σ = 1時的正態(tài)分布是標準正態(tài)分布。

　　高斯分布的定義

　　高斯分布怎么來的，很簡單。只要你觀察的系統(tǒng)里，各種對象之間關(guān)聯(lián)很弱，那么他們的總和平均表現(xiàn)，根據(jù)中心極限定律，就是高斯或者近高斯的。你看我們?nèi)嗽斓臇|西，很多都是模塊化的，比如汽車輪船飛機，桌子椅子板凳，等等。我們?nèi)祟愒鞏|西，都是“搭”出來的，一個模塊和另一個模塊之間關(guān)聯(lián)很弱，壞了一個模塊換掉就好。所以人造系統(tǒng)，其表現(xiàn)，包括性能啊，噪聲啊，穩(wěn)定度啊，都基于高斯分布。

　　但自然界呢，假如有個造物主，它造東西跟人類的思路就很不一樣。它手里的作品是“生長”出來的。比如我們?nèi)耍瑥囊粋€受精卵發(fā)育而來，各個部分強關(guān)聯(lián)，受精卵上一點缺陷，會反映到整個人體的巨大影響。這和桌子有本質(zhì)區(qū)別，就算桌子原始材料有個洞，也不可能造出來桌面和桌腿都很多洞。“生長”這個過程到底服從什么本質(zhì)的數(shù)學(xué)規(guī)律，我們?nèi)祟愡€不確切知道。從2000年以后，學(xué)界的研究集中于通過隨機游動，擴散這樣的動力學(xué)行為來對“生長”出來的系統(tǒng)（復(fù)雜系統(tǒng)）嘗試尋找類似于模塊系統(tǒng)的中心極限定律的總體規(guī)律。有一些進展，但是還沒有特別令人信服的突破性結(jié)論。

　　高斯分布為何在自然界如此常見高斯分布的信息熵最大。即，高斯分布是最混亂系統(tǒng)。

　　這里有個前提條件是方差一定，這個條件在物理學(xué)家的眼中可以意味著漲落，可以是統(tǒng)計學(xué)上的能量的漲落（比如maxwell速度矢量分布的方差是確定的kt/m），或者是不確定關(guān)系下的漲落。

　　自然會趨向于最熵增和低能量態(tài)。這是熱力學(xué)的最簡單運行軌跡。

　　個人認為比之中心極限定理，這個是更為本質(zhì)的因素。就像我們可以證明出來牛頓力學(xué)基礎(chǔ)上的經(jīng)典力學(xué)，但是顯然是更加優(yōu)雅和接近自然本質(zhì)的描述。

　　高斯分布的作用

　　均勻分布是均勻分布，高斯分布是高斯分布，高斯分布式又名正太分布。均勻分布就是在一個大的區(qū)域內(nèi)，數(shù)據(jù)出現(xiàn)在任何一個小的區(qū)域的概率都是相同的。高斯分布式就是在一個大的區(qū)域內(nèi)，數(shù)據(jù)會集中出現(xiàn)在部分區(qū)域。

　　為什么誤差總是服從高斯分布？

　　最近某網(wǎng)友在進行機器學(xué)習(xí)，發(fā)現(xiàn)在對誤差假定是都是服從高斯分布，不明白其中緣由。

　　解答如下：

　　1. 大量獨立的隨機變量之和趨向于某個穩(wěn)定的分布，這就是中心極限定理。

　　2. 后來人們給這種分布取了個名，叫高斯分布，或正態(tài)分布。

　　3. 人們認為誤差是隨機的，所以人們認為誤差的和服從高斯分布。

　　個人認為，一般測量的誤差是隨機的，但機器學(xué)習(xí)中的誤差是否隨機就不一定了。

　　另外還有人認為：

　　不確定誤差產(chǎn)生的原因更要用高斯分布來估計了，因為根據(jù)中心極限定理，這樣做“最無偏”。如果確定了誤差產(chǎn)生原因，那就具體情況具體分析了。