機(jī)器學(xué)習(xí)的線性回歸分析

概述

線性回歸是利用數(shù)理統(tǒng)計(jì)中回歸分析，來(lái)確定兩種或兩種以上變量間相互依賴(lài)的定量關(guān)系的一種統(tǒng)計(jì)分析方法，運(yùn)用十分廣泛。其表達(dá)形式為y = w’x+e，e為誤差服從均值為0的正態(tài)分布。

回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱(chēng)為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱(chēng)為多元線性回歸分析。

通過(guò)線性回歸構(gòu)造出來(lái)的函數(shù)一般稱(chēng)之為了線性回歸模型。線性回歸模型的函數(shù)一般寫(xiě)作為：

損失函數(shù)

把每條小豎線的長(zhǎng)度加起來(lái)就是預(yù)測(cè)值與真實(shí)值的差距。那每條小豎線的長(zhǎng)度的加和怎么算？其實(shí)就是歐式距離加和，公式如下：

通過(guò)線性回歸算法，我們可能會(huì)得到很多的線性回歸模型，但是不同的模型對(duì)于數(shù)據(jù)的擬合或者是描述能力是不一樣的。我們的目的最終是需要找到一個(gè)能夠最精確地描述數(shù)據(jù)之間關(guān)系的線性回歸模型。這是就需要用到代價(jià)函數(shù)。代價(jià)函數(shù)就是用來(lái)描述線性回歸模型與正式數(shù)據(jù)之前的差異。如果完全沒(méi)有差異，則說(shuō)明此線性回歸模型完全描述數(shù)據(jù)之前的關(guān)系。如果需要找到最佳擬合的線性回歸模型，就需要使得對(duì)應(yīng)的代價(jià)函數(shù)最小，相關(guān)的公式描述如下：

Hypothesis：表示的就是線性回歸模型

Cost Function：代價(jià)函數(shù)

Goal：就是要求對(duì)應(yīng)的代價(jià)函數(shù)最小

線性回歸模型求解

假設(shè)在線性回歸模型中僅僅只存在一個(gè)函數(shù)，就是斜率參數(shù)。即theta-0是0。如果存在如下的數(shù)據(jù)：

圖中對(duì)應(yīng)的3個(gè)點(diǎn)分別為（1，1），（2，2），（3，3）那么很明顯，最佳線性回歸模型就是h（x）=x。如果通過(guò)實(shí)驗(yàn)證明呢？我們畫(huà)出在theta-1處于不同值的代價(jià)函數(shù)。

線性回歸模型的特點(diǎn)

① 建模速度快，不需要很復(fù)雜的計(jì)算，在數(shù)據(jù)量大的情況下依然運(yùn)行速度很快。

② 可以根據(jù)系數(shù)給出每個(gè)變量的理解和解釋。

③ 對(duì)異常值很敏感。