廣義線性模型介紹

本文介紹了廣義線性模型，其中線性回歸、logistic回歸，softmax回歸同屬于廣義線性模型。從指數(shù)分布家族推導出高斯分布、伯努利分布對應的指數(shù)分布家族形式，以最大化期望為目標推導出線性回歸、logistic回歸，softmax回歸的目標函數(shù)，進一步強調(diào)模型的概率解釋性。

廣義線性模型

從線性回歸，logistic回歸，softmax回歸，最大熵的概率解釋來看，我們會發(fā)現(xiàn)線性回歸是基于高斯分布+最大似然估計的結(jié)果，logistic回歸是伯努利分布+對數(shù)最大似然估計的結(jié)果，softmax回歸是多項分布+對數(shù)最大似然估計的結(jié)果，最大熵是基于期望+對數(shù)似然估計的結(jié)果。前三者可以從廣義線性模型角度來看。

A、指數(shù)分布家族

指數(shù)分布家族是指可以表示為指數(shù)形式的概率分布，指數(shù)分布的形式如下：

其中是分布的自然參數(shù)，是充分統(tǒng)計量，通常. 當參數(shù)都固定的時候，就定義了一個以為參數(shù)的函數(shù)族。

實際上大多數(shù)的概率分布都屬于指數(shù)分布家族，比如：

1）伯努利分布 0-1問題

2）二項分布，多項分布 多取值 多次試驗

3）泊松分布 計數(shù)過程

4）伽馬分布與指數(shù)分布

5）分布

6）Dirichlet分布

7）高斯分布

現(xiàn)在我們將高斯分布和伯努利分布用指數(shù)分布家族的形式表示：

高斯分布：

對應到指數(shù)分布家族有：

伯努利分布：

對應到指數(shù)分布家族有：

B、廣義線性模型

在了解指數(shù)分布家族之后，我們再來看廣義線性模型的形式定義與假設(shè)：

1）給定樣本x與參數(shù)，樣本分類y服從指數(shù)分布家族的某個分布。

2）給定一個x，我們目標函數(shù)為：

3）

三條假設(shè)，第一條是為了能在指數(shù)分布范圍內(nèi)討論y的概率，第二條假設(shè)是為了使得預測值服從均值為實際值得一個分布，第三條假設(shè)是為了設(shè)計的決策函數(shù)（模型）是線性的。

由高斯分布的指數(shù)家族分布形式與廣義線性模型的定義有線性回歸的模型為：

同樣由伯努利分布的指數(shù)家族分布形式與廣義線性模型的定義有l(wèi)ogistic回歸的模型為（解釋了為什么是sigmoid函數(shù)）：

所以，在廣義線性模型中，決策函數(shù)為線性函數(shù)是基于廣義線性模型的第三條假設(shè)，而最終的模型是依賴于模型服從什么樣的分布，比如 高斯分布，伯努利分布。

同樣，我們應用logistic回歸到softmax回歸的一套定義，下面再來看多項分布對應的softmax回歸：

其中是表示的概率，是一個指示函數(shù)，為真是取值為，否則為，采用softmax中向量化的定義。

對應到指數(shù)分布家族有：

由推出：

為了方便定義，由于多項分布所有值取值概率加和為1有：

所以有：

再由廣義線性模型的第二條假設(shè)，同時將第三條線性假設(shè)帶入有：

最后由最大似然估計有softmax的目標函數(shù)如下：

到此，廣義線性模型解釋線性回歸，logistic回歸，softmax回歸基本算完，可以看出線性函數(shù)是基于廣義線性模型的第三條假設(shè)，采用sigmoid函數(shù)是因為伯努利分布，而softmax回歸是logistic回歸高維推廣。