支持向量機尋找的最優(yōu)分類直線應滿足哪些條件？

支持向量機尋找的最優(yōu)分類直線應滿足如下條件：

（1）該直線可將訓練數(shù)據(jù)完全分為兩類。

（2）該直線可最大化間隔。

（3）該直線處于間隔的中間，其與所有支持向量（任意一條可將訓練樣本完全分類的直線分別向兩側(cè)被平行移動時，最先穿過的一個或幾個訓練樣本）的距離相等。

圖片來源：中國慕課大學《機器學習概論》

可推出支持向量機尋找最優(yōu)分類超平面（超平面是將三維以上特征空間的訓練數(shù)據(jù)分割為不同類別的“圖形”）應滿足如下條件：

（1）該超平面可將訓練數(shù)據(jù)完全分為兩類。

（2）該超平面可最大化間隔。

（3）該超平面處于間隔的中間，其與所有支持向量的距離相等。

下文介紹通過數(shù)學方法，將支持向量機尋找線性可分訓練數(shù)據(jù)集的最優(yōu)分類超平面的過程，描述為最優(yōu)化問題。

回顧線性可分的定義：訓練樣本集 {(Xi,yi)}在i=1~N線性可分是指存在ω和b（Xi=[xi1，xi2,…,xin]，ω=[ω1，ω2,…,ωn]T），使得對 i=1~N，有：

若yi=+1，則ωTXi+b>0；

若yi=-1，則ωTXi+b<0。

同時，基于以下兩個事實：

事實1：ωTx+b=0與(aωTx)+(ab)=0是同一個超平面（a≠0）。（此事實可基于二維特征空間的情況理解，當a≠0時，二維特征空間中，ωx+b=0與aωx+ab=0是同一條直線）

事實2：一個點X0到超平面ωTx+b=0的距離d的公式為：d=|ωTX0+b|/||ω||，其中||ω||2=ω12+ω22…+ωn2。（此事實也可基于二維特征空間的情況理解，二維特征空間中，一個點(x0,y0)到ω1x0+ω2y0+b=0的距離為：d=|ω1x0+ω2y0+b|/√(ω12+ω22)，√代表根號）

因為ωTx+b=0與(aωTx)+(ab)=0是同一個超平面，所以可以通過縮放（即直線方程兩端均乘以相同系數(shù)），使得ωTx+b在支持向量x0上有|ωTx0+b|=1（根據(jù)線性可分的定義，支持向量x0上有|ωTx0+b|＞0，假設|ωTx0+b|=0.5，那么可以通過將該方程兩端均乘以2縮放為|ωTx0+b|=1，其他情況均可以此類推）。

那么，根據(jù)事實2，支持向量x0到超平面的距離d=|ωTx0+b|/||ω||=1/||ω||。因此，最大化支持向量至超平面的距離（即最大化超平面的間隔）等價于最小化||ω||。

圖片來源：來自網(wǎng)絡

因此，支持向量機尋找線性可分訓練數(shù)據(jù)集的最優(yōu)分類超平面的過程可描述為最小化1/2||ω||2（最小化1/2||ω||2即可使||ω||最小化）的最優(yōu)化問題。

又因為非支持向量與超平面的距離大于支持向量與超平面的距離，所以非支持向量與超平面的距離d>1/||ω||，即在非支持向量x0上有|ωTx0+b|>1。

綜合支持向量與非支持向量距離取值，可得出支持向量機尋找線性可分訓練數(shù)據(jù)集的最優(yōu)分類超平面的限制條件：yi(ωTXi+b)≥1，i=1~N。

綜上，在線性可分情況下，支持向量機尋找最佳超平面的優(yōu)化問題可以表示為 :

最小化：1/2||ω||2，

限制條件：yi(ωTXi+b)≥1，i=1~N。

上述優(yōu)化問題中，ω和b為待求量，(Xi,yi)，i=1~N為已知量。該優(yōu)化問題屬于凸優(yōu)化問題（CONVEX OPTIMIZATION）。當一個問題轉(zhuǎn)化為凸優(yōu)化問題時，該問題可使用機器學習算法的工具包求解。

圖片來源：來自網(wǎng)絡

審核編輯：劉清