人工神經(jīng)網(wǎng)絡(luò)（感知機(jī)算法的意義）

因?yàn)橹С窒蛄繖C(jī)算是通過所有數(shù)據(jù)尋找最優(yōu)分類方式的算法，而感知機(jī)算法是尋找某一分類方式的算法，所以，多數(shù)情況下，支持向量機(jī)求得的分類超平面優(yōu)于感知機(jī)算法求得的分類超平面。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

因?yàn)楦兄獧C(jī)算法的性能較差，所以感知機(jī)算法已經(jīng)不再被使用。但感知機(jī)算法對(duì)于機(jī)器學(xué)習(xí)算法的發(fā)展具有如下意義。

一、提出機(jī)器學(xué)習(xí)算法框架

假設(shè)某系統(tǒng)的輸入為X，輸出為Y。機(jī)器學(xué)習(xí)算法的目的尋找預(yù)測(cè)函數(shù)f(X,θ)，預(yù)測(cè)函數(shù)的形式通過人為設(shè)定的方式確定，機(jī)器學(xué)習(xí)算法的求解過程是通過訓(xùn)練數(shù)據(jù)集(Xi,yi)，i=1~N求解θ。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

在感知機(jī)算法中，待估及參數(shù)θ=(W,b)，f(X,θ)=sgn(WTX+b)，其中，sgn代表符號(hào)函數(shù)（x>0,sgn(x)=1；x=0,sgn(x)=0；x<0,sgn(x)=-1）。若X的維度為M，則θ的維度為M+1。此機(jī)器學(xué)習(xí)框架可應(yīng)用于強(qiáng)化學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等機(jī)器學(xué)習(xí)領(lǐng)域。 ?

當(dāng)訓(xùn)練數(shù)據(jù)的分布較復(fù)雜，所選取的f(X,θ)較簡(jiǎn)單時(shí)，無論θ為何值均不可全面模擬訓(xùn)練數(shù)據(jù)的分布。此種訓(xùn)練數(shù)據(jù)比預(yù)測(cè)函數(shù)復(fù)雜的情況被稱為模型欠擬合（Underfit）。

當(dāng)訓(xùn)練數(shù)據(jù)的復(fù)雜度和f(X,θ)的復(fù)雜度相匹配時(shí)，模型預(yù)測(cè)能力最佳。

當(dāng)訓(xùn)練數(shù)據(jù)的分布較簡(jiǎn)單，所選取的f(X,θ)較復(fù)雜時(shí)，預(yù)測(cè)函數(shù)可以準(zhǔn)確擬合數(shù)據(jù)，但在沒有訓(xùn)練數(shù)據(jù)的區(qū)域，預(yù)測(cè)函數(shù)也會(huì)出現(xiàn)復(fù)雜函數(shù)值分布，不能反映訓(xùn)練數(shù)據(jù)分布的真實(shí)情況。此種預(yù)測(cè)函數(shù)比訓(xùn)練數(shù)據(jù)復(fù)雜的情況被稱為模型過擬合（Overfit）。模型過擬合時(shí)，預(yù)測(cè)函數(shù)可以精確預(yù)測(cè)訓(xùn)練數(shù)據(jù)，但無法精確預(yù)測(cè)測(cè)試數(shù)據(jù)。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

二、感知機(jī)算法是消耗較少內(nèi)存資源算法的先驅(qū)

2014年，Meta（Facebook）公司的DeepFace人臉識(shí)別系統(tǒng)需要通過超過400萬張的人臉圖片求解維度超過1800萬的參數(shù)θ（個(gè)人理解：需要求解一個(gè)未知數(shù)超過1800萬個(gè)的問題）。

上述求解問題若采用支持向量機(jī)算法進(jìn)行求解，需要將超過400萬張的人臉圖片的數(shù)據(jù)均輸入至計(jì)算機(jī)，并需要計(jì)算機(jī)求解全局優(yōu)化問題，此全局優(yōu)化問題對(duì)計(jì)算機(jī)的存儲(chǔ)資源和計(jì)算資源消耗較大。



圖片來源：中國慕課大學(xué)《機(jī)器學(xué)習(xí)概論》

相比較而言，感知機(jī)算法只需存儲(chǔ)W和b，并通過訓(xùn)練數(shù)據(jù)調(diào)整W和b的值（感知機(jī)算法通過加減法的方式調(diào)整W和b的值，此方式需要的計(jì)算資源較少），再循環(huán)調(diào)整W和b值過程，即可完成求解。其所需要的存儲(chǔ)資源和計(jì)算資源較小。 目前，機(jī)器學(xué)習(xí)領(lǐng)域的訓(xùn)練數(shù)據(jù)量較大，類似感知機(jī)算法的求解方式，即每次輸送小部分?jǐn)?shù)據(jù)訓(xùn)練并循環(huán)的算法逐漸受到歡迎。而類似支持向量機(jī)，即針對(duì)所有數(shù)據(jù)進(jìn)行全局優(yōu)化的算法逐漸不占優(yōu)勢(shì)。

審核編輯：劉清