01
神經(jīng)網(wǎng)絡(luò)中最基本的成分是神經(jīng)元(neuron)模型。在生物神經(jīng)網(wǎng)絡(luò)中,每個(gè)神經(jīng)元與其他神經(jīng)元相連,當(dāng)它“興奮”時(shí),就會(huì)向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì),從而改變這些神經(jīng)元內(nèi)的電位;如果某神經(jīng)元的電位超過了一個(gè)“閾值”(threshold),那么它就會(huì)被激活,即“興奮”起來,向其他神經(jīng)元發(fā)送化學(xué)物資。
圖5.1所示的簡(jiǎn)單模型就是沿用至今的“M-P神經(jīng)元模型”。在這個(gè)模型中,神經(jīng)元接收到來自n個(gè)其他神經(jīng)元傳遞過來的輸入信號(hào),這些輸入信號(hào)通過帶權(quán)重的連接(connection)進(jìn)行傳遞,神經(jīng)元接收到總輸入值將與神經(jīng)元的閾值進(jìn)行比較,然后通過“激活函數(shù)”(activation function)處理以產(chǎn)生神經(jīng)元的輸出。 階躍函數(shù)是理想的激活函數(shù),它將輸出值映射為輸出值“0”或“1”,“1”對(duì)應(yīng)與神經(jīng)元興奮,“0”對(duì)應(yīng)于神經(jīng)元抑制。但階躍函數(shù)具有不連續(xù)、不光滑等不太好的性質(zhì),因此常用Sigmoid函數(shù)作為激活函數(shù),如下圖:
把許多這樣的神經(jīng)元按一定的層次結(jié)構(gòu)連接起來,就得到了神經(jīng)網(wǎng)絡(luò)。
感知機(jī)與多層網(wǎng)絡(luò)
once time【2018】
02
感知機(jī)(Perceptron)由兩層神經(jīng)元組成,如圖5.3所示。輸入層接收外界輸入信號(hào)后傳遞給輸出層,輸出層是M-P神經(jīng)元,亦稱“閾值邏輯單元”(threshold logic unit)。
要解決非線性可分問題,需考慮使用多層功能神經(jīng)元。如圖5.5中兩層感知機(jī)解決異或問題。
這里的輸入層和輸出層之間的一層神經(jīng)元,被稱為隱層或隱含層(hidden layer),隱含層和輸出層神經(jīng)元都是擁有激活函數(shù)的功能神經(jīng)元。
我們常見的神經(jīng)網(wǎng)絡(luò)是如圖5.6所示的層級(jí)結(jié)構(gòu),每層神經(jīng)元與下一層神經(jīng)元全互連,神經(jīng)元枝江不存在同層連接,也不存在跨層連接。這樣的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常稱為“多層前饋神經(jīng)網(wǎng)絡(luò)”(multi-layer feed forward neural network)。由于輸入層神經(jīng)元僅是接受輸入,不進(jìn)行函數(shù)處理,隱層與輸出層包含功能神經(jīng)元。因此,通常被稱為“兩層網(wǎng)絡(luò)”,或“單隱層網(wǎng)絡(luò)”。 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程,就是根據(jù)訓(xùn)練數(shù)據(jù)來調(diào)整神經(jīng)元之間的“連接權(quán)”(connection weight)以及每個(gè)功能神經(jīng)元的閾值。
誤差逆?zhèn)鞑?a href="http://srfitnesspt.com/v/tag/2562/" target="_blank">算法
once time【2018】
03
欲訓(xùn)練多層神經(jīng)網(wǎng)絡(luò),上述的簡(jiǎn)單感知機(jī)學(xué)習(xí)規(guī)則顯然不夠,我們需要更強(qiáng)大的學(xué)習(xí)算法。誤差逆?zhèn)鞑ィ╡rror BackPropagation,簡(jiǎn)稱BP)算法就是一種杰出的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4722瀏覽量
100308 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4256瀏覽量
62223 -
神經(jīng)元
+關(guān)注
關(guān)注
1文章
363瀏覽量
18423
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論