13種神經(jīng)網(wǎng)絡(luò)激活函數(shù)

機(jī)器學(xué)習(xí)初創(chuàng)公司Mate Labs聯(lián)合創(chuàng)始人Kailash Ahirwar簡(jiǎn)要介紹了13種神經(jīng)網(wǎng)絡(luò)激活函數(shù)。

激活函數(shù)將非線性引入網(wǎng)絡(luò)，因此激活函數(shù)自身也被稱為非線性。神經(jīng)網(wǎng)絡(luò)是普適的函數(shù)逼近器，而深度神經(jīng)網(wǎng)絡(luò)基于反向傳播訓(xùn)練，因此要求可微激活函數(shù)。反向傳播在這一函數(shù)上應(yīng)用梯度下降，以更新網(wǎng)絡(luò)的權(quán)重。理解激活函數(shù)非常重要，因?yàn)樗鼘?duì)深度神經(jīng)網(wǎng)絡(luò)的質(zhì)量起著關(guān)鍵的作用。本文將羅列和描述不同的激活函數(shù)。

線性激活函數(shù)

恒等函數(shù)（Identity）或線性激活（Linear activation）函數(shù)是最簡(jiǎn)單的激活函數(shù)。輸出和輸入成比例。線性激活函數(shù)的問題在于，它的導(dǎo)數(shù)是常數(shù)，梯度也是常數(shù)，梯度下降無(wú)法工作。

值域：(-∞, +∞)

例子：f(2) = 2或f(-4) = -4

階躍函數(shù)

階躍函數(shù)（Heaviside step function）通常只在單層感知器上有用，單層感知器是神經(jīng)網(wǎng)絡(luò)的早期形式，可用于分類線性可分的數(shù)據(jù)。這些函數(shù)可用于二元分類任務(wù)。其輸出為A1（若輸入之和高于特定閾值）或A0（若輸入之和低于特定閾值）。感知器使用的值為A1 = 1、A0 = 0.

值域：0或1

例子：f(2) = 1、f(-4) = 0、f(0) = 0、f(1) = 1

圖片來(lái)源：維基百科

sigmoid函數(shù)

sigmoid函數(shù)，也稱邏輯激活函數(shù)（Logistic activation function）最常用于二元分類問題。它有梯度消失問題。在一定epoch數(shù)目之后，網(wǎng)絡(luò)拒絕學(xué)習(xí)，或非常緩慢地學(xué)習(xí)，因?yàn)檩斎耄╔）導(dǎo)致輸出（Y）中非常小的改動(dòng)?，F(xiàn)在，sigmoid函數(shù)主要用于分類問題。這一函數(shù)更容易碰到后續(xù)層的飽和問題，導(dǎo)致訓(xùn)練變得困難。計(jì)算sigmoid函數(shù)的導(dǎo)數(shù)非常簡(jiǎn)單。

就神經(jīng)網(wǎng)絡(luò)的反向傳播過程而言，每層（至少）擠入四分之一的誤差。因此，網(wǎng)絡(luò)越深，越多關(guān)于數(shù)據(jù)的知識(shí)將“丟失”。某些輸出層的“較大”誤差可能不會(huì)影響相對(duì)較淺的層中的神經(jīng)元的突觸權(quán)重（“較淺”意味著接近輸入層）。

sigmoid函數(shù)定義

sigmoid函數(shù)的導(dǎo)數(shù)

值域：(0, 1)

例子：f(4) = 0.982、f(-3) = 0.0474、f(-5) = 0.0067

圖片來(lái)源：維基百科

圖片來(lái)源：deep learning nano foundation

tanh函數(shù)

tanh函數(shù)是拉伸過的sigmoid函數(shù)，以零為中心，因此導(dǎo)數(shù)更陡峭。tanh比sigmoid激活函數(shù)收斂得更快。

值域：(-1, 1)

例子：tanh(2) = 0.9640、tanh(-0.567) = -0.5131、tanh(0) = 0

圖片來(lái)源：維基百科

ReLU函數(shù)

ReLU（Rectified Linear Unit，修正線性單元）訓(xùn)練速度比tanh快6倍。當(dāng)輸入值小于零時(shí)，輸出值為零。當(dāng)輸入值大于等于零時(shí)，輸出值等于輸入值。當(dāng)輸入值為正數(shù)時(shí)，導(dǎo)數(shù)為1，因此不會(huì)出現(xiàn)sigmoid函數(shù)反向傳播時(shí)的擠壓效應(yīng)。

值域：[0, x)

例子：f(-5) = 0、f(0) = 0、f(5) = 5

圖片來(lái)源：維基百科

不幸的是，ReLU在訓(xùn)練時(shí)可能很脆弱，可能“死亡”。例如，通過ReLU神經(jīng)元的較大梯度可能導(dǎo)致權(quán)重更新過頭，導(dǎo)致神經(jīng)元再也不會(huì)因?yàn)槿魏螖?shù)據(jù)點(diǎn)激活。如果這一情況發(fā)生了，經(jīng)過這一單元的梯度從此以后將永遠(yuǎn)為零。也就是說(shuō)，ReLU單元可能在訓(xùn)練中不可逆地死亡，因?yàn)樗鼈儽粡臄?shù)據(jù)流形上踢出去了。例如，你可能發(fā)現(xiàn)，如果學(xué)習(xí)率設(shè)置過高，40%的網(wǎng)絡(luò)可能“死亡”（即神經(jīng)元在整個(gè)訓(xùn)練數(shù)據(jù)集上永遠(yuǎn)不會(huì)激活）。設(shè)置一個(gè)合適的學(xué)習(xí)率可以緩解這一問題。

-- Andrej Karpathy CS231n 課程

Leaky ReLU函數(shù)

Leaky ReLU讓單元未激活時(shí)能有一個(gè)很小的非零梯度。這里，很小的非零梯度是0.01.

值域：(-∞, +∞)

PReLU函數(shù)

PReLU（Parametric Rectified Linear Unit）函數(shù)類似Leaky ReLU，只不過將系數(shù)（很小的非零梯度）作為激活函數(shù)的參數(shù)，該參數(shù)和網(wǎng)絡(luò)的其他參數(shù)一樣，在訓(xùn)練過程中學(xué)習(xí)。

值域：(-∞, +∞)

RReLU函數(shù)

RReLU也類似Leaky ReLU，只不過系數(shù)（較小的非零梯度）在訓(xùn)練中取一定范圍內(nèi)的隨機(jī)值，在測(cè)試時(shí)固定。

值域：(-∞, +∞)

ELU函數(shù)

ELU（Exponential Linear Unit，指數(shù)線性單元）嘗試加快學(xué)習(xí)速度?；贓LU，有可能得到比ReLU更高的分類精確度。這里α是一個(gè)超參數(shù)（限制：α ≥ 0）。

值域：(-α, +∞)

SELU函數(shù)

SELU（Scaled Exponential Linear Unit，拉伸指數(shù)線性單元）是ELU經(jīng)過拉伸的版本。

圖片來(lái)源：Elior Cohen

SReLU函數(shù)

SReLU（S-shaped Rectified Linear Activation Unit，S型修正線性激活單元）由三個(gè)分段線性函數(shù)組成。系數(shù)作為參數(shù)，將在網(wǎng)絡(luò)訓(xùn)練中學(xué)習(xí)。

值域：(-∞, +∞)

不同參數(shù)的SReLU圖像；圖片來(lái)源：arXiv:1512.07030

APL函數(shù)

APL（Adaptive Piecewise Linear，自適應(yīng)分段線性）函數(shù)

圖片來(lái)源：arXiv:1512.07030

值域：(-∞, +∞)

SoftPlus函數(shù)

SoftPlus函數(shù)的導(dǎo)數(shù)為邏輯（logistic）函數(shù)。大體上，ReLU和SoftPlus很相似，只不過SoftPlus在接近零處平滑可微。另外，計(jì)算ReLU及其導(dǎo)數(shù)要比SoftPlus容易很多。

值域：(0, ∞)

圖片來(lái)源：維基百科

bent identity函數(shù)

bent identity函數(shù)，顧名思義，將恒等函數(shù)彎曲一下。

值域：(-∞, +∞)

圖片來(lái)源：維基百科

softmax函數(shù)

softmax函數(shù)將原始值轉(zhuǎn)換為后驗(yàn)分布，可用于衡量確定性。類似sigmoid，softmax將每個(gè)單元的輸出值擠壓到0和1之間。不過，softmax同時(shí)確保輸出的總和等于1.

圖片來(lái)源：dataaspirant.com

softmax函數(shù)的輸出等價(jià)于類別概率分布，它告訴你任何分類為真的概率。

結(jié)語(yǔ)

選擇激活函數(shù)時(shí)，優(yōu)先選擇ReLU及其變體，而不是sigmoid或tanh。同時(shí)ReLU及其變體訓(xùn)練起來(lái)更快。如果ReLU導(dǎo)致神經(jīng)元死亡，使用Leaky ReLU或者ReLU的其他變體。sigmoid和tanh受到消失梯度問題的困擾，不應(yīng)該在隱藏層中使用。隱藏層使用ReLU及其變體較好。使用容易求導(dǎo)和訓(xùn)練的激活函數(shù)。