PyTorch中激活函數(shù)的全面概覽

為了更清晰地學(xué)習(xí)Pytorch中的激活函數(shù)，并對比它們之間的不同，這里對最新版本的Pytorch中的激活函數(shù)進(jìn)行了匯總，主要介紹激活函數(shù)的公式、圖像以及使用方法，具體細(xì)節(jié)可查看官方文檔。

1、ELU

公式：

圖像：

示例：

2、Hardshrink

公式：

圖像：

示例：

3、Hardsigmoid

公式：

圖像：

示例：

4、Hardtanh

公式：

圖像：

示例：

5、Hardswish

公式：

圖像：

示例：

6、LeakyReLU

公式：

圖像：

示例：

7、LogSigmoid

公式：

圖像：

示例;

8、PReLU

公式：

其中，a是可學(xué)習(xí)的參數(shù)。

圖像：

示例：

m = nn.PReLU()

9、ReLU

公式：

圖像：

示例：

m = nn.ReLU()

10、ReLU6

公式：

圖像：

示例：

m = nn.ReLU6()

11、RReLU

公式：

其中，a從均勻分布U(lower,upper)隨機(jī)采樣得到。

圖像：

示例：

m = nn.RReLU(0.1, 0.3)

12、SELU

公式：

其中，a=1.6732632423543772848170429916717，scale=1.0507009873554804934193349852946。

圖像：

示例：

m = nn.SELU()

13、CELU

公式：

圖像：

示例：

m = nn.CELU()

14、GELU

公式：

圖像：

示例：

m = nn.GELU()

15、Sigmoid

公式：

圖像：

示例：

m = nn. Sigmoid()

16、SiLU

公式：

圖像：

示例：

m = nn.SiLU()

17、Mish

公式：

圖像：

示例：

m = nn.Mish()

18、Softplus

公式：

對于數(shù)值穩(wěn)定性，當(dāng)時，恢復(fù)到線性函數(shù)。

圖像：

示例：

m = nn.Softplus()

19、Softshrink

公式：

圖像：

示例：

m = nn.Softshrink()

20、Softsign

公式：

圖像：

示例：

m = nn.Softsign()

21、Tanh

公式：

圖像：

示例：

m = nn.Tanh()

22、Tanhshrink

公式：

圖像：

示例：

m = nn.Tanhshrink()

23、Threshold

公式：

示例：

m = nn.Threshold(0.1, 20)

24、GLU

公式：

其中，a是輸入矩陣的前半部分，b是后半部分。

示例：

m = nn.GLU()

25、Softmin

公式：

示例：

m = nn.Softmin(dim=1)

26、Softmax

公式：

示例：

m = nn.Softmax(dim=1)

27、LogSoftmax

公式：

示例：

m = nn.LogSoftmiax(dim=1)

28、其它

還有MultiheadAttention、Softmax2d、AdaptiveLogSoftmaxWithLoss相對復(fù)雜一些沒有添加，可去官網(wǎng)文檔查看.

審核編輯：黃飛