參考：https://blog.csdn.net/kangyi411/article/details/78969642
一 、sigmoid函數(shù)
公式：

image.png

1. 當(dāng)輸入稍微遠(yuǎn)離了坐標(biāo)原點(diǎn)，函數(shù)的梯度就變得很小了，幾乎為零。在神經(jīng)網(wǎng)絡(luò)反向傳播的過程中，通過微分的鏈?zhǔn)椒▌t來計(jì)算各個(gè)權(quán)重w的微分的。當(dāng)反向傳播經(jīng)過了sigmod函數(shù)，這個(gè)鏈條上的微分就很小了，況且還可能經(jīng)過很多個(gè)sigmod函數(shù)，最后會(huì)導(dǎo)致權(quán)重w對(duì)損失函數(shù)幾乎沒影響，這樣不利于權(quán)重的優(yōu)化，這個(gè)問題叫做梯度飽和，也可以叫梯度彌散。

2. 函數(shù)輸出不是以0為中心的，這樣會(huì)使權(quán)重更新效率降低。對(duì)于這個(gè)缺陷，在斯坦福的課程里面有詳細(xì)的解釋。

3. sigmod函數(shù)要進(jìn)行指數(shù)運(yùn)算，這個(gè)對(duì)于計(jì)算機(jī)來說是比較慢的。

二、tanh函數(shù)

image.png

缺點(diǎn)：在輸入很大或是很小的時(shí)候，輸出都幾乎平滑，梯度很小，不利于權(quán)重更新；不同的是輸出區(qū)間，tanh的輸出區(qū)間是在(-1,1)之間，而且整個(gè)函數(shù)是以0為中心的，這個(gè)特點(diǎn)比sigmod的好。

三、relu函數(shù)

image.png

優(yōu)點(diǎn)：

1. 在輸入為正數(shù)的時(shí)候，不存在梯度飽和問題。
2. 計(jì)算速度要快很多。ReLU函數(shù)只有線性關(guān)系，不管是前向傳播還是反向傳播，都比sigmod和tanh要快很多。（sigmod和tanh要計(jì)算指數(shù)，計(jì)算速度會(huì)比較慢

缺點(diǎn)：

1. 當(dāng)輸入是負(fù)數(shù)的時(shí)候，ReLU是完全不被激活的，這就表明一旦輸入到了負(fù)數(shù)，ReLU就會(huì)死掉。這樣在前向傳播過程中，還不算什么問題，有的區(qū)域是敏感的，有的是不敏感的。但是到了反向傳播過程中，輸入負(fù)數(shù)，梯度就會(huì)完全到0，這個(gè)和sigmod函數(shù)、tanh函數(shù)有一樣的問題。
2. 我們發(fā)現(xiàn)ReLU函數(shù)的輸出要么是0，要么是正數(shù)，這也就是說，ReLU函數(shù)也不是以0為中心的函數(shù)。

四、elu函數(shù)

image.png

ELU函數(shù)是針對(duì)ReLU函數(shù)的一個(gè)改進(jìn)型，相比于ReLU函數(shù)，在輸入為負(fù)數(shù)的情況下，是有一定的輸出的，而且這部分輸出還具有一定的抗干擾能力。這樣可以消除ReLU死掉的問題，不過還是有梯度飽和和指數(shù)運(yùn)算的問題。

五、prelu函數(shù)

image.png

PReLU也是針對(duì)ReLU的一個(gè)改進(jìn)型，在負(fù)數(shù)區(qū)域內(nèi)，PReLU有一個(gè)很小的斜率，這樣也可以避免ReLU死掉的問題。相比于ELU，PReLU在負(fù)數(shù)區(qū)域內(nèi)是線性運(yùn)算，斜率雖然小，但是不會(huì)趨于0，這算是一定的優(yōu)勢吧。

PReLU的公式里面的參數(shù)α一般是取0~1之間的數(shù)，而且一般還是比較小的，如零點(diǎn)零幾。當(dāng)α=0.01時(shí)，我們叫PReLU為Leaky ReLU，算是PReLU的一種特殊情況吧。

六、python code:

# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt

#Sigmoid函數(shù)
def sigmoid(x):
    return 1/(1+np.exp(-x))

#tanh 函數(shù)
def tanh(x):
    return ((np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x)))

#  a if a>b else b先執(zhí)行中間的if，如果返回True，就是左邊，F(xiàn)alse是右邊。
#relu函數(shù)
def relu(x):
    # return np.fmax(0,x)
    return np.where(x<0,0,x)

#elu函數(shù)
def elu(x):
    a=0.2
    return np.where(x>0,x,a*(np.exp(x)-1))

#prelu函數(shù)
def prelu(x):
    a=0.3
    return np.maximum(a*x,x)

x=np.linspace(-10,10,10000)
y1=sigmoid(x)
y2=tanh(x)
y3=relu(x)
y4=elu(x)
y5=prelu(x)
plt.figure(12)
plt.subplot(321)
plt.plot(x,y1)
# plt.title('sigmoid')

plt.text(-8, 0.8, u"sigmoid", color="blue", fontsize=12)
plt.subplot(322)
plt.plot(x,y2)
# plt.title('tanh')
plt.text(-8, 0.8, u"tanh", color="blue", fontsize=12)

plt.subplot(323)
plt.plot(x,y3)
# plt.title('relu')
plt.text(-8, 8, u"relu", color="blue", fontsize=12)

plt.subplot(324)
plt.plot(x,y4,label='elu')
# plt.title('elu',fontsize=12)
plt.text(-8, 8, u"elu", color="blue", fontsize=12)

plt.subplot(313)#3行1列第第3行
plt.plot(x,y5)
# plt.title('prelu')
plt.text(-8, 8, u"prelu", color="blue", fontsize=12)

plt.show()

七、各函數(shù)曲線圖：

image