TensorFlow实现的激活函数可视化

书上的代码：

 # coding: utf-8

 # In[1]:

 import matplotlib.pyplot as plt

 import numpy as np

 import tensorflow as tf

 from pylab import *

 # In[19]:

 def show_activation(activation,y_lim=5):

     x=np.arange(-10., 10., 0.01)

     ts_x = tf.Variable(x)

     ts_y =activation(ts_x )

     with tf.Session() as sess:

         init = tf.global_variables_initializer()

         sess.run(init)

         y=sess.run(ts_y)

     ax = gca()

     ax.spines['right'].set_color('none')

     ax.spines['top'].set_color('none')

     ax.spines['bottom'].set_position(('data',0))

     ax.spines['left'].set_position(('data',0))

     ax.xaxis.set_ticks_position('bottom')

     ax.yaxis.set_ticks_position('left')

     lines=plt.plot(x,y)

     plt.setp(lines, color='b', linewidth=3.0)

     plt.ylim(y_lim*-1-0.1,y_lim+0.1)

     plt.xlim(-10,10)

     plt.show()

 # In[20]:

 show_activation(tf.nn.sigmoid,y_lim=1)

 # In[4]:

 show_activation(tf.nn.softsign,y_lim=1)

 # In[5]:

 show_activation(tf.nn.tanh,y_lim=1)

 # In[6]:

 show_activation(tf.nn.relu,y_lim=10)

 # In[7]:

 show_activation(tf.nn.softplus,y_lim=10)

 # In[8]:

 show_activation(tf.nn.elu,y_lim=10)

 # In[14]:

 a = tf.constant([[1.0,2.0],[1.0,2.0],[1.0,2.0]])

 sess = tf.Session()

 print(sess.run(tf.sigmoid(a)))

 # In[ ]:

sigmoid激活函数：

S(x)=1/(1+e)

优点在于输出映射在0-1内，单调连续，适合做输出层，求导容易。

缺点在于软饱和性，即当x趋于无穷大时，一阶导数趋于0，容易产生梯度消失，神经网络的改善缓慢或消失。

softsign激活函数：

tanh激活函数：

tanh(x)=(1-e)/(1+e)

也具有软饱和性，收敛速度比sigmoid快，但是仍无法解决梯度消失的问题。

relu激活函数：

f(x)=max(x,0)

缺点：当relu在x<0时硬饱和，即在负半轴，激活函数的一阶导数等于0。

优点：由于x>0时导数为1，所以relu能在正半轴保持梯度的不衰减，缓解梯度消失的问题。

但是随着训练的进行，部分落入硬饱和区，权重无法更新。

softplus激活函数：

relu的平滑版本f(x)=log(1+exp(x))

此外还有的激活函数如下数张图：

等等..............................................................................................

......................................................................................................

输入数据特征相差明显时，tanh效果较好，不明显时，sigmoid较好。二者在使用时需要对输入进行规范化，减少进入平坦区的可能。

relu是比较流行的激活函数，不需要输入量的规范化等...