神经网络常见激活函数求导

神经网络常见激活函数求导推导

1.求导公式

2.sigmoid函数

• 原函数
  s i g m o i d ( x ) = 1 1 + e − x \begin{align} sigmoid(x) &= \frac{1}{1 +e^{-x}}\notag \end{align} sigmoid(x)​=1+e−x1​​
• 求导过程
  s i g m o i d ′ ( x ) = ( 1 1 + e − x ) ′ = 0 − ( 1 + e − x ) ′ ( 1 + e − x ) 2 = e − x ( 1 + e − x ) 2 = 1 + e − x − 1 ( 1 + e − x ) ( 1 + e − x ) = 1 + e − x − 1 ( 1 + e − x ) . 1 ( 1 + e − x ) = 1 − 1 ( 1 + e − x ) . 1 ( 1 + e − x ) = 1 − s i g m o i d 2 ( x ) \begin{align} sigmoid'(x) &= (\frac{1}{1 +e^{-x}})'\notag \\&=\frac{0-(1 +e^{-x})'}{(1 +e^{-x})^2}\notag \\&=\frac{e^{-x}}{(1 +e^{-x})^2}\notag \\&=\frac{1+e^{-x}-1}{(1 +e^{-x})(1 +e^{-x})}\notag \\&=\frac{1+e^{-x}-1}{(1 +e^{-x})}.\frac{1}{(1 +e^{-x})}\notag \\&=1-\frac{1}{(1 +e^{-x})}.\frac{1}{(1 +e^{-x})}\notag \\&=1-sigmoid^2(x)\notag \end{align} sigmoid′(x)​=(1+e−x1​)′=(1+e−x)20−(1+e−x)′​=(1+e−x)2e−x​=(1+e−x)(1+e−x)1+e−x−1​=(1+e−x)1+e−x−1​.(1+e−x)1​=1−(1+e−x)1​.(1+e−x)1​=1−sigmoid2(x)​

3.Tanh函数

• 原函数
  T a n h ( x ) = e x − e − x e x + e − x \begin{align} Tanh(x) &=\frac{e^x-e^{-x}}{e^x+e^{-x}}\notag \end{align} Tanh(x)​=ex+e−xex−e−x​​
• 求导过程
  T a n h ′ ( x ) = e x − e − x e x + e − x ) ′ = ( e x − e − x ) ′ ( e x + e − x ) − ( e x − e − x ) ( e x + e − x ) ′ ( e x + e − x ) 2 = ( e x + e − x ) ( e x + e − x ) − ( e x − e − x ) ( e x − e − x ) ( e x + e − x ) 2 = ( e x + e − x ) 2 − ( e x − e − x ) 2 ( e x + e − x ) 2 = 1 − ( e x − e − x ) 2 ( e x + e − x ) 2 = 1 − ( e x − e − x e x + e − x ) 2 = 1 − T a n h 2 ( x ) \begin{align} Tanh'(x) &=\frac{e^x-e^{-x}}{e^x+e^{-x}})'\notag \\&=\frac{(e^x-e^{-x})'(e^x+e^{-x})-(e^x-e^{-x})(e^x+e^{-x})'}{(e^x+e^{-x})^2}\notag \\&=\frac{(e^x+e^{-x})(e^x+e^{-x})-(e^x-e^{-x})(e^x-e^{-x})}{(e^x+e^{-x})^2}\notag \\&=\frac{(e^x+e^{-x})^2-(e^x-e^{-x})^2}{(e^x+e^{-x})^2}\notag \\&=1-\frac{(e^x-e^{-x})^2}{(e^x+e^{-x})^2}\notag \\&=1-(\frac{e^x-e^{-x}}{e^x+e^{-x}})^2\notag \\&=1-Tanh^2(x)\notag \end{align} Tanh′(x)​=ex+e−xex−e−x​)′=(ex+e−x)2(ex−e−x)′(ex+e−x)−(ex−e−x)(ex+e−x)′​=(ex+e−x)2(ex+e−x)(ex+e−x)−(ex−e−x)(ex−e−x)​=(ex+e−x)2(ex+e−x)2−(ex−e−x)2​=1−(ex+e−x)2(ex−e−x)2​=1−(ex+e−xex−e−x​)2=1−Tanh2(x)​

4.ReLU函数

• 原函数
  R e l u ( x ） = { x x ≥ 0 0 x < 0 \begin{align} Relu(x）=\begin{cases} x & x\geq0 \\ 0 & x <0 \end{cases}\notag \end{align} Relu(x）={x0​x≥0x<0​​
• 求导
  R e l u ′ ( x ) = { 1 x ≥ 0 0 x < 0 Relu'(x) =\begin{cases} 1 & x\geq0 \\ 0 & x <0 \end{cases} Relu′(x)={10​x≥0x<0​