注意: 1.大多情况下使用Relu激活函数这种激活函数计算快,且在梯度下降中不会卡在plateaus(平稳段),对于大的输入,也不会饱和。 2.logistic function和hyperbloic tangent funcation会饱和在1。