梯度下降法的概念： 下面介绍几种常见的梯度下降算法优化方法。 在深度学习中，一般采用SGD训练（随机梯度下降），即每次训练在训练集中取batchsize个样本训练； 为什么我们必须要使用梯度下降法？ 常用的激活函数： 优化函数：