在神经网络中，“梯度下降”会查看整个训练集，以计算梯度。成本函数随着迭代次数而减少。如果成本函数增加，通常是由于错误或学习率不适当。
相反，随机梯度下降可计算每个训练样本上的梯度。我想知道，即使实现正确且参数经过适当调整，成本函数是否也可能从一个样本增加到另一个样本。我觉得成本函数的异常增量是可以的，因为梯度遵循单个样本的最小化，这可能与整个系统的收敛方向不同。
在随机梯度下降中是否期望成本函数增加？
最佳答案
从理论上讲，如果模型不是过度拟合或不足拟合，则梯度下降会随时间降低。但是，实际上这并非完全正确。在更现实的优化问题中，您会注意到成本函数实际上非常嘈杂。它将有很多高峰，并且看到实际的下降趋势变得困难。为了查看趋势，您必须计算移动平均值，以便信号变得更清晰，并查看成本函数是在减少还是在增加。希望这可以帮助。
关于machine-learning - 随机梯度下降增加了成本函数，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50360138/