optimization - Keras 中的 Adam 优化器是否有动量选项？

Closed. This question does not meet Stack Overflow guidelines 。它目前不接受答案。












想改善这个问题吗？更新问题，使其成为 Stack Overflow 的 on-topic。

1年前关闭。



Improve this question




问题说明了一切。由于 Adam 在大多数数据集上表现良好，我想尝试对 Adam 优化器进行动量调整。到目前为止，我只在 Keras 中找到了 SGD 的动量选项

最佳答案

简短回答: 没有 ，既不在 Keras 也不在 Tensorflow [编辑:见最后的更新]

长答案:正如评论中已经提到的，Adam 已经融入了一些类似动量的东西。以下是一些相关的佐证:

来自强烈推荐的 An overview of gradient descent optimization algorithms (也可用作 paper ):



来自 Stanford CS231n: CNNs for Visual Recognition :



请注意，有些框架实际上为 Adam 包含了一个 momentum 参数，但这实际上是 beta1 参数；这是 CNTK :



也就是说，有一篇题为 Incorporating Nesterov momentum into Adam 的 ICLR 2016 论文，以及作者在 Tensorflow 中的一篇 implementation skeleton - 但是不能对此提供任何意见。

更新 :Keras 现在确实包含一个名为 Nadam 的优化器，基于上述 ICLR 2016 论文；来自 docs :



它还作为贡献模块 NadamOptimizer 包含在 Tensorflow 中。

关于optimization - Keras 中的 Adam 优化器是否有动量选项？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/47168616/