machine-learning - 应该在哪里插入Dropout。完全连接的层。卷积层。或两者。？

Closed. This question is opinion-based。它当前不接受答案。












想要改善这个问题吗？更新问题，以便editing this post用事实和引用来回答。

3年前关闭。



Improve this question




我想收到您关于在哪里插入Dropout的反馈？

它应该位于完全连接层(Dense)还是卷积层中？或两者。？

感谢您的提前反馈。

最佳答案

通常，将辍学放置在完全连接的层上是因为它们是具有大量参数的那一层，因此它们很可能过度地自我适配，从而导致过度拟合。

但是，由于它是一种随机的正则化技术，因此您实际上可以将其放置在任何地方。通常，它放置在具有大量参数的图层上，但是没有人拒绝您将其应用于卷积图层(相对于fc图层而言，参数的使用较少)。

此外，丢弃概率应根据所需正则化的影响进行更改。

经验法则是，当将压差应用于完全连接的层时，将保持概率(1-压降概率)设置为0.5，而当将其应用于卷积层时，将其设置为更大的数值(通常为0.8、0.9)。

只需注意:由于在每个机器学习框架中，辍学都是以其“倒置”版本实现的，因此您必须降低学习率，才能克服辍学概率给学习率带来的“助推”。
对其进行更全面的评估:https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/

关于machine-learning - 应该在哪里插入Dropout。完全连接的层。卷积层。或两者。？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/46841362/