我需要陷入前馈神经网络的局部最优中。我需要一个示例和权重的初始化，使用它最陡峭的梯度下降将陷入局部最优状态（每个维度的边界权重都在一定范围内）。我找不到这样的示例，至少看起来是这样，因此无法测试新算法。
任何人都可以指向一些文档，资源，或者为我提供一个如何陷入局部最优的示例。
最佳答案
让我们分析“陷入局部最优”的含义。看看SARPROP paper。 SARPROP是一种用于前馈神经网络的学习算法，其确切目的是避免陷入局部最优状态。看一下链接文档第3页上的图1。它显示了有关一个单一砝码的误差面。在训练的早期步骤中，此错误表面将迅速改变。但是，一旦算法更趋于收敛，关于一个权重的该误差面就会稳定下来。现在，如果您的学习算法无法将重量“推”到“山坡”上以达到更好的最佳状态，则您将无法确定某个特定权重。 SARPROP尝试通过在原始RPROP涉及的权重更新中添加正噪声来解决此问题。因此，该算法有机会从此类“谷”中退出。
现在，要构造局部最优值的收敛性，您应该计算一组随机权重，这些权重在下面保持固定。现在使用已知快速收敛于局部最优值的学习算法，例如RPROP。然后，使用相同的权重初始化并应用SARPROP或新算法。然后比较网络收敛后，您的训练数据上的均方根误差。进行数百次权重初始化，然后应用统计信息。