目录
简述
深度学习神经网络的评估回归是一种用于评估网络性能的方法。
在回归问题中，神经网络被用于将输入数据映射到连续的输出。
模拟退火是一种用于训练深度学习神经网络的优化算法。
在模拟退火训练中，初始温度被设置为一个比较高的值，然后通过不断迭代降低温度，从而控制系统的状态在搜索空间中移动的程度。每次迭代中，根据能量差和当前温度计算一个概率，用于决定是否接受新的状态。这样，模拟退火算法可以在搜索空间中探索较广的范围，并有可能避免陷入局部最优解。
通过评估回归和模拟退火训练，可以有效地评估和优化深度学习神经网络的性能，从而提高网络的准确性和泛化能力。
评估回归
均方差（MSE）计算是评估回归机器学习的最常用方法。大多数神经网络、支持向量机和其他模型的示例都采用了MSE，如下公式所示：
在上面公式中，y[i]是理想输出，y[i]^是实际输出。均方差的本质是各个差的平方的均值。因为对单个差求平方，所以差的正负性不影响MSE的值。
你可以用MSE评估分类问题。
为了用MSE评估分类输出，每个分类的概率都被简单地看成数字输出。对于正确的类，预期的输出就是1.0，对于其他类，预期的输出则为0。如果第一类是正确的，而其他三类是错误的，则预期结果向量将如下：
这样，你几乎可以将任何回归目标函数用于分类。各种函数，如均方根（Root Mean Square，RMS）和误差平方和（Sum of Squares Error，SSE），都可以用于评估回归。
模拟退火训练
要训练神经网络，必须定义它的任务。目标函数（也称为计分或损失函数）可以生成这些任务。本质上，目标函数会评估神经网络并返回一个数值，表明该神经网络的有用程度。训练会在每次迭代中修改神经网络的权重，从而提高目标函数返回的值。
模拟退火是一种有效的优化技术，已在本系列的前文中提及，我们将回顾模拟退火，展示任意向量优化函数如何改善前馈神经网络的权重。
回顾一下，模拟退火的工作原理是首先将神经网络的权向量赋为随机值，然后将这个向量看成一个位置，程序会评估从该位置开始的所有可能移动。要了解神经网络权重向量如何转换为位置，请考虑只有3个权重的神经网络。在现实世界中，我们用x、y和z坐标来考虑位置。我们可以将任意位置写成有3个分量的向量。如果我们希望只在其中1个维度上移动，那么向量总共可以在6个方向上移动。我们可以选择在x、y或z维度上向前或向后移动。
通过在所有可用的维度上向前或向后移动，模拟退火实现其功能。如果该算法采取了最佳移动，那么将形成简单的爬山算法。爬山只会提高得分，因此，它也被称为贪心算法。为了达到最佳位置，算法有时需要移到较低的位置。因此，模拟退火很多时候有进两步、退一步的表现。
换言之，模拟退火有时会允许移动到具有较差得分的权重配置。接受这种移动的概率开始很高，而后逐渐降低。这种概率称为当前温度，它模拟了实际的冶金退火过程。
下图展示了模拟退火的整个过程。
前馈神经网络可以利用模拟退火来学习鸢尾花数据集。以下程序展示了这种训练的输出：
最初的随机神经网络，多类对数损失得分很高，即30。随着训练的进行，该值一直下降，直到足够低时训练停止。对于这个例子，一旦错误降至10以下，训练就会停止。
要确定错误的良好停止点，你应该评估神经网络在预期用途下的运行情况。