Simulate Anneal模拟退火算法,是一种用于得到最优解的随机化算法。
如果可以打一手漂亮的随机化搜索,也许当你面对一筹莫展的神仙题时就有一把趁手的兵器了。
这篇题解将教你什么?SA的基本思路,什么时候能用SA。
标题是浅谈,所以本篇博客参杂了些许个人简介,若有疑问或异议,欢迎提出指正。
我也很感谢你们给出的建议,它们真的能让我变好、变强。
那么我们进入本篇正题。
1. 什么是模拟退火:
模拟退火是一种在广大的搜索空间寻找最优解的随机化算法。我们看名字就明白,这个算法实在模拟物理中退火的过程。知识很多时候都是相通的,我们学习的大部分知识都是有用的。
为什么通过模拟退火的过程可以得出最优解呢?在物理中,固体物质的退火过程和一般的组合优化问题有着很高的相似度。
2. 模拟退火基本要素:
满足这些你就可以将SA算法愉快地嵌入你的程序里了。
第一个要素就是状态空间和状态的产生函数,我们需要有一个搜索空间,而且范围较大。
什么是搜索空间呢?我们学习搜索的时候应该接触过,我们的搜索算法本质就是在问题的求解空间中进行遍历,寻找最优解。模拟退火的状态空间也类似,它就是我们自定义出来的最优解的有限集合。
我们光有状态空间还不够啊,我们真正需要的是状态。学函数的时候,老师就说过了,一个函数要有“域”。我们的状态空间就是状态产生函数的“域”。而我们如果想写一个好的退火,我们的搜索空间要足够大,足够让函数生成不同的新解。
第二个就是候选解,我们在状态空间内通过生成的随机数在一定密度内随机选择我们的候选解。
其实还有一条是概率分布,大部分采用均匀分布,少数情况我们会用到指数分布。
至于状态转移概率,我目前接触到的SA算法统统采用了Metropolis准则,我接下来会介绍它。
3. 模拟退火基本流程:
一. 由一个状态产生函数从当前解产生一个新解,一般采用增量构造(即由原解加上/减去产生函数产生的值)来得到。
二. 计算新解的目标函数差Δt'。
三. 判断新解是否被接受,
这里介绍Metropolis准则:若Δt'<0,我们接受它,否则以exp(-Δt'/T)的多项式概率接受它。
**T是我们模拟退火过程中的温度**
四. 当新解被接受时,用新解代替当前解,否则继续下一轮试验。
4. 模拟退火中的参数控制:
调参可以说是SA算法最难的部分,也是决定你的算法得分率的部分。
这里分享一下神仙FlashHu(LCT导师Orz)写SA时调参的经验,我总结了一下就是这样:
对于eps,可以根据数据范围和精度要求粗略得到eps的大概大小,手动微调可以得到最终的eps。
对于T和ΔT(温度的变化率,一般在0.95-0.99间),先开大一点跑出最优解,然后一边退火一边输出当前的T、ans等信息,大致感受解的下降速率,越均匀表示参数越好(神仙称之为观察法)
5. 注意事项:
SA可能会陷入当前解卡在局部最小的情况,也就是这样:
图中,红色是我们的当前解,蓝色是我们的最优解,红色的线代表SA算法得到的新解,我们会发现,如果参数不佳,我们就有可能出现卡在局部最优解的情况。本身算法的设计就有避免这一种情况,还记得吗?Metropolis准则,就算这不是最优解,我们也以一定概率接受它(答案不更新),就是为了防止这种情况,然而在参数不佳的情况下,它仍可能发生。所以我们要改进对温度的控制方式。
这里还是以那道经典到不能再经典的模拟退火模板做例题:平衡点/吊打xxx
这里直接贴上代码,关于算法中需要注意的地方我会打上注释。
#include<bits/stdc++.h>
#define down 0.997//ΔT,模拟徐徐降温
using namespace std;
inline int read(){
int data=,w=;char ch=;
while(ch!='-' && (ch<''||ch>''))ch=getchar();
if(ch=='-')w=-,ch=getchar();
while(ch>='' && ch<='')data=data*+ch-'',ch=getchar();
return data*w;
}
int n;
struct point{
int x,y,w;
}object[];//物体信息
double ansx,ansy,answ;//答案
double energy(double x,double y){//物理学知识:能量总和越小越稳定
double r=,dx,dy;
for(int i=;i<=n;i++){
dx=x-object[i].x;dy=y-object[i].y;
r+=sqrt(dx*dx+dy*dy)*object[i].w;//力臂乘重力
}
return r;
}
void SA(){
double t=3e3+;//初始温度要高
while(t>1e-){//exp略大于0
double ex=ansx+(rand()*-RAND_MAX)*t;
double ey=ansy+(rand()*-RAND_MAX)*t;
double ew=energy(ex,ey);
double de=ew-answ;
if(de<){//此答案更优
ansx=ex;ansy=ey;answ=ew;
}else if(exp(-de/t)*RAND_MAX>rand()){//Metropolis准则,以多项式概率接受
ansx=ex;ansy=ey;
}t*=down;//逐步降温
}
}
void solve(){
SA();SA();SA();SA();SA();
}
int main(){
n=read();
for(int i=;i<=n;i++){
object[i].x=read();object[i].y=read();object[i].w=read();
ansx+=object[i].x;ansy+=object[i].y;
}
ansx/=n;ansy/=n;//设平均值为初值
answ=energy(ansx,ansy);
solve();
printf("%.3lf %.3lf\n",ansx,ansy);
return ;
}
游戏结束。