众所周知,对于严格凸问题,bfgs优化算法是超线性收敛的,但对于非严格凸问题是否有分析。例如,假设f(x)对于某个标量x是凸的,然后,假设我们在g(x1,x2)=f(x1+x2)上进行优化这仍然是超线性收敛吗?
最佳答案
bfgs在非凸问题上是否收敛仍然是一个悬而未决的问题。事实上,在1984年鲍威尔给出了一个反例,表明用不精确的线搜索搜索的bfgs可以
无法聚合。可以做的是局部声明,例如:给定局部极小值x*,如果最终进入x*bfgs附近的空间区域,bfgs将超线性收敛。其原因是在x*附近,目标函数可以用凸二次型精确建模。
至于你给出的构图函数是什么,我不确定。有关BFGS特性的详细说明,请参见Dennis和Schnabel或Nocedal和Wright。
祝你好运。