增强拉格朗日乘子法的作用是用来解决等式约束下的优化问题,
假定需要求解的问题如下:
minimize f(X)
s.t.: h(X)=0
其中,f:R->R; h:R->R
朴素拉格朗日乘子法的解决方案是:
L(X,λ)=f(X)+μh(X); μ:R
此时,求解L对X和μ的偏导同时为零就可以得到最优解了。
增强拉格朗日乘子法的解决方案是:
L(x,λ)=f(X)+μh(X)+/c|h(X)|
每次求出一个xi,然后按照梯度更新参数μ,c每次迭代逐渐增大(使用ALM方法好像还有一些假设条件)
整个流程只需要几步就可以完成了,一直迭代就可得到最优解了。
参考文献:
[1]Multiplier and Gradient Methods,1969
[2]constrained optimization and lagrange multiplier methods(page 104),1982