DFP

该算法的核心是：通过迭代的方法，对H近似。迭代方式：

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

其中D通常取为单位矩阵，关键是每一步构造矫正矩阵△D。

考虑△D 的待定形式为

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

拟牛顿的条件

这里插播一下拟牛顿的条件。

前面有讲到，拟牛顿法是想找到一个近似矩阵D来近似海森矩阵H的逆。显然D的选择是必须有条件的。为了表示清楚，下文B≈H,D≈H

设经过k+1次迭代后得到X,此时将目标函数在X附近作泰勒展开，取二阶近似，得到

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

对其两边作用一个梯度算子▽，可得

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

在上式中取X=X,并整理得到

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

若引入记号

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

则有

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP 或者

这就是所谓的拟牛顿条件对于我们的近似矩阵B或D则有

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

有了这个拟牛顿条件我们就能开始构造D了

结合两式：拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

则有

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

并且可以写成

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

由于拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP 和是两个数，且里面α和β在里面起到类似放缩的作用，不妨假设

即拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

其中u，v仍是待定的

可以得到拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

不妨直接取拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

则有拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

至此则有

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

注：这里的（1.13）公式为拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP

这里g表示一阶导。

拟牛顿法——DFP、BFGS、L-BFGS-LMLPHP 待更新！！