首先，选择一个接近函数零点的
，计算相应的
和切线斜率
（这里
表示函数
的导数）。然后我们计算穿过点
并且斜率为
的直线和
轴的交点的
坐标，也就是求如下方程的解：
我们将新求得的点的坐标命名为
，通常
会比
更接近方程
的解。因此我们现在可以利用
开始下一轮迭代。迭代公式可化简为如下所示：
已经证明，如果是连续的，并且待求的零点
是孤立的，那么在零点
周围存在一个区域，只要初始值
位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果
不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。
from：http://blog.csdn.net/luoleicn/article/details/6527049
在上面讨论的是2维情况，高维情况的牛顿迭代公式是：
其中H是hessian矩阵，定义为：
高维情况依然可以用牛顿迭代求解，但是问题是Hessian矩阵引入的复杂性，使得牛顿迭代求解的难度大大增加，但是已经有了解决这个问题的办法就是Quasi-Newton methond，不再直接计算hessian矩阵，而是每一步的时候使用梯度向量更新hessian矩阵的近似。