拉格朗日乘子法：对于等式约束的优化问题，求取最优值。
KKT条件：对于含有不等式约束的优化问题，求取最优值。
最优化问题分类：
（1）无约束优化问题：
常常使用Fermat定理，即求取的导数，然后令其为零，可求得候选最优值。
（2）有等式约束的优化问题：，
使用拉格朗日乘子法，把等式约束用一个系数与写为一个式子，称为拉格朗日函数
。再通过对各个参数求取导数，联立等式进行求取最优值。
(3)有不等式约束的优化问题。，
，
.
把所有的不等式约束、等式约束和目标函数全部写为一个式子：。
KKT条件的最优值必须满足以下条件：
1、对
求导为零；
2、
3、。