拉格朗日乘子和 KTT 条件的关系

1、拉格朗日乘子法（等式约束）

问题形式：最小化目标函数f(x)，满足h(x) = 0。

核心思想：在最优解 x∗ 处，目标函数的梯度 ∇f 必须与约束曲面的法向量平行。因为如果它们不平行，我们就可以沿着约束曲面“滑动”来进一步降低 f的值。

构造拉格朗日函数：L(x,λ)=f(x)+λh(x)。其中，λ称为拉格朗日乘子。

对拉格朗日求梯度（对 x 和λ）并设为零：

• ∇x​L=∇f(x∗)+λ∇h(x∗)=0 （平稳性条件）
• ∇λ​L=h(x∗)=0 (原始可行性条件)

 

2、KKT 条件​ （不等式约束与一般情况）

当问题包含不等式约束时，情况变得更复杂，KKT 条件是拉格朗日乘子法的推广。

问题形式：

• min f(x)
• st. gi​(x)≤0,i=1,…,m(不等式约束), hj​(x)=0,j=1,…,p(等式约束

构造广义拉格朗日函数​

$$\displaystyle{\displaylines{L(x,\lambda,\mu)=f(x)+\sum_{i=1}^{m}\lambda_{i}g_{i}(x)+\sum_{j=1}^{p}\mu_{j}h_{j}(x)}}$$