优化问题中拉格朗日函数的意义

优化问题中拉格朗日函数的意义

引用

CSDN

1.

https://blog.csdn.net/itnerd/article/details/105063551

拉格朗日函数是优化理论中的一个核心概念，它提供了一种将约束优化问题转化为无约束优化问题的方法。本文通过一个具体的优化问题，详细解释了拉格朗日函数的构造方法及其在处理等式和不等式约束时的差异，帮助读者深入理解这一重要数学工具。

考虑优化问题：
$$
\begin{array}{ll}
\min_x & f(x) \
s.t. & c_1(x) = 0 \
& c_2(x) \geq 0
\end{array}
$$

构造拉格朗日函数：
$$
L(x,\lambda) = f(x) -\lambda_1 c_1(x) - \lambda_2 c_2(x)
$$

等式约束的对偶变量$\lambda_1$在拉格朗日函数中取正取负都行，但不等式约束的对偶变量$\lambda_2$在这里只能取正（$\lambda_2 > 0$或$-\lambda_2 <0$）。

为什么呢？

因为只有这样，在可行域$D={x| c_1(x) = 0, c_2(x) \geq0}$内，原目标函数$f(x)$是拉格朗日函数的一个上界，即
$$
\max_{\lambda} L(x,\lambda) = \left{
\begin{array}{lr}
f(x), & x \in D, \
+\infty, & otherwise.
\end{array}
\right. \tag{1}
$$

所以原优化问题等价于：
$$
\min_x f(x) = \min_x \max_\lambda L(x,\lambda)
$$

从中可以看出拉格朗日函数的意义，把约束问题转化成了无约束问题。

因为可行域内的值永远小于可行域外的正无穷大，在求极小值的时候一定能保证结果在可行域内。