最优化理论基础：凸集与凸函数及其定理证明
最优化理论基础：凸集与凸函数及其定理证明
最优化理论是数学和工程领域的重要分支，其中凸集与凸函数的概念是其基础。本文将系统地介绍凸集的定义、几何意义及相关定理，以及凸函数的定义、性质和相关定理证明，帮助读者建立最优化理论的基础知识体系。
凸集的定义
设有D∈Rn，如果对任意的x,y∈D与任意的α∈[0,1]，都有：
αx + (1-α)y ∈ D，
那么称D为凸集。
凸集的几何意义
若两个点属于此集合，则这两个点上的任意一点均属于此集合。
有关凸集的性质
凸集的加减数乘交集之后还是凸集，其中加需要两个凸集是临接的。
定理1.4.2
下面这个定理比较容易理解：在一个集合D内，若对于任意个集合内的元素，他们的线性组合在集合内且线性组合的值之和为1，那么这个集合D是凸集。
这是理解方法：
内点、边界点和闭包的定义
- 内点：对于一个点x，若存在一个以其为中心的邻域，这个邻域属于凸集D，那么称x为内点。
- 边界点：对于一个点x，其任意小的邻域，都会既包含D中的点，又会包含D以外的点，那么这个点就叫做边界点。
- 闭包：
定义1.4.3：超平面的定义
在这里内积的大小的比较可以看成x,y在α上的投影的大小的比较，因为α的范数可以约掉。
定理1.4.3（投影定理）
设D是n维线性空间里的非空闭凸集，y是一个n维向量，但是y不在D里面，那么在D中就会存在一个唯一的点c：
y与c的连线是距离是y到D的最小距离，并且
点c是y到D的最小距离点的充要条件是：D内任意一个点（除了c之外）减去c所形成的向量与c减去y所形成的向量的内积大于等于零。
很容易理解，当y不在D的“正上方”时，这个最小点一定是边界点。
定理1.4.4（点与凸集的分离定理）
凸集D，y不在这个D内，则存在一个非零n维向量α，一个常数β：
使得：α的转置乘以D内的任意一个n维向量小于或等于β，β一定小于α的转置乘以y。
两个向量的内积在这里要理解为（它本来就有这种几何意义）：一个向量在另一个向量的方向上的投影，再乘以这个方向上的那个向量的大小，在这里α转置由于在两边都有，所以可以约掉（或者是说不看这个α）。所以两个向量的内积的比较大小在这里就是比较被投影向量x、y在α上的投影的大小。
定理1.4.5（支撑超平面定理）
凸函数的定义
设D是非空集，f是定义在D上的函数，如果对任意的x1,x2∈D，均有在这两点之间的点的函数值小于等于这两点的加权函数值之和，那么称f为D上的凸函数。
定义1.4.5：水平集
设f是定义在D上的函数，则集合Da = {x | f(x) < α , x ∈D }称为Da为函数f的α水平集。
定理1.4.6
若D是非空凸集，f是定义在D上的凸函数，则对任意的α∈R，f的水平集Dα是凸集。
定理1.4.7
f(x)为凸函数的充要条件是对任意的x,y∈Rn，一元函数φ(α) = f(x + αy)是关于α的凸函数。
定理1.4.8
定理1.4.9
f(x)二阶连续可微，那么f(x)是D上的凸函数的充要条件是，f(x)的Hesse矩阵在D上是半正定的。
定理1.4.10
如果f(x)的Hesse矩阵在D上是正定的，则f(x)在D上是严格凸函数，反之若f(x)是严格凸函数，则f(x)的Hesse矩阵在D上是半正定的。