最小二乘法公式推导
最小二乘法公式推导
最小二乘法是一种常用的数学优化方法，广泛应用于数据拟合、参数估计等领域。本文将从基本原理出发，通过详细的公式推导，介绍最小二乘法的核心思想，并结合实例说明其具体应用。
引入
最小二乘法是利用拟合函数与实测数据之间的误差的平方，计算函数的最优系数的方法。现举例说明最小二乘法估计过程。
如图所示，现有5组数据满足线性关系y=ax+b，想要得到该线性关系的最优系数，就要使这5个点到拟合直线的距离最小，也就是5个点到直线的总偏差最小，即使
对于式（1）的平方处理，可以将求最小的误差和转变成求极值的问题，而平方处理后，达到极值的条件不会改变，因此求出的最佳拟合系数a和b的值不变，因此，只需要对式（1）中的a和b分别求偏导，即可得到
（2）
（3）
联立式（2）、（3）即可解出最优估值a和b
与实例结合
以单点定位方程为例，其单点定位公式（以单频为例）可以用几个向量表示，如：
（4）
其中，
,n表示卫星数，P表示观测值，
, a,b,c分别为星站距的方向余弦，
, 从左至右分别为接收机的三维坐标改正(米，m)，以及接收机钟差（米，m）
将式（4）写成式（1）的形式，即将L移到等号右侧，可得
（5）
其中V可以表示为，拟合线与测量值之间的误差，其平方项可表示为
(6)
若想求最优解，依旧要对式（6）求X的偏导数，此处涉及到向量求偏导数
（7）
将式（7）展开，X单独放在等号的一侧，即可得到X的最优估值
（8）
在实际定位中，因为每个观测值受到的噪声干扰不一样，数据质量也不一样，所以要为每个方程设置权矩阵P，（最小二乘中使用的是权矩阵，卡尔曼滤波使用的是方差矩阵）
这表示卫星高度角越高，数据质量越好，权重越大
因此，式（5）可表示为
(9)
由式（9）重复（5）~（8）的推导过程
此时，P已经是平方后权矩阵了
因为P是对角矩阵，因此转置矩阵与原矩阵相同，可得
此时，可得到加权最小二乘估计的最优估值
注意
1、最小二乘的中心思想就是，使观测值与拟合函数计算值的误差总和最小
2、平方可以去点绝对值，但是不会改变曲线取最值的条件（条件即为所求的最优估值）
3、最小二乘一般只用于线性的凸函数，故而只有一个最值，如果是非线性或者有多个最值，则需要进行其他处理
4、经典最小二乘只考虑了观测值的随机误差，其中，该最小二乘模型还有几种假设需要符合：
（1）观测误差的数学期望为0，即只含有偶然误差；
（2）其权阵为对角阵，也就是观测值相互独立；
（3）系数矩阵B为列满秩，即有必要的起算数据，即法方程可以求逆；
（4）估计的参数X认为不具有随机性，是确定的。