最小二乘法

最小二乘法（Least Squares Method）是一种数学优化技术，通过最小化观测值与模型预测值之间差的平方和来求解未知参数的最优估计值。该方法由德国数学家高斯于1795年提出，是现代测量平差和参数估计的理论基础。

基本思想

最小二乘法的核心思想是：对于一组带有随机误差的观测数据，寻找一组参数估计值，使得观测值与模型计算值之差的平方和达到最小。

数学表达为：

$\min \sum _{i=1}^n{v}_i^2=\min \sum _{i=1}^n(L_i-F(X_i,\theta ){)}^2$

其中：

• $L_i$ 为第$i$个观测值
• $F(X_i,\theta )$ 为模型计算值
• $v_i$ 为残差（观测值与计算值之差）
• $\theta$ 为待估参数
• $n$ 为观测值个数

数学原理

线性最小二乘法

对于线性模型 $\mathbf{𝐋}=\mathbf{𝐀}\mathbf{𝐗}+\mathbf{𝐕}$，其中：

• $\mathbf{𝐋}$ 为观测值向量
• $\mathbf{𝐀}$ 为设计矩阵
• $\mathbf{𝐗}$ 为未知参数向量
• $\mathbf{𝐕}$ 为残差向量

最小二乘准则要求：

${\mathbf{𝐕}}^T\mathbf{𝐕}=\min$

通过求导并令其为零，得到法方程：

${\mathbf{𝐀}}^T\mathbf{𝐀}\mathbf{𝐗}={\mathbf{𝐀}}^T\mathbf{𝐋}$

当 ${\mathbf{𝐀}}^T\mathbf{𝐀}$ 可逆时，参数的最优估计为：

$\widehat{\mathbf{𝐗}}=({\mathbf{𝐀}}^T\mathbf{𝐀}{)}^{-1}{\mathbf{𝐀}}^T\mathbf{𝐋}$

加权最小二乘法

当观测值具有不同的精度时，引入权矩阵 $\mathbf{𝐏}$，准则变为：

${\mathbf{𝐕}}^T\mathbf{𝐏}\mathbf{𝐕}=\min$

相应的法方程为：

${\mathbf{𝐀}}^T\mathbf{𝐏}\mathbf{𝐀}\mathbf{𝐗}={\mathbf{𝐀}}^T\mathbf{𝐏}\mathbf{𝐋}$

参数估计为：

$\widehat{\mathbf{𝐗}}=({\mathbf{𝐀}}^T\mathbf{𝐏}\mathbf{𝐀}{)}^{-1}{\mathbf{𝐀}}^T\mathbf{𝐏}\mathbf{𝐋}$

在测绘学中的应用

测量平差

最小二乘法是测量平差的理论基础，用于处理多余观测，提高测量成果的精度和可靠性。主要应用于：

• 水准网平差
• 导线网平差
• 三角网平差
• GPS网平差

坐标转换

在不同坐标系间进行转换时，利用最小二乘法求解转换参数：

${\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{\text{新}}=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]}_{\text{旧}}+\left[\begin{array}{c}\mathrm{\Delta }X\\ \mathrm{\Delta }Y\\ \mathrm{\Delta }Z\end{array}\right]$

曲线拟合

对地形、地物进行数学建模时，采用最小二乘法进行曲线和曲面拟合：

• 多项式拟合
• 样条函数拟合
• 趋势面分析

误差椭圆计算

通过最小二乘法求得参数的协方差矩阵，进而计算点位误差椭圆参数：

${\mathbf{𝐃}}_{\hat{X}\hat{X}}={\sigma }_0^2({\mathbf{𝐀}}^T\mathbf{𝐏}\mathbf{𝐀}{)}^{-1}$

其中 ${\sigma }_0^2$ 为单位权方差。

精度评定

单位权方差估计

${\hat{\sigma }}_0^2=\frac{{\mathbf{𝐕}}^T\mathbf{𝐏}\mathbf{𝐕}}{n-t}$

其中 $n$ 为观测值个数，$t$ 为未知参数个数。

参数精度

参数 ${\hat{X}}_i$ 的中误差：

${\sigma }_{{\hat{X}}_i}={\hat{\sigma }}_0\sqrt{Q_{ii}}$

其中 $Q_{ii}$ 为协因数矩阵 ${\mathbf{𝐐}}_{\hat{X}\hat{X}}=({\mathbf{𝐀}}^T\mathbf{𝐏}\mathbf{𝐀}{)}^{-1}$ 的第 $i$ 个对角元素。

算法实现

直接解法

直接求解法方程，适用于小型问题。

迭代解法

对于大型稀疏矩阵，采用迭代算法：

• 高斯-赛德尔迭代
• 共轭梯度法
• 预条件共轭梯度法

正交分解法

• QR分解
• 奇异值分解（SVD）

优缺点

优点

• 数学理论严密
• 计算相对简单
• 具有良好的统计性质
• 适用于线性问题

缺点

• 对异常值敏感
• 要求观测值服从正态分布
• 对于非线性问题需要线性化
• 大型问题计算量较大

扩展方法

整体最小二乘法

考虑系数矩阵也存在误差的情况。

稳健估计

当观测值中存在粗差时，采用稳健估计方法：

• 丹麦法
• 赫尔默特法
• 四分位法

卡尔曼滤波

动态系统的递推最小二乘估计。

历史发展

• 1795年：高斯提出最小二乘法
• 1805年：勒让德独立发现并发表
• 20世纪：发展成为现代测量平差理论
• 计算机时代：算法不断优化，应用范围扩大

相关条目

• 测量平差
• 误差理论
• 参数估计
• 矩阵代数
• 协方差矩阵