最小二乘原理在线视频

这一讲，我们来学习最小二乘原理

首先，我们来看一下，为什么要用最小而成原理呢？

前面我们提到了，测量平差在完成两大任务的时候涉及到函数模型的求解

通过分析前面提到的五中模型，我们会发现

这些方程里面所有的方程数都要比方程里面未知量的个数要少

所以，单纯从函数模型的角度来说,是没有办法去唯一解的

那如何来处理呢？就要用到最小二乘原理

下面我们就以确定三角形的形状为例，按照条件平常模型来看，如何来求解？

首先，要列出它的条件方程

我们看n=3、t=2、r=1，列出的条件就是通过三角形内角和条件，列出来的真值条件方程

真误差的形式也很容易写出来，W就是它的闭合差

真正求解的时候，由于我们观测数值有限，那么只能求它的估值，我们把它写成改正数的形式

假设给出L1、L2、L3的数值，就可以把W的计算出来等于9秒

所以，改正数方程就是v1+v2+v3 --> 9=0，这就是它的函数模型，那么怎么样把v1、v2、v3求出来呢？

其实我们看一下，v1、v2、v3我们可以有很多组组合

我们下表可以列出很多组组合，这只是其中的三种，哪一组改正数是最优的呢？

我们就要涉及到最优化准则，这个最优化准则就是最小二乘原理

我们看一下最小二乘原理到底是怎样来做的？以这样一个实例来说

对某匀速运动质点做如下实验，经过一定的时间记录一次质点的位置，就会得到下表一系列的数据

那现在让我们通过这一系列的数据确定任意时刻t该质点的位置，那怎么确定呢？

那我们会想，如果我能够得到，关于它的位置和时间对应的一个函数模型的话

是不是我带入一个t就可以算出一个位置？没错，那我们看表格中的这些数据

以t为横轴、位置为纵轴，就可以得到这8个点，这8个点就对应它的时间和位置了

要确定这个函数模型的话，我看它类似像一个线性模型对不对？

一般的线性函数我们可以怎么来表达，对y=α+t*β，我们在这把α设为初始位置，β设为平均速度

那么α和β如果确定了，是不是直线的表达式就确定了？它的函数模型就确定了

现在我们关键问题是怎么样来找α和β？这是两个未知数对不对？

那我们想按照我们前面必要观测的原理，两个未知数，是不是两个方程就可以解出来了？

那我可以取其中的两个点1和2，代入到这个模型里面，是不是就有两个方程，很容易解出α和β的值

那就得到这样一条直线，1和2对应的直线

但我们反过来想，我任取两个点是不是都可以得到这样的直线？

那么这些，是不是都可以表达这个运动模型呢？

我们以第1个为例，把它延长，这就是这条直线模型嘛

但我们会发现那个时间点，按照这个模型算出来的位置和我们记录的位置会有一个偏差

我们把这个偏差叫做什么呢？改正数，比如说模型估计值和实际观测值之差，我们记为改正数，

我们得到的这个模型，希望它能够更好的和我们记录的这些数据拟合到一块

那也就是说我们需要一个准则，对α和β进行估计，从而获得一条直线使它最佳拟合于各观测点

很显然我们刚刚算出来的1、2点对应的这个模型，偏差有点大，那怎么样才是最佳呢？

比如说这样一个准则，也就是说最佳的要求就是各观测点到直线的偏差平方和最小

我们让他们偏差平方和最小，那这个要求其实也就是最小二乘原理的最佳要求

我们看我们任意带入一个我们刚才记录的数据就可以得到左侧这8个模型

这8个改正数，它们的平方和如果达到最小的情况下，那么我们再估计出α和β

这个α和β应该就是比较合适的了，也就是满足v的平方和最小，得到这样一个直线

所以,满足上述条件下解出的参数的估值α和β，这就是最小二乘估计，也是最小二乘原理

由于我们这个v也可以写成矩阵的向量的形式，那么这里面的α和β是参数向量

我们定义参数向量，它对应一个8×2的系数正积为B，还有就是常数项积为Y，它可以写成V=BX^ --> Y的形式

那么刚才的平方和最小二乘原理表达式也可以写成矩阵表达，VTV=min，这就是最小二乘原理的思路

在测量里面的观测值都满足正态分布的，这样我可以用最大似然估计来间接地推出最小二乘原理

测量里面的观测值都符合这样的正态分布，一系列的观测值构成观测向量，它的期望以及它的方差阵

那么它们这一系列的观测向量可以组成这样一个似然函数，要想求这个似然函数的极值

那我们看一下，它要有极大值，其实谁要有极小值，那这里面的上角标应该有个最小值是吧？

那在这里面我们看L --> μL，也就是说观测值减去它的期望，这里面只含有偶然误差呀，

所以我们就可以把这个L --> μL，然后记为负Δ，那这样的话，这一项里面我们就可以给到表示成Δ的形式

而所以呢，我们说概率密度分布函数达到极大的条件下，对Δ进行估计也就是极大似然估计了

那我们再看一下，ΔT*D --> 1*Δ有最小，它有最小值能够进行极大自然估计

那这里面的D是谁呢?D就是观测向量的方差 --> 协方差阵，而我们要找D的逆

而前面我们说，观测向量它的方差 --> 协方差阵啊，很难直接得到

那我们一般根据随机模型可以看出方差阵与权阵是有关系的

而权我们是可以按经验定出来的，而这里面单位权方差又是常数

所以,我们可以把带有方差阵的这个表达式,表达成带有权阵的表达式,它们两个求极值是具有一样的特点

而Δ真误差往往我们是不知道的，我们经常是用改正数来近似表达真误差

这个表达式又表达成了V之间的关系,对VTPV求最小,所以这就由极大自然估计推出了最小二乘原理的结论

我们一般都说最小二乘估计和最大似然估计在测量平差里面是一致的

可以由最大自然估计推出最小二乘估计这个表达式

刚才我们这个引例里面给出的是V的转置乘以V有最小，而极大似然估计我们推出来的是什么呢？

是V的转值乘以P乘以V有最小，它们之间差了一个什么?差了一个P，也就是权阵

那它们怎么样才能一致啊？这个权阵它起了一个什么作用呢？

这个权阵在前面提到过，它就是协因数阵的逆阵，

当观测值相互独立的时候，我们知道权阵是的对角阵，那么协因数阵也是个对角阵

所以权阵里面的Pi元素就是观测值的权，它等于协因数的倒数，这时权阵就可以这样来定了

而当观测值彼此相关的时候，权阵就不是对角阵了，对应的它应该是协因数阵的逆阵

所以，这时我们前面说权阵与协议数阵关系的时候也提到，这时的Pi不具有观测值的权的意义

当然如果此时观测值的是等精度的呢，权阵就是一个单位阵了

如果是单位阵的话，我们想VTPV是不是就可以表达成VTV，这就一致了

所以我们前面给出的引例的VTV有最小，是因为它是等精度的，记录了它们的实时的位置

所以我们说它通用的形式，最小二乘原理的通用表达应该是VTPV等于最小，P代表了各个观测值的权

下面我们看一下，这个引例怎么应用最小二乘原理来解决

刚才呢，我们列出了它的函数模型，也就是∑v --> 9=0，那怎么样求出它的解呢？

应用最小二乘原理，V的转置乘以权阵乘以V等于最小

那在这儿我们可以给它写成纯量的形式，权阵是单位阵，那就是 v1^2 + v2^2 + v3^2 有最小值

好 那怎么样应用最小二乘原理继续求解呢？

我们看 这个最小值里面的所有的改正数是不是都要满足上面的这个条件方程啊？

所以这个最小二乘原理对应的求最小值是有条件的，这个其实就是我们数学里面的拉格朗日条件极值

我们就要构造一个极值函数，这个极值函数引入乘系数λ，把条件方程对应的条件引进来

这1个方程引入1个λ，我令λ等于 --> 2k，这主要是为了凑型

那么接下来，这个函数就变成了φ等于改正数平方附以条件的形式

那在这里面我们看，它要有极值，那有极值的话，函数有极值则对函数求偏导是不是应该等于0？

这是我们高数里面的基础知识，这样等于0的话 对每一个改正数都求偏导数，就会有三个这样的方程

这三个方程在我们刚才的条件方程组合起来是四个方程 那现在我们有四个方程了

四个方程 未知量有多少个呢？有三个改正数和一个联系数k，是不是方程数等于未知量的个数？

这就可以求解。求解的时候，我们把v与k的关系转换之后，把v用k来表达 带入到原来的方程里去

最终能求出改正数分别都是3秒，进而我们就可以算出 观测值的平差值

那从这个结论我们也看出了，这个改正数由于我们观测值等精度观测，其实它就是一个平均分配

以上我们就学习了最小二乘的基本原理

以及它和最大似然估计之间的关系，并辅以实例进行了巩固

下一节，我们会结合测量工作中的实例，对最小二乘原理进行实际应用的讨论，谢谢！