6-5 最小二乘问题在线视频

同学们 大家好

欢迎来到MOOC课程

线性代数先修课

第六章 内积空间

6.5节 最小二乘问题

在本讲中

我们将考虑线性方程组的

第六个基本问题

也即解的近似问题

首先 我们将提出

近似解的标准问题

从而得到了所谓的

最小二乘解问题

其次 我们将给出

求出近似最优解的方法

也即 求解最小二乘问题的方法

最后 我们将列举几个

最小二乘解在实际问题中的应用

首先 我们来看问题的提出

也即近似解的标准

我们回顾一下

线性方程组的第六个基本问题

也即解的近似问题

具体地来说

假设非齐次线性方程组

由这样的矩阵形式给出

则当该方程组无解时

我们把它称为矛盾方程组

在一些实际问题当中

由于各种因素的干扰

和测量的误差的影响

使得方程组不一定存在精确解

但往往又需要

求得它的一组近似解

以便对实际情况的一般规律

进行估计和预测

于是可以考虑求出某种近似解

那么 应该采用

什么样的近似标准呢

本节我们就来讨论这个问题

我们仍然利用代数与

几何相结合的方法来考虑

首先 从代数上看

矛盾方程组无解一定满足

系数矩阵的秩不等于

增广系数矩阵的秩

进一步 如果我们把

A表示为列分块的形式

也即设它的列分别为α1…αn

则线性方程组的左边

就有如下向量表示的形式

如果当x1 x2…xn跑遍

全体实数时

向量X就跑遍了

整个n维向量空间

则上式就生成了Rm中的

一个子空间

我们把它记为

α1…αn生成的子空间

也即当X跑遍

全体n维向量的时候

AX表示的全体向量

那么我们都知道

这个空间实际上就是

A的列空间

我们把它记为ColA的形式

因此 从几何上看

矛盾方程组无解的原因

就是向量b不属于

系数矩阵A的列空间

于是 求近似解的问题

就相当于在A的列空间当中

找出一个向量使之

与原向量b最为接近

那么 这个近似的向量

应该如何寻找呢

好 如果我们设

b不属于A的列空间

并且记W为A的列空间

则从直观上看

W中最接近b的那个向量

就是向量b在W上的

正交投影向量

我们把它记为β

又因为β属于W

所以我们可以设

β是等于A乘X0的形式

则这个X0就是我们

所要求的近似解

把它表示为数学公式

就是这样的一个形式

两边取平方就得到了

一个等价的数学算式

从这个意义上讲

X0就是矛盾方程组的

最优的近似解

我们把它称为最小二乘解

求最小二乘解的问题

就称为最小二乘问题

这里说明一下

所谓的最小二乘

实际上是源于向量模长平方

是等于其分量的平方和

上述讨论是在直观意义下进行的

下面我们将给出严格的证明

说明正交投影向量β

确实是W当中与b最接近的向量

定理1 也即最佳逼近定理

设W是欧氏空间Rn中的子空间

对Rn中任意向量b

我们设b括号W为

b在W上的正交投影向量

则我们有下面的不等式成立

也即正交投影向量

和b之间的距离小于

b与W当中其他向量的距离

因此就说明了正交投影向量

确实满足这种最佳的逼近性质

下面我们来证明定理1

若向量b属于W

则它在W里的正交投影向量

就是它自己

则又因为我们说w不能等于b

则b与w的距离一定要

严格大于0

从而这种情形下结论成立

下面我们考虑b不属于W的情况

具体图像如下

并且我们把bW表示为

这样一条粉色的向量

于是b减去bW就属于

W的正交补空间

进一步我们设w是W当中

任意一个与bW不相同的向量

特别我们就知道

b减去bW一定要正交于bW-w

因为bW-w也是

子空间W里的一个向量

于是我们考虑由向量bW

以及向量w三个向量的终点

构成的三角形

也就是这里橘色的三角形

这是一个直角三角形

那么由勾股定理

我们就有这样一个等式

由于w≠bW

因此我们有bW-w的模长

要严格地大于0

把它代入上面勾股定理的等式

我们就得到了定理1当中的

不等式成立

从而我们就证明了最佳逼近定理

二 近似最优解的求法

最小二乘法

下面我们来讨论如何求

这个最优近似解

我们令β等于向量b到

W上的正交投影向量

并且把A表示为如下

列分块的形式

考虑向量b减去向量β

它与W也即A的列空间是正交的

因此我们得到b-β应该和

A的每一个列均正交

用标准内积表示出来

就可以写为这样的形式等于0

将上述n个式子按行排列起来

就可以得到这样的一个等式

进一步 我们就可以把

最左边这个列向量

表述成为A的转置

它们乘完以后应该

等于零向量

由于β是属于列空间的

所以我们可以把β

表示为A乘X0的形式

并且代入上式展开以后

就可以得到

A转置乘以A再乘X0等于

A转置乘以b的形式

也就是近似解X0要满足

这样一个非齐次线性方程组

通常我们把这样一个

线性方程组称为

原来方程的法方程

把上面的结果写为结论

就得到了如下的定理

对于矛盾的非齐次

线性方程组Ax=b

我们有

第一点 可用法方程的解作为

原矛盾方程的最小二乘解

第二点 法方程必然有解

且当A为列满秩矩阵的时候

A转置乘以A为可逆阵

于是法方程有唯一解

具体形式如下

需要说明的是

定理2已经给出了

求最小二乘解的方法

也即求解对应的法方程

并且在理论上保证了

法方程必然有解

所以在实际计算中

我们只须按一般

非齐次线性方程组的

求解步骤去计算

法方程的通解即可

下面我们就来证明定理2

先证第一点

之前的推导已经说明

原方程的最优近似解

就是法方程的解

下面我们来说明

法方程的解必为

原方程的最优近似解

设n维向量y满足法方程

也即A转置乘A再乘y

等于A转置乘以b

从而我们把它移到

等式的同一边

把A转置提出来以后

就得到了这样的一个等式

这个式子说明了

b-Ay与A的列向量均正交

从而就说明b-Ay这个向量

与A的列空间是正交的

进而有这样一个分解式

我们可以把b分解为

Ay再加上b-Ay的形式

其中Ay是A的列空间里的向量

而b-Ay是属于A的

列空间的正交补空间

那么由正交分解的唯一性

我们就知道了

则Ay就必然等于

b在A的列空间上的

正交投影向量

因此y就是原方程的

最小二乘解

即最优近似解

下面我们来证

法方程必然有解

要证法方程必有解

则只需证其系数矩阵的秩

等于增广系数矩阵的秩

也即这两个矩阵的秩相等

一方面由秩的性质

我们有增广系数矩阵的秩

等于把A的转置都提出来以后

得到的这个矩阵的秩

那么又由矩阵乘积的秩

小于各自的秩

我们就知道了

它小于等于A转置的秩

而又等于A的秩

另外一方面

增广系数矩阵的秩

要大于等于系数矩阵的秩

而由5.1节中的例4的结论

我们可以知道

A转置乘A的秩要等于A的秩

这个结论我们是用

两个齐次线性方程组同解的

结论而得到的

那么综合上面的两个不等式

就得到了法方程的

系数矩阵的秩等于其

增广系数矩阵的秩

故法方程必然有解

进一步 又因为

A转置乘A为n阶方阵

当A列满秩的时候

我们就知道法方程的

系数矩阵为满秩矩阵

即为可逆矩阵

从而我们在法方程的两边

同时乘以其系数矩阵的逆

就可以得到其唯一解

是这样的形式

从而我们就证明了这个定理

下面我们来看一个简单的例子

例1 求出以下线性方程组的

最优近似解

首先这个方程组比较简单

两个方程的左边完全一样

但右边不相等

因此明显地是一个矛盾方程组

下面我们就来求这个

矛盾方程组的最优近似解

我们令系数矩阵A

和常数列向量b如下给定

从而我们可以去计算

A转置乘A等于

这样一个3阶矩阵

而A转置乘b就是

这样一个3维列向量

从而我们就知道了

法方程就是三个

这样的方程的重复

从而我们可以把它

简写为一个方程

即x+y+z=3/2

用高斯消元法

我们可以解得法方程的通解

也即原方程的最小二乘解

就是这样的形式

其中k1 k2为任意实数

下面我们从几何方面

来看例1的结果

在行图的观点下

最小二乘解的集合

是一个平面

与原来已知的两个平面平行

落在它们的中间且距离相等

这里红色箭头所指的

就是我们最小二乘解的解集合

在列图的观点下

最小二乘解左乘A以后

就应该等于常数向量的

正交投影向量

具体图像如下

其中黄色直线就是A的列空间

而红色的向量就是向量b

则我们很容易计算出

向量b在A的列空间的投影

就是这样的一个粉色的向量

它等于向量(3/2,3/2)

所以 也即这个向量就是

A的列空间当中

与b最接近的向量

需要注意的是

我们所求的最小二乘解

并不是列图当中的投影向量

而是左乘A以后等于

投影向量的全体向量

也即行图当中中间的那个平面

三 最小二乘解的应用

在一些实际问题里

人们想知道

某些变量之间的函数关系

可以通过实验获得数据

再从实验数据求出函数关系

这就是统计学中所谓的

曲线拟合或者是回归问题

我们从最简单的例子出发

来说明最小二乘的应用

例2 设有以下实验数据

第一行为自变量x的值

第二行为函数y的值

请大家求形如y=a+bx的函数

也就是一次函数

其中a b为待定参数

使它与实验数据的

误差平方和最小

下面我们就来求解这个问题

假设a b已经确定

则当自变量x=1 2 3 4 5时

则函数值y应该得到

如下的理论值

即将x=1 2 3 4 5分别代到

一次函数里所得到的值

我们把这些值记为

y1* y2*…y5*

进一步把这些方程组

表示为矩阵形式

就等于这样的形式

其中我们把这个矩阵记为A

而后面这个向量记为y*

从而可以把它简写为

A乘以向量a b等于向量y*

它们与实验数据的

误差的平方和是等于

这样的一个形式

即y*i减yi的平方再求和

把上式表示为向量内积的形式

且求最小值

就可以表示为这样的形式

而这个形式与我们之前

所给出的最小二乘解的形式

是一致的

从而求误差平方和最小值

就是求关于方程组

A乘a b等于y的最小二乘解

那么由于矩阵A是这样的形式

而向量y是由

实验数据的表格给出

且A明显为列满秩的矩阵

则由定理2的第二部分

我们分别去计算

A转置乘A等于这样的

一个二阶矩阵

A转置乘y等于这样的

一个二维向量

而求A转置乘A的逆是

这样的一个矩阵

最后 最小二乘解就应该

等于这样的一个向量

即a0=0.61 b0=0.51

代到一次函数里

就得到了y=0.61+0.51x

这个就是我们找到的

最优的拟合直线

求出以上最小二乘解后

我们来看拟合直线的图像

图像当中黑色的点

表示实验数据

而红色的直线表示

我们刚才得到的拟合直线

它与实验数据的

误差的平方和最小

例3 设有以下实验数据

求二次函数y=a+bx+cx^2

其中a b c为待定参数

使得它与实验数据的

误差平方和最小

与上例的分析相同

我们可以说明

使得误差平方和最小的

二次函数系数a0 b0 c0

构成的列向量

就是如下线性方程组的

最小二乘解

即这样的一个方程组

其中我们把

系数矩阵表示为A

它是一个5行3列的矩阵

而常数向量表示为向量y

它是一个5维的列向量

仔细观察一下系数矩阵A

我们会发现它的前三行

组成了一个范德蒙矩阵

根据我们第一章的结论

其行列式不等于0

所以A是一个列满秩的矩阵

由A是列满秩

因此我们可以利用

定理2的第二部分

分别去计算A转置乘A

A转置乘以向量b

以及A转置乘以A的逆矩阵

从而得到原方程组的

最小二乘解

就是这样的结果

所以误差平方和

最小的二次函数

就是y=3.64+1.35x+1.11x^2

具体拟合图像如下

其中黑色点表示实验数据

红色的曲线表示我们刚才

拟合出来的二次曲线

它与实验数据的

误差平方和最小

本讲小结

在本讲中

我们讨论了线性方程组的

最后一个基本问题

即对矛盾方程组的

解的近似问题

我们首先讨论了

近似最优解的标准

从几何方面

通过最佳逼近定理

我们说明

常数向量b在系数矩阵A的

列空间的正交投影

是那个最接近的向量

从而求解形如这样的最优解

称为最小二乘解问题

其次我们给出了

求最小二乘解的具体方法

它等价于求解对应的法方程

我们证明了法方程一定有解

从而可按一般

非齐次线性方程组的

求解步骤来计算

最后我们给出了

最小二乘解在实验数据

拟合的问题中的初步应用

实际上 最小二乘问题

在很多实际问题的模型中

有着广泛的应用

感兴趣的同学可以

参阅更多资料

本章小结

本章的核心目的

是在高维向量空间中

引入度量的概念

而最基本的两个度量概念

就是长度与夹角

然而 与2维3维空间

不一样的是

在高维空间中

我们恰恰是反过来

用内积去定义长度与夹角的

从而把定义了内积的

向量空间称为欧氏空间

接下来在欧氏空间中

我们重点讨论了

正交相关的一些问题

包括正交基

施密特正交化方法

正交矩阵 正交投影

正交分解等概念和结论

上述正交的概念和方法

在几何问题的处理中

为我们带来了很大的便利

由于高维空间中的几何对象

很难想象

故我们很多时候是用

代数的方式来推导和描述的

同学们切不可仅仅关注

代数方面的形式推导

而忽略了其中蕴含的几何背景

最后作为一个理论方面的应用

我们利用正交分解的

最佳逼近原理

解决了线性方程组的

最后一个基本问题

即解的近似问题

好 本章的内容就到这儿

我们下章再见