6.3 最小二乘法在线视频

我们再回到求解线性方程组

我们说线性方程组Ax等于b有解

当且仅当常数向量b

落在系数矩阵A的列空间里

当常数向量b落在C（A）里时

b可以由A的列向量去线性表示

表示的系列

就被方程组的解X所表达出来

那么当方程组有解

特别地A是列满秩的时候

常数向量b被A的列向量的系数

是唯一的

也就对应着方程组有唯一的解

特别地的情况

当系数矩阵A是可逆时

有唯一解X等于(A＾-1)b

那么我们说线性方程组

Ax等于b没有解

那当且仅当常数向量b

不落在A的列空间里

此时呢我们想要去求近似解

我们关心什么样的近似解

我们关心误差向量的长度

来得最小的近似解

我们叫是最小二乘解

所以误差向量是指的

有了近似解x＾之后

常数向量b减掉Ax＾

这个向量我们叫误差向量

我们从图上容易看出来

C（A）是子空间

那么常数向量b

不落在C（A）里头

对应着线性方程组Ax等于b

没有解

那么我们找到一个近似解x＾

Ax＾是A的列向量的线性组合

所以Ax＾这个向量

是落在C（A）这个子空间中的

我们叫它是p向量

那么b减掉Ax＾

这个向量我们叫是误差向量

我们希望误差向量e的长度

来得最小

从这个图上可以看出来

当且仅当

e是垂直于子空间C（A）的

那我们又知道m维的向量空间

R＾m是写成A的列空间

正交直和上A的左零空间

如果误差向量垂直于A的列空间

那么也就是说误差向量

落在A的左零空间N（A＾T）里

那么也就是说

A＾T乘以e应该是等于0

那也就是A＾T

乘以（b - Ax＾）等于0

那么也就是A＾TAx＾

等于A＾Tb

这个方程就是之前

我们在介绍最小二乘法时的

所谓正规方程

如果线性线性方程组Ax等于b

没有解

我们关注最小二乘解

那么就转化成去求解正规方程

特殊的情况

如果系数矩阵A是列满秩时

也就是A的秩等于A的列数n

这时我们来看A＾TA

这个矩阵的秩是等于A的秩

等于n

那么我们再来重复说一下

A＾TA的秩等于A的秩

那么这件事情是因为

A＾TAx＝0

这个齐次线性方程组与Ax＝0

这个齐次线性方程组

是同解方程组

很容易看到Ax＝0

我们一定有A＾TAx＝0

那么A＾TAx＝0

我们两边去乘以x＾T

仍然是等于0

而这个式子就化成

Ax这个向量的模长平方等于0

那么一个向量的长度平方等于0

这个向量Ax就一定等于0

这样这两个齐次线性方程组

是同解的

那么它们的解空间的维数

应该是相等的

这两个方程组解空间的维数

分别是n减到系数矩阵的秩

那么也就得到

系数矩阵(A＾)A的秩等于A的秩

当A是列满秩时

A的秩是等于n

从而(A＾)TA的秩也等于n

而A＾TA是一个n阶的方阵

它的秩等于n的话

它是一个可逆矩阵

那么我们的正规方程

(A＾)TAx＾等于A＾Tb

这个方程 系数矩阵可逆

于是它就有唯一的解

x＾等于A＾TA逆矩阵

乘以A＾Tb

也就是说

我们有唯一的最小二乘解

这件事情从下面的图里

也容易看得出来

当A的秩等于n时

A的零空间只有零向量

那么R＾n是等于A的行空间

另外一边

R＾m可以写成A的列空间

正交直和上A的左零空间

仍给一个m维向量b

如果它不落在A的列空间里

那么奇次线性方程组Ax等于b

没有解

b可以作正交直和分解

b写成p+e

其中e是落在A的左零空间里

p是落在A的列空间里

所以Ax＾等于p一定有一解

我们就可以找到这个x＾

而且在这种情况下

x＾和p是一一对应的

我们也可以从下面来看

如果我们有两个x＾ Ax＾等于P

我们也可以从下面来看 如果有两个x＾

Ax＾_1等于p

Ax＾_2等于p

那么Ax＾1减掉Ax＾_2就等于0

也就是x＾1减掉x＾2

是长在A的零空间里

而此时A的零空间是只有零向量

所以这两个最小二乘近似解

一定是相等的

对应到我们有唯一的最小二乘解

那么如果系数矩阵

A是列相关的

也就是A的秩是小于n的

那么A^TA的秩呢

等于A的秩是小于n的

我们正规的方程解不唯一

也就是说最小二乘解不唯一

我们注意到由刚才定义的伪逆

我们可以给出来一个

特别的最小二乘解

我们说x^+等于(A^+)b

它是一个最小二乘解

也就是说它满足正规方程

我们来验证一下这件事情

A＾Tb减掉A＾TAx^+

把A＾T给拿出来

括号里面是b减掉Ax^+

那么把x^+的定义代进去

它是A^+乘以b

那么A和A^+结合在一起

由A的伪逆的性质我们知道

A乘以A^+是R＾m到A的

列空间的正交投影矩阵

因此呢 这部分就跑到

A的列空间里去

那b是任意的一个m维的向量

我们知道R＾m可以写成

A的列空间C（A）

和A的左零空间

N(A＾T)的正交直和

b减少b在C（A）里的正交投影

它就落在A的左零空间里

那么这部分在A的左零空间里

因此它被A＾T去乘以

就等于零向量

那么x^+满足正规方程

所以它是一个最小二乘解

那么这样定义出来的最小二乘解

有什么优点呢

我们发现在所有的最小二乘解中

我们用伪逆定义出来的

这个最小二乘解

它的长度来得最小

在这种意义下

我们称它是最佳最小二乘解

我们来看一下这件事情

我们假设还有一个最小二乘解

我们仍然叫x＾

那么这两个最小二乘解

都满足正规方程

那我们两个式子相减

就得到A＾TA去乘以x＾减去x^+

等于0

也就是x＾减掉x^+

落在A＾TA的零空间里

我们刚才已经说了

A＾TAx=0与Ax=0

是两个同解的线性方程组

所以它们的零空间是相等的

那也就是x＾减掉x^+

落在A的零空间里

而另一方面呢

x^+是等于(A^+)b

我们之前定义A^+的时候

我们注意到它是把m维的向量

打到A的行空间里

所以这个(A^+)b

是落在A的行空间里

一方面x^+落在A的行空间里

另一方面x＾减掉x^+

是落在零空间里

那么这两个向量是互相正交的

那我们来计算一下

这个最小二乘解x＾的长度平方

我们说x＾它可以写成

x＾减掉x^+加上x^+

一方面这个向量落在N(A)里

这个向量落在C(A＾T)里头

它们俩互相正交

由勾股定理

那么等于这两个向量长度平方和

又等于x＾减掉x^+的长度平方

加上x^+的长度平方

那么这个向量它的长度

是大于等于零的

所以呢

这两个向量的长度平方和

是大于等于x^+的长度平方和的

那么我们就得到说

任意一个最小二乘解的长度

要大于等于我们由伪逆得到的

这个最小二乘解的长度

也就是说x^+它的长度是最小的

它是一个在这种意义下的

最佳最小二乘解

我们从下面的图上来看一下

刚才的情形

说此时矩阵A的秩小于n

而n可以写成A的行空间

和A的零空间的正交直和

R＾m可以写成A的列空间

和A的左零空间的正交直和

给一个b向量

它不落在C(A)里头

所以Ax等于b没有解

那b由正交之和分解

b等于p+e

p是落在a的列空间里

那么我们有A^+

把p打回到A的行空间里

那么这个x^+就是

最佳最小二乘解

我们注意到说

(A^+) p等于x^+

那另外呢若(A^+)e是等于0的

(A^+) b是等于(A^+)(p+e)

(A^+)p + (A^+)e

(A^+)e跑到零点

(A^+)p跑到x^+ 这就是x^+

那么这就是我们最初定义的x^+

等于(A^+)b

这个最佳最小二乘解

在这节我们讨论了矩阵的伪逆

和线性方程组Ax=b的最小二乘解

在这个过程中

我们可以看到

实际问题的提出促进理论的发展

而理论的发展又反过来

促进实际问题的解决

二者交织在一起 共同前进

这节课就到这里