当前课程知识点：线性代数(2) > 第六讲：伪逆 > 6.3 最小二乘法 > 6.3 最小二乘法
我们再回到求解线性方程组
我们说线性方程组Ax等于b有解
当且仅当常数向量b
落在系数矩阵A的列空间里
当常数向量b落在C（A）里时
b可以由A的列向量去线性表示
表示的系列
就被方程组的解X所表达出来
那么当方程组有解
特别地A是列满秩的时候
常数向量b被A的列向量的系数
是唯一的
也就对应着方程组有唯一的解
特别地的情况
当系数矩阵A是可逆时
有唯一解X等于(A＾-1)b
那么我们说线性方程组
Ax等于b没有解
那当且仅当常数向量b
不落在A的列空间里
此时呢我们想要去求近似解
我们关心什么样的近似解
我们关心误差向量的长度
来得最小的近似解
我们叫是最小二乘解
所以误差向量是指的
有了近似解x＾之后
常数向量b减掉Ax＾
这个向量我们叫误差向量
我们从图上容易看出来
C（A）是子空间
那么常数向量b
不落在C（A）里头
对应着线性方程组Ax等于b
没有解
那么我们找到一个近似解x＾
Ax＾是A的列向量的线性组合
所以Ax＾这个向量
是落在C（A）这个子空间中的
我们叫它是p向量
那么b减掉Ax＾
这个向量我们叫是误差向量
我们希望误差向量e的长度
来得最小
从这个图上可以看出来
当且仅当
e是垂直于子空间C（A）的
那我们又知道m维的向量空间
R＾m是写成A的列空间
正交直和上A的左零空间
如果误差向量垂直于A的列空间
那么也就是说误差向量
落在A的左零空间N（A＾T）里
那么也就是说
A＾T乘以e应该是等于0
那也就是A＾T
乘以（b - Ax＾）等于0
那么也就是A＾TAx＾
等于A＾Tb
这个方程就是之前
我们在介绍最小二乘法时的
所谓正规方程
如果线性线性方程组Ax等于b
没有解
我们关注最小二乘解
那么就转化成去求解正规方程
特殊的情况
如果系数矩阵A是列满秩时
也就是A的秩等于A的列数n
这时我们来看A＾TA
这个矩阵的秩是等于A的秩
等于n
那么我们再来重复说一下
A＾TA的秩等于A的秩
那么这件事情是因为
A＾TAx＝0
这个齐次线性方程组与Ax＝0
这个齐次线性方程组
是同解方程组
很容易看到Ax＝0
我们一定有A＾TAx＝0
那么A＾TAx＝0
我们两边去乘以x＾T
仍然是等于0
而这个式子就化成
Ax这个向量的模长平方等于0
那么一个向量的长度平方等于0
这个向量Ax就一定等于0
这样这两个齐次线性方程组
是同解的
那么它们的解空间的维数
应该是相等的
这两个方程组解空间的维数
分别是n减到系数矩阵的秩
那么也就得到
系数矩阵(A＾)A的秩等于A的秩
当A是列满秩时
A的秩是等于n
从而(A＾)TA的秩也等于n
而A＾TA是一个n阶的方阵
它的秩等于n的话
它是一个可逆矩阵
那么我们的正规方程
(A＾)TAx＾等于A＾Tb
这个方程 系数矩阵可逆
于是它就有唯一的解
x＾等于A＾TA逆矩阵
乘以A＾Tb
也就是说
我们有唯一的最小二乘解
这件事情从下面的图里
也容易看得出来
当A的秩等于n时
A的零空间只有零向量
那么R＾n是等于A的行空间
另外一边
R＾m可以写成A的列空间
正交直和上A的左零空间
仍给一个m维向量b
如果它不落在A的列空间里
那么奇次线性方程组Ax等于b
没有解
b可以作正交直和分解
b写成p+e
其中e是落在A的左零空间里
p是落在A的列空间里
所以Ax＾等于p一定有一解
我们就可以找到这个x＾
而且在这种情况下
x＾和p是一一对应的
我们也可以从下面来看
如果我们有两个x＾ Ax＾等于P
我们也可以从下面来看 如果有两个x＾
Ax＾_1等于p
Ax＾_2等于p
那么Ax＾1减掉Ax＾_2就等于0
也就是x＾1减掉x＾2
是长在A的零空间里
而此时A的零空间是只有零向量
所以这两个最小二乘近似解
一定是相等的
对应到我们有唯一的最小二乘解
那么如果系数矩阵
A是列相关的
也就是A的秩是小于n的
那么A^TA的秩呢
等于A的秩是小于n的
我们正规的方程解不唯一
也就是说最小二乘解不唯一
我们注意到由刚才定义的伪逆
我们可以给出来一个
特别的最小二乘解
我们说x^+等于(A^+)b
它是一个最小二乘解
也就是说它满足正规方程
我们来验证一下这件事情
A＾Tb减掉A＾TAx^+
把A＾T给拿出来
括号里面是b减掉Ax^+
那么把x^+的定义代进去
它是A^+乘以b
那么A和A^+结合在一起
由A的伪逆的性质我们知道
A乘以A^+是R＾m到A的
列空间的正交投影矩阵
因此呢 这部分就跑到
A的列空间里去
那b是任意的一个m维的向量
我们知道R＾m可以写成
A的列空间C（A）
和A的左零空间
N(A＾T)的正交直和
b减少b在C（A）里的正交投影
它就落在A的左零空间里
那么这部分在A的左零空间里
因此它被A＾T去乘以
就等于零向量
那么x^+满足正规方程
所以它是一个最小二乘解
那么这样定义出来的最小二乘解
有什么优点呢
我们发现在所有的最小二乘解中
我们用伪逆定义出来的
这个最小二乘解
它的长度来得最小
在这种意义下
我们称它是最佳最小二乘解
我们来看一下这件事情
我们假设还有一个最小二乘解
我们仍然叫x＾
那么这两个最小二乘解
都满足正规方程
那我们两个式子相减
就得到A＾TA去乘以x＾减去x^+
等于0
也就是x＾减掉x^+
落在A＾TA的零空间里
我们刚才已经说了
A＾TAx=0与Ax=0
是两个同解的线性方程组
所以它们的零空间是相等的
那也就是x＾减掉x^+
落在A的零空间里
而另一方面呢
x^+是等于(A^+)b
我们之前定义A^+的时候
我们注意到它是把m维的向量
打到A的行空间里
所以这个(A^+)b
是落在A的行空间里
一方面x^+落在A的行空间里
另一方面x＾减掉x^+
是落在零空间里
那么这两个向量是互相正交的
那我们来计算一下
这个最小二乘解x＾的长度平方
我们说x＾它可以写成
x＾减掉x^+加上x^+
一方面这个向量落在N(A)里
这个向量落在C(A＾T)里头
它们俩互相正交
由勾股定理
那么等于这两个向量长度平方和
又等于x＾减掉x^+的长度平方
加上x^+的长度平方
那么这个向量它的长度
是大于等于零的
所以呢
这两个向量的长度平方和
是大于等于x^+的长度平方和的
那么我们就得到说
任意一个最小二乘解的长度
要大于等于我们由伪逆得到的
这个最小二乘解的长度
也就是说x^+它的长度是最小的
它是一个在这种意义下的
最佳最小二乘解
我们从下面的图上来看一下
刚才的情形
说此时矩阵A的秩小于n
而n可以写成A的行空间
和A的零空间的正交直和
R＾m可以写成A的列空间
和A的左零空间的正交直和
给一个b向量
它不落在C(A)里头
所以Ax等于b没有解
那b由正交之和分解
b等于p+e
p是落在a的列空间里
那么我们有A^+
把p打回到A的行空间里
那么这个x^+就是
最佳最小二乘解
我们注意到说
(A^+) p等于x^+
那另外呢若(A^+)e是等于0的
(A^+) b是等于(A^+)(p+e)
(A^+)p + (A^+)e
(A^+)e跑到零点
(A^+)p跑到x^+ 这就是x^+
那么这就是我们最初定义的x^+
等于(A^+)b
这个最佳最小二乘解
在这节我们讨论了矩阵的伪逆
和线性方程组Ax=b的最小二乘解
在这个过程中
我们可以看到
实际问题的提出促进理论的发展
而理论的发展又反过来
促进实际问题的解决
二者交织在一起 共同前进
这节课就到这里
-1.1 实对称矩阵A正定的充要条件
-1.2 典型例题
--1.2 典型例题
-1.3 半正定矩阵及其判别条件
-1.4 二次型
--1.4 二次型
-1.5* 有心二次曲线(central conic)
-1.6* 三维空间中的二次曲面-6类基本的二次曲面
-1.7 二次型的分类
-1.8 矩阵的合同
-1.9* 惯性定理的证明
-1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
--1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
-1.11* 正（负）定矩阵在函数极值问题中的应用
-第一讲：正定矩阵--课后习题
-2.1 引言
--2.1 引言
-2.2 相似矩阵的性质
-2.3 Jordan标准形
-2.4 定理的证明
-2.5 Jordan标准形的应用
-第二讲：相似矩阵--课后习题
-3.1 引言
--3.1 引言
-3.2 奇异值分解(Singular Value Decomposition)
--3.2 奇异值分解(Singular Value Decomposition)
-3.3 例题
--3.3 例题
-3.4 奇异值分解的应用
-第三讲：奇异值分解--课后习题
-4.1 线性变换的定义和性质
-4.2 线性变换的运算
-4.3 线性变换的矩阵表示
-4.4 线性变换与矩阵之间的关系
-第四讲：线性变换 I--课后习题
-5.1 恒同变换与基变换
-5.2 图像压缩——基变换的应用
-5.3 线性变换在不同基下的矩阵
-5.4 矩阵分解与基变换
-5.5 线性变换的核与像
-5.6 不变子空间
-5.7* 幂零变换
-5.8* Jordan标准形
-第五讲：线性变换 II--课后习题
-6.1 伪逆
--6.1 伪逆
-6.2 Moore – Penrose 伪逆
-6.3 最小二乘法
-第六讲：伪逆--课后习题
-7.1 简介
--7.1 简介
-7.2 弹簧模型
--7.2 弹簧模型
-7.3 变量的线性关系
-7.4 刚度矩阵
--7.4 刚度矩阵
-7.5 从离散到连续
-第七讲：工程中的矩阵--课后习题
-8.1 简介
--8.1 简介
-8.2 图和矩阵
--8.2 图和矩阵
-8.3 网络和加权Laplacian矩阵
-8.4 关联矩阵的四个基本子空间
-8.5 注记
--8.5 注记
-第八讲：图与网络--课后习题
-9.1 问题引入
--9.1 问题引入
-9.2 Markov矩阵
-9.3 正Markov矩阵
-9.4 正矩阵
-第九讲：Markov矩阵和正矩阵--课后习题
-10.1 引言
--10.1 引言
-10.2 内积空间
-10.3 傅里叶级数
-10.4 投影
--10.4 投影
-10.5 关于Fourier变换的注记
-第十讲：Fourier级数--课后习题
-11.1 引言
--11.1 引言
-11.2 平移
--11.2 平移
-11.3 伸缩
--11.3 伸缩
-11.4 旋转
--11.4 旋转
-11.5 投影和反射
-第十一讲：计算机图像--课后习题
-12.1 引言
--12.1 引言
-12.2 复矩阵
--12.2 复矩阵
-12.3 复正规阵
-12.4 离散Fourier变换
-12.5 快速Fourier变换
-第十二讲：复数与复矩阵--课后习题
-结课寄语
--结课寄语
