当前课程知识点:线性代数(1) > 第十三讲 正交投影 > 13.3 一般情形 > 13.3 一般情形
我们讨论了一个点或者一个向量
在一条直线上
在一个平面上的投影
那么现在我们来讨论一般情况
A是m乘n阶的矩阵
设b属于Rm
我们来求一下b在CA上的投影p
那么由这张图
我们可以直观的看出
这个是我们的向量e
为了求出这个p呢
我们也是有两个基本的条件
一个是p属于CA
也就是说可以找到一个
Ax hat等于p
另一点呢b-p
也就是误差向量跟CA是垂直的
那么这个就意味着
A转置b-A转置
A转置乘上b-A乘A hat等于0
这个方程我们把它整理一下呢
就是x hat是这个的解
这个方程
我们后面也会提起
它是法方程
是Ax等于b的法方程
就是Ax等于b无解
但是呢
两边左乘一个A转置
A转置Ax等于A转置b
这个总是有解
而且这个解
解出来的就是我们的x hat
使用这个x hat左乘一个A以后
我们就得到了投影的p
好 我们现在要说明一下
A转置Ax等于A转置b总有解
这个原因呢
是因为A转置b
它总是落在CA转置里面的
这是定义
但是CA转置呢
就是A的行空间跟CA转置A
是一样大的
这个我们在前面已经说过了
所以这个方程组总有解
另一方面我们前面也看到
x hat作为这个方程组的解
x hat经常是不唯一的
但是这个投影的p总是唯一的
那我们设x1 x2
是这个法方程的两个解
那么我们有Ax1 hat和Ax2 hat一样
也就是说
它们都是同一个投影点p
p是唯一的
那么这个原因
是因为x1 hat减x2 hat
是属于NA转置A
那么这个又跟NA是一样的
所以我们就得到了这个结果
所以p一般是唯一的
尽管x hat不唯一
那么如果A是列满秩的话
如果A列满秩
那么A转置A就可逆了
这时候x hat我们也是唯一的
那么x hat就是A转置A的逆
乘上A转置b
如果A转置A可逆
那么我们就得到了投影阵
p等于A乘A转置A逆
然后再乘上A转置
我们可以看到
它总是满足P平方等于P
P的转置等于P
这实际上呢就把Rn
我们映到了CA这个空间里面
这个是Rm
那么任何一个b
我们都映到一个p这个向量
那么这个p
最后就是我们这个大P乘上b
就是我们这个投影阵P乘上b
一般地 我们说
如果一个矩阵满足
P的平方等于P
P的转置等于P的话
我们就把这个P叫投影矩阵
那有些同学可能会觉得
这样一个表达式
跟我们这样一个
一般的定义投影阵很不一样
实际上呢
我们这样定义投影矩阵呢
我们能找到合适的一个A
使得这个p等于
A乘上A转置A的逆再乘上A转置
那么也就是说
我们要找这个A
实际上就是找P这个投影矩阵
是关于哪个空间的投影矩阵
那么实际上是关于CP
P的列空间
P乘上任何一个向量
首先我们可以看到
这个都属于CP
而且一个向量如果属于CP的话
那么它再乘上P没有动
因为P的平方等于P
所以是关于CP
这个空间的投影矩阵
任给一个向量b
它写成两部分
p加上一个误差向量e
那么P乘上这个小p 它没有动
因为这个小p是属于CP的
而e是跟这个CP是垂直的
所以Pe是等于0的
我们有下面这个定理
设P是个投影矩阵
则P的列空间
和I-P的零空间一样
P的零空间和I-P的列空间一样
我们稍微注记一下
这两个等式呢非常像
就是一个等式是把P换成I-P
当把这个P换成这个I-P的时候
第一个等式就变成第二个等式
实际上我们看
P是投影阵的话
那么我们来看一下I-P
它的转置等于I-P
I-P的平方呢
因为I和P是交换的
所以我们可以写成一个
I的平方减去2P再加上P的平方
那么P的平方是等于P
所以最后我们看到还是I-P
也就是说当P是投影阵的时候
I-P实际上也是投影阵
所以这两个等式呢
我们证明一个就可以了
我们来看P乘上I-P
它是等于0的
这是因为P的平方等于P
我们把这个P的平方移到右边
提出P就得到这个等式
这样告诉我们什么呢
这告诉我们P I-P的每一列
实际上都属于NP
P的零空间 因为P乘I-P
换句话说
也就是说C(I-P)
因为I-P的每一列属于这个
C(I-P)是属于NP的
那么我们看
这个等式是说
N P等于C(I-P)
所以要想证明等式呢
我们需要把这个包含号
更精确地分析
那我们只要看一下
这个和这个的维数就行了
好 我们来假设
P的秩等于r的话
那么P假如说是n乘n的矩阵
那么C(I-P)我们来看一下
它的维数
如果能够等于n-r就可以了
那么这时候呢
我们大家可以使用秩的一个公式
就是r(A)+r(B)是大于等于r(A+B)的
利用这个公式呢
我们就可以看出r(I-P)+r(P)大于等于r(I)
使用这个等式
我们就能最终推出
这个和NP的维数是一样的
所以它们是相等
这就是我们这个定理的主要内容
-课前引言
--课前引言
-1.1 引言
--1.1 引言
-1.2 n维向量空间中的点
-1.3 向量
--1.3 向量
-1.4 向量空间的定义
-1.5 向量空间的线性组合
-1.6 向量的点积、长度
-1.7 向量的夹角
-1.8 两个不等式
-第一讲 向量及其运算--1.9 课后作业
-2.1 矩阵与向量的乘积
-2.2 可逆矩阵
--2.2 可逆矩阵
-2.3 线性方程组的行图和列图
-第二讲 矩阵与线性方程组--2.4 课后作业
-3.1 Gauss消元法(上)
-3.1 Gauss消元法(下)
-3.2 消元法的矩阵表示 3.2.1 消去矩阵
-3.2 消元法的矩阵表示 3.2.2 置换阵
-3.2 消元法的矩阵表示 3.2.3 初等行(列)变换和初等矩阵
-第三讲 高斯消元法--3.3 课后作业
-4.1 矩阵
--4.1 矩阵
-4.2 矩阵的加法和数乘
-4.3 矩阵的乘法
-4.4 矩阵的乘法的性质
-4.5 矩阵的方幂
-4.6 关于矩阵乘法的引入
-4.7 分块矩阵
--4.7 分块矩阵
-4.8 矩阵的转置
-第四讲 矩阵的运算--4.9 课后作业
-5.1 可逆矩阵的定义
-5.2 矩阵可逆的性质
-5.3 初等矩阵的逆
-5.4 Gauss-Jordan消元法求A的逆
-5.5 矩阵可逆与主元个数
-5.6 下三角矩阵的逆
-5.7 分块矩阵的消元和逆
-第五讲 矩阵的逆--5.8 课后作业
-6.1 LU分解
--LU分解
-6.2 用LU分解解线性方程组
-6.3 消元法的计算量
--消元法的计算量
-6.4 LU分解的存在性和唯一性
-6.5 对称矩阵的LDL^T分解
-6.6 置换矩阵
--置换矩阵
-6.7 PA=LU分解
--PA=LU分解
-第六讲 LU分解--6.8 课后作业
-7.1 引言
--7.1 引言
-7.2 向量空间和子空间
-7.3 列空间和零空间
-7.4 阶梯形
--7.4 阶梯形
-第七讲 向量空间--7.5 课后作业
-8.1 引言
--8.1 引言
-8.2 基础解系
--8.2 基础解系
-8.3 简化行阶梯形的列变换
-第八讲 求解齐次线性方程组--8.4 课后作业
-9.1 复习
-9.2 求特解
-9.3 解的一般性讨论
-第九讲 求解非齐次线性方程组--9.4 课后作业
-10.1 引言
--引言
-10.2 n维空间的坐标系
-10.3 无关性、基与维数
-10.4 无关性、基与维数的性质
-10.5 关于秩的不等式
-第十讲 线性无关、基与维数--10.6 课后作业
-11.1 四个基本子空间的基
--11.1
-11.2 维数公式
--11.2
-11.3 例题
--11.3
-第十一讲 四个基本子空间的基和维数--11.4 课后作业
-12.1 引言
--12.1
-12.2 四个子空间的正交性
--12.2
-12.3 正交补
--12.3
-12.4 Ax=b在行空间中的唯一性
--12.4
-第十二讲 四个基本子空间的正交关系--12.5 课后作业
-13.1 引言
--13.1 引言
-13.2 点在直线和平面上的投影
-13.3 一般情形
-第十三讲 正交投影--13.4 课后作业
-14.1 复习
--14.1 复习
-14.2 最小二乘法
-14.3 最小二乘法的应用:曲线拟合
-第十四讲 最小二乘法--14.4 课后作业
-15.1 引言
--15.1 引言
-15.2 正交向量组和正交矩阵
-15.3 Gram-Schmidt正交化过程
-15.4 QR分解
-第十五讲 Gram-Schmidt正交化--15.5 课后作业
-16.1 引言
--16.1 引言
-16.2 二阶行列式的几何含义
-16.3 一般行列式的定义
-16.4 行列式和初等变换
-第十六讲 行列式的基本性质--16.5 课后作业
-17.1 行列式计算公式与展开定理
-17.2 典型例题
-第十七讲 行列式的计算--17.3 课后作业
-18.1 引言
--18.1 引言
-18.2.1 求逆矩阵公式
-18.2.2 线性方程组的公式解
-18.3 计算有向长度、面积和体积
-18.4 和QR分解的联系
-第十八讲 Cramer法则及行列式的几何意义--18.5 课后作业
-19.1 引言和定义
--default
-19.2 例
--default
-19.3 特征值的性质
--default
-第十九讲 特征值与特征向量--19.4 课后作业
-20.1 矩阵可对角化的条件
--default
-20.2 特征值的代数重数和几何重数
--default
-20.3 矩阵可对角化的应用
--default
-20.4 同时对角化
--default
-20.5 小结
--default
-第二十讲 矩阵的对角化--20.6 课后作业
-21.1 引言
--21.1 引言
-21.2 A可对角化的情形
-21.3 矩阵的指数函数
-21.4 二阶常系数线性微分方程
-21.5 微分方程的稳定性
-第二十一讲 特征值在微分方程中的应用--21.6 课后作业
-22.1 实对称矩阵的特征值与特征向量
-22.2 实对称阵正交相似于对角阵
-22.3 实对称阵特征值与主元的关系
-22.4 小结
--22.4 小结
-第二十二讲 实对称矩阵--22.5 课后作业
-总结和预告