当前课程知识点：简明线性代数 > 第6章 内积空间 > 6-4 正交投影与正交分解 > 6-4 正交补与正交分解
同学们 大家好
欢迎来到MOOC课程
线性代数先修课
第六章 内积空间
6.4节 正交投影与正交分解
在本节中
我们将主要讨论在欧氏空间中
与正交相关的投影和分解
首先 我们介绍欧氏空间中
任意一个向量在给定的
正交基下的线性表示
就简称为正交基表示
并且将说明正交基表示的系数
正好就是该向量
向各个基向量的正交投影的大小
接下来
我们将把向量正交的概念
推广到更广的情形
引入任意子空间的正交补的概念
进而 我们将证明与之相关的
正交分解定理
最后我们从数量关系
来考察正交补
我们会说明
它与齐次线性方程组以及
系数矩阵的行空间 列空间
解空间和转置解空间密切相关
第一点 正交基表示与正交投影
首先 我们来回顾一下
在高中数学的解析几何中
我们知道
在平面R2与几何空间R3中
建立一组直角坐标系以后
可以为具体的计算
带来很大的便利
那么在本章前三节中
我们已经把直角坐标系的概念
推广到了一般的n维欧氏空间
也即Rn中的一组标准正交基
并且 在6.2节中
我们证明了在标准正交基下
任意向量α的第i个坐标
就是α与第i个基向量的内积
在本节中
我们将把上述结论推广到
一般的子空间以及一般的正交基
这里的正交基就不一定为单位向量
也就是给定n维欧氏空间中的
一个子空间W
以及W内的一组正交基
对W内任意向量α
在该正交基下的坐标
也即 基向量的线性表出的系数
应该如何计算呢
而这个问题
就是所谓的正交表示问题
下面 我们就给出
我们的第一个结论
定理1 设η1 η2…ηt是
欧氏空间Rn中子空间W的
一组正交基
对于W当中的任意向量α
那么α在该正交基下的
第i个坐标
也即第i个线性表出系数
由如下的等式给定
也即xi等于α和ηi的内积
再除以ηi和ηi自己的内积
其中i从1跑到t
下面我们就来证明定理1
假设α表示为η1…ηt的
线性组合形式如下
表出系数为x1…xt
对于上述等式的两边
我们用ηi去做内积
就得到了这样的一个等式
由于η1…ηt是一组正交基
因此对于不同的基向量之间
做内积就应该等于0
因此这个等式的右边
只有一项非零
也就是xi乘以
ηi与ηi自己的内积
那么又由于ηi是一个基向量
因此必然不为零向量
于是ηi与ηi自己做内积
就严格大于零
从而我们就解出了
xi等于我们定理的形式
因此我们就证明了定理1
需要说明的是
定理1是6.2节当中例2的推广
它说明正交基下的坐标系数
比较容易计算
然而 如果事先选取的
不是正交基
而是一组一般的基的话
则要求对应的坐标
就必须求解对应的
非齐次线性方程组
才能得到
下面我们给出定理1的几何解释
即所谓的正交投影问题
它涉及许多包含正交计算的问题
比如说 施密特正交化方法的
公式中的系数
定义1 欧氏空间Rn中
给定两个向量α与β
从α的终点引垂线
与β相交所截得的
与β共线的向量
我们称为α在β方向上的
正交投影向量
并且把它记为这样的形式
下面我们用两种方法来计算
正交投影向量
第一种方法
由几何意义我们知道
正交投影向量的长度
应该等于α的长度再乘以
α与β之间的夹角的余弦值
并且正交投影向量的
方向与β共线
因此很容易得到
正交投影向量
应该等于这样的一个向量
进一步 我们把夹角的余弦值
用向量的内积表示出来
并进行化简
就得到了这样的形式
第二种方法
首先我们将α分解为两个向量
一个是α的正交投影向量
另外一个向量
我们把它记为α'
并且要求α'与β正交
进一步我们设正交投影向量
等于k倍的β
其中k为待定系数
则利用α'与β正交的性质
我们去计算它们俩的内积
进一步再把α'等于
α减去k倍的β代进去
利用内积的性质展开以后
就得到了这样的一个等式
最终我们可以解出k
而这个k与方法一
所得到的结论相同
进一步如果我们令β0
等于与β同向的单位向量
则正交投影公式就可以
简化为如下的形式
其中第一个等号表示
一般的投影公式
而第二个等号表示α投影到
一个单位向量的公式
具体的来说
α在单位向量β0方向的
正交投影向量
就是β0乘以α与β0的内积
而正交投影向量的长度
就正好等于α与β0的内积
根据正交投影公式
我们可以把定理1
重新叙述如下 即定理1'
设η1…ηt是欧氏空间Rn中
子空间W的一组正交基
对于W中任意向量α
则α在该正交基下的
第i个坐标
就是α向第i个基向量的
正交投影向量的长度
需要说明的是
定理1的结论
与2维平面3维几何空间中
直角坐标系的情况是相符的
第二点 正交补与正交分解
下面我们把向量与
向量之间的正交关系推广到
向量与子空间以及
子空间与子空间之间的正交关系
也就是接下来的定义2
设W W1 W2
是欧氏空间Rn中的子空间
向量α是一个n维向量
则如果对于W当中的任意向量β
均有α与β正交
则我们就称α与
子空间W是正交的
如果对于W1里的任意向量β
以及W2里面的任意向量γ
均有β与γ是正交的
则我们称子空间W1与W2是正交的
进一步我们把W加上一个
正交的上标
来表示这样的正交补
它由全体与W正交的向量组成
好 有了上述概念
我们先来看一个例子
设α1α2为3维空间中
线性无关的两个向量
我们设W1是由α1与α2
生成的子空间
则W1就为3维空间当中
一个过原点的平面
于是W1的正交补
即为过原点且与W1垂直的直线
沿该直线的方向取单位向量n0
就是平面W1的单位法向量
接下来我们把正交投影的概念
也推广到一般的情形
先来看一个向量
正交投影到直线上的情形
我们设W由一个向量β生成
于是α在W上的正交投影向量
就是我们之前介绍过的
α在β方向上的正交投影向量
很容易验证它满足以下的两条
第一条 正交投影向量是W当中
唯一的一个向量
使得α减去该向量后与W正交
第二条性质
正交投影向量的终点是W当中
距离α的终点最近的
下面我们再来看把一个向量
正交投影到平面的情形
设W是R3当中的一张平面
我们把它记成π
我们把α在π上的正交投影向量
记为括号α下标π
容易验证这个投影向量
同样满足上述的性质1和性质2
也就是唯一性和距离最短性
只需要将上述的性质1和
性质2当中的下标替换为π即可
下面的定理告诉我们
在欧氏空间Rn中
如何将给定的向量正交投影到
任意子空间当中
也就是我们的定理2
也称为正交分解定理
设W是欧氏空间Rn中的一个子空间
则Rn中每一个向量α可
唯一分解为如下的形式
即α能分解为β加γ的形式
其中β属于指定的子空间W
而γ属于W的正交补
我们把这个式子记为1式
更进一步
如果η1…ηt是W的一组正交基
那么上述分解当中的β
就可以表述为2式的形式
对于上述定理2当中分解式的β
我们也称为α在子空间W上的
正交投影向量
并且把它记为
α括号下标W的形式
下面我们来观察一下定理2当中
2式的表达式
大家有没有发现
等式的右边非常的熟悉
对 那正好就是我们之前介绍过的
一个向量在另外
一个向量的正交投影
所以 定理2表明
当子空间W有正交基的时候
要计算正交投影向量αW的话
只需要将α分别正交投影到
各个正交基的基向量上
再相加即可
下面我们就来证明定理2
首先 由施密特正交化方法
我们知道
子空间W必然有正交基
其次为证分解的存在性
我们只需要验证
2式给出的β
符合分解式1当中的要求
那么由(2)式知
β可以表示为
W的一组基的线性组合
所以β一定是属于W的
进一步 我们令γ等α减β
于是两边同时用η1去做内积
我们可以得到这样的等式
对于这个等式的右边
我们再把β的表达式代进去
由于η1…ηt是一组正交基
所以展开之后
很多项都化零了
因此 保留下来的
只有如下的两项
那么在约分之后
就等于α与η1的内积减去
α与η1的内积
最后等于0
这个式子就说明了
γ与η1是正交的
类似地 我们可以验证
γ与每一个基向量ηi均正交
因此γ必然与子空间W正交
从而γ属于W的正交补
最后我们来验证唯一性
设α等β1加γ1
是另一个满足条件的分解式
其中β1属于W
而γ1属于W的正交补
于是我们把α的两个分解式相减
就得到了β减β1
等γ减γ1的等式
并且我们令这个等式等于向量v
这个式子说明向量v
既属于W又属于W的正交补
其中由这个等式的左边
可以推出v属于W
而这个等式的右边
可以推出v属于W的正交补
这里我们要用到后边的一个结果
也即W的正交补构成一个子空间
因此我们可以得到
v和v自己的内积等于0
其中第一个v
把它看成W里的向量
而第二个v
把它看成W的正交补里的向量
因此它们俩是正交的
利用它的内积等于0
就推出了这个v只能等于零向量
从而推出了W必须要等于W1
且γ要等于γ1
从而我们就证明了
分解的唯一性
于是我们就完成了定理2的证明
需要说明的是
定理2中的分解唯一性还表明
正交投影向量仅仅依赖于
α与投影空间W
而不依赖于W当中
正交基的选取
下面我们用正交分解的观点
再来看下之前介绍过的
施密特正交化方法当中的公式
在6.3节中
我们是用代数的方法
递归地给出
施密特正交化方法的计算公式
假设前i个相互正交的向量组
β1 β2…βi已经取好
并且 它们生成的子空间
与原向量α1 α2…αi
生成的子空间是相等的
我们把它记为W
则β加1的计算公式
是如下给出的
那么用几何的观点来看
我们会发现上述公式当中
也就是黄色方框
里面的这部分内容
正好等于αi向
子空间W的正交投影向量
再加一个负号
于是上述公式实际
可以表示为βi+1
等于αi+1再减去αi+1在
子空间W里的正交投影向量
根据正交分解定理
我们会知道
βi+1就应该属于
W的正交补空间
且唯一决定
从而Wi+1为第i+1个
满足正交条件的向量
并且 由于每一个βi
均是唯一决定的
故若给定原向量组
α1…αs的次序
则用施密特正交化方法
所得到的单位正交向量组
一定是唯一的
第三点 正交补的维数与
矩阵的四个空间
下面我们来讨论
正交补的数量关系
首先我们要说明
W的正交补构成Rn中的
一个子空间
进而我们将要讨论
这个子空间的维数
一方面
如果α属于W的正交补
则根据定义我们有
α与w的内积等于0
其中向量w为
子空间W里的任意向量
于是对于任意实数k
由内积的性质
我们就知道k倍的α
与w做内积
这个k可以提到内积外面
由于α与w是正交的
因此它们的内积为0
所以 这个内积的计算也为0
从而我们就推出了k倍α
也属于W的正交补
而这就说明了W的正交补
对于向量的数乘运算是封闭的
另外一方面
若α β属于W的正交补
则根据定义我们就有
α与w以及β与w的内积
均要等于0
其中w为子空间W里的任意向量
于是由内积的性质
我们可以知道
α加β再和w做内积
就等于把这个内积拆为
α与w的内积再加上
β与w的内积
最后等于0加0
也就等于0
而这个式子就说明了
α+β也是属于W的正交补的
从而说明W的正交补对于
向量的加法运算是封闭的
综合上述两点
我们就可以知道
W的正交补
确实构成了Rn中的
一个子空间
于是将来我们也把它称为
正交补空间
下面我们将讨论
正交补空间的维数
我们假设W的维数等于r
并且设w1 w2…wr为
子空间W的一组基
则由定义知
如果向量X属于W的正交补
当且仅当w与X是正交的
其中w跑遍子空间W
而这又当且仅当
X与全体基向量wi是正交的
那么把它写为标准内积的形式
就可以写成
wi的转置乘以X要等于0
再把这r个等式
按行的方式排起来
就可以写成这个样子
那么如果我们把
由wi转置构成的这个矩阵
记为矩阵A
那么它就是一个
r行n列的矩阵
而且由于wi是一组基
因此这个矩阵是一个
行满秩的矩阵
从而这个式子
就可以表示为AX=0的形式
而这个形式就是
我们所熟悉的以A为系数的
齐次线性方程组
从而根据X的任意性
我们就得到了
W的正交补实际上就等于
以A为系数的
齐次线性方程组的解空间
因而在数量关系上
正交补的维数就应该等于
解空间的维数
而解空间的维数
正好等于n减去A的秩
而由于A是一个行满秩的矩阵
所以它就等于n减去
子空间W的维数
总结一下我们得到的
如下关于正交补的结论
定理3 设W为Rn中的一个子空间
则W的正交补也为Rn中的子空间
并且在维数上 我们有
W的维数加上W的正交补的维数
等于整个空间的维数 等于n
第二点 W与W的正交补的交
只有零向量
由于我们之前已经证明了结论1
所以我们只需证明结论2
证明结论2的方法与
刚才证唯一性的方法类似
也就是 设α是W与
W正交补里的公共向量
则α与自己的内积必然要等于0
这就推出了α的模长等于0
从而α为一个零向量
从而这就说明了
W交上W的正交补只能有
一个向量 即零向量
接着我们来看一个例题
也即例2
请大家证明正交补的正交补空间
就等于原来的这个空间W
好 具体证明如下
根据定义 我们有
W的正交补的正交补
应该由这样的一些向量组成
即与W的正交补都正交的
全体向量
于是我们知道
W里的所有向量
都满足这个性质
因此 W应该包含在
W的正交补的正交补空间当中
又由定理3 我们知道
W的正交补的正交补
应该有这样的维数关系
也即 它应该等于W的维数
从而 它们既有包含关系
又有维数相等关系
因此我们就得到了
这两个空间必然相等
实际上 在讨论W的正交补的
维数的过程当中
我们已经得到了如下结论
我们把它总结为定理4
设A为m×n型的矩阵
则A的行空间与解空间
互为正交补
并且它们都为Rn当中的子空间
与此同时 A的列空间
与转置解空间也互为正交补
且它们均为Rm当中的子空间
定理4给出了齐次线性方程组的
另一种几何解释
也即 求解齐次线性方程组
相当于求解系数矩阵
行空间的正交补空间
我们也可以用这样形象的方式来看
我们把Rn想象为一个平面
而A的行空间想象为
其中的一条直线
则A的解空间就是经过原点
且与行空间正交的直线
同样的道理
如果我们把Rm想象为一个平面
并且把A的列空间
想象为一条直线的话
则A的转置解空间就对应了
经过原点且与列空间正交的直线
当然这里的平面和直线
均只是一种形象的表示
而它们的维数往往都大于1
本讲小结
在本讲中
我们围绕欧氏空间中
正交相关的问题展开讨论
首先我们说明了
若欧氏空间中有正交基
则任意向量由正交基
表示的系数是比较容易计算的
相当于该向量向各个基向量上
做正交投影
其次
我们把向量与向量正交的概念
推广到了向量与子空间正交
子空间与子空间正交的情形
从而引入了正交补的概念
进而我们可以把任意向量
分解为子空间W及其正交补中的
两个向量之和
即所谓的正交分解定理
正交分解定理可以看做
正交线投影到任意子空间的
推广情形
最后 我们在数量关系上
分析了正交补空间
同时说明了一个矩阵相关的
四个空间之间的相互关系
也即A的行空间与解空间
互为正交补
而A的列空间与转置解空间
互为正交补
实际上 正交投影还具有
某种最短性质
我们将在下一讲当中详细讨论
本讲的内容就到这儿
再见
-宣传片
--宣传片
-序论
--序论
-1-1 二元、三元一次方程组
-第1章 线性方程组--1-2 一般线性方程组的解法：Gauss消元法
-1-2 一般线性方程组的解法：Gauss消元法
-第1章 线性方程组--1-3 线性方程组解的判定
-1-3 线性方程组解的判定
-第1章 线性方程组--1-4 齐次线性方程组
-1-4 齐次线性方程组
-第2章 行列式--2-1 二阶、三阶行列式的性质
-2-1 二阶、三阶行列式的性质
-第2章 行列式--2-2 n元排列
-2-2 n元排列
--2-2 n元排列
-第2章 行列式--2-3 n阶行列式的定义
-2-3 n阶行列式的定义
-第2章 行列式--2-4 行列式的性质
-2-4 行列式的性质
-第2章 行列式--2-5 行列式的计算1-利用性质
-2-5 行列式的计算1-利用性质
--Video
-第2章 行列式--2-6 行列式的展开公式
-2-6 行列式的展开公式
-第2章 行列式--2-7 行列式的计算2-综合
-2-7 行列式的计算2-综合
-第2章 行列式--2-8 Cramer法则
-2-8 Cramer法则
-第3章 矩阵--3-1 矩阵及其线性运算
-3-1 矩阵及其线性运算
-第3章 矩阵--3-2 矩阵的乘法
-3-2 矩阵的乘法
-第3章 矩阵--3-3 矩阵的其他运算
-3-3 矩阵的其他运算
-第3章 矩阵--3-4 分块矩阵
-3-4 分块矩阵
--3-4 分块矩阵
-第3章 矩阵--3-5 初等矩阵
-3-5 初等矩阵
--3-5 初等矩阵
-第3章 矩阵--3-6 逆矩阵及矩阵可逆条件
-3-6 逆矩阵及矩阵可逆条件
-第3章 矩阵--3-7 逆矩阵的求法
-3-7 逆矩阵的求法
-第4章 向量空间--4-1 n维向量空间
-4-1 n维向量空间
-第4章 向量空间--4-2 向量组的线性相关性
-4-2 向量组的线性相关性
-第4章 向量空间--4-3 线性相关性的更多理论
-4-3 线性相关性的更多理论
-第4章 向量空间--4-4 极大线性无关组
-4-4 极大线性无关组
-第4章 向量空间--4-5 向量组的秩
-4-5 向量组的秩
-第4章 向量空间--4-6 矩阵的秩
-4-6 矩阵的秩
--Video
-第4章 向量空间--4-7 矩阵秩的运算律与相关结论
-4-7 矩阵秩的运算律与相关结论
-第5章 线性方程组的解理论--5-1 齐次线性方程组的解理论
-5-1 齐次线性方程组的解理论
-第5章 线性方程组的解理论--5-2 非齐次线性方程组的解理论
-5-2 非齐次线性方程组的解理论
-第5章 线性方程组的解理论--5-3 线性方程组的几何意义
-5-3 线性方程组的几何意义
-第5章 线性方程组的解理论--5-4 矩阵方程
-5-4 矩阵方程
-第6章 内积空间--6-1 向量空间中的内积与度量
-6-1 向量空间中的内积与度量
-第6章 内积空间--6-2 标准正交基与正交矩阵
-6-2 标准正交基与正交矩阵
-第6章 内积空间--6-3 Schmidt正交化与QR分解
-6-3 Schmidt正交化与QR分解
-第6章 内积空间--6-4 正交投影与正交分解
-6-4 正交投影与正交分解
-第6章 内积空间--6-5 最小二乘问题
-6-5 最小二乘问题
-第7章 矩阵的特征值理论--7-1 矩阵的特征值与特征向量
-7-1 矩阵的特征值与特征向量
-第7章 矩阵的特征值理论--7-2 特征多项式与特征子空间
-7-2 特征多项式与特征子空间
-第7章 矩阵的特征值理论--7-3 相似矩阵
-7-3 相似矩阵
--7-3 相似矩阵
-第7章 矩阵的特征值理论--7-4 矩阵的对角化问题
-7-4 矩阵的对角化问题
-第7章 矩阵的特征值理论--7-5 实对称阵的对角化
-7-5 实对称阵的对角化
-第7章 矩阵的特征值理论--7-6 特征值理论的几个应用
-7-6 特征值理论的几个应用
-第8章 矩阵与变换--8-1 矩阵映射与矩阵变换
-8-1 矩阵映射与矩阵变换
-第8章 矩阵与变换--8-2 二维三维空间中几类特殊的矩阵变换
-8-2 二维三维空间中几类特殊的矩阵变换
-第8章 矩阵与变换--8-3 矩阵映射的复合与矩阵乘法
-8-3 矩阵映射的复合与矩阵乘法
-8-4 矩阵变换的不变量与特征值理论
-第8章 矩阵与变换--8-5 坐标系替换与矩阵相似
-8-5 坐标系替换与矩阵相似
-第8章 矩阵与变换--8-6 正交变换
-8-6 正交变换
--8-6 正交变换
