当前课程知识点：简明线性代数 > 第6章 内积空间 > 6-3 Schmidt正交化与QR分解 > 6-3 Schmidt正交化与QR分解
同学们 大家好
欢迎来到MOOC课程
线性代数先修课
第六章 内积空间
6.3节 施密特正交化方法
与QR分解
在本讲当中
我们将讨论如何把
欧氏空间中一组线性无关的向量组
改造成单位正交的向量组方法
即所谓的施密特正交化方法
其次 我们用矩阵乘积的方式
把施密特正交化方法表示出来
就得到了可逆阵的QR分解的结论
一 施密特正交化方法
我们上一讲当中提出了
以下的两个问题
第一个问题就是
对于任意欧氏空间Rn来说
标准正交基是否存在
若存在 是否唯一
第二个问题就是
如果标准正交基存在
是否有方法确定出
一组标准正交基
首先我们还是来分析一下
我们在第四章当中
曾经证明过
极大线性无关组的存在性定理
也就是说 任意向量组的
极大线性无关组都是存在的
那么 把极大线性无关组
换成基之后
那么我们就知道
欧氏空间及其任意子空间的基
总是存在的
于是这就启发我们想办法
把欧氏空间及其子空间的
一组基改造成标准正交基
下面 我们就来研究
如何把n维欧氏空间Rn中
一组线性无关的非零向量组
α1 α2…αs
其中s小于等于n
把它们改造成单位正交的向量组
记为γ1 γ2…γs
并且为了能够使用归纳的方法
我们还要求
γi是α1 α2…αi 的线性组合
也就是说 γi是α的
前i个向量的线性组合
为了讨论这个问题
我们先从简单的情况入手
我们先以两个线性无关的
非零向量为例
假设它们是α1 α2
首先我们来求一个
正交的向量组β1 β2
使得β1是α1的线性组合
而β2是α1 α2的线性组合
由于β1是α1的线性组合
所以我们可以直接设
β1等于α1
而β2是α1 α2的线性组合
于是我们可以设
β2等于α2加上k倍的β1
也就是加上k倍的α1
其中k为待定系数
那么根据β2和β1是正交的
那么我们就有
它们的内积应该等于0
我们再把β2的表达式
代到这个内积式当中
就得到了这样的式子
再利用内积的性质
把它展开计算为如下的两项
由于β1等于α1是非零向量
于是我们就知道
β1和它自己的内积就不等于0
从而我们可以对这一项做除法
于是k就等于负的
α2与β1的内积
再除以β1与自己的内积
进一步我们再单位化
令γ1等于与β1同向的单位向量
γ2等于β2同向的单位向量
于是这组γ1与γ2就是
合乎我们要求的单位正交向量组
下面我们再来考虑三个
线性无关的非零向量组
α1 α2和α3的情形
同上面的方法
我们假设构造出β1与β2之后
进一步我们令β3等于
α3再加上l倍的β1
加上m倍的β2
其中l与m为实数 为待定系数
利用βi 两两正交
我们可以去计算
β3和β1的内积等于0
同样β3和β2的内积也要等于0
再把β3的表达式代进去
就得到了这样的两个等式
从而我们可以分别计算出
l和m的值
再代到β3的表达式里面
我们把β3就表为
α3 β1和β2的
线性组合的形式
当然由于β1和β2
又可以表示成α1 α2的
线性组合的形式
因此整个β3就可以
表示成为α1 α2和α3的
线性组合
进一步再单位化
分别取γi为βi
同向的单位向量
于是γ1 γ2和γ3这个向量组
就是合乎要求的单位正交向量组
我们再观察一下β3的这个等式
实际上 结合β2的等式
我们已经发现了一些规律
那么我们把这个规律
再推广到一般的βi
就可以归纳地给出
施密特正交化的方法
我们把我们的结论
总结为如下的定理1
设n维欧氏空间Rn当中
任意s个线性无关的向量
α1 α2…αs
它们均可转化成
一个正交的向量组
其中具体的转化过程如下
β1 β2和我们刚才讨论的
两个向量的情况相同
而β3和我们刚才讨论的
三个向量的情况相同
以此类推 我们可以给出
βs 等于这样的一个表达式
而且由这个表达式当中
我们已经可以看出
α的前i个向量生成的子空间
和β前i个向量生成的子空间
是相同的
i从1跑到s
进一步我们再把β这个向量组
单位化以后
就可以得到一组
标准的正交向量组
记γ1 γ2…γs
其中我们要强调一下
黄色方框的这个条件
和我们之前给出的条件
也即βi是α1到α2的线性组合
这个条件是等价的
对于定理1
我们做如下的说明
第一 施密特正交化方法
包含两个过程
分别是正交化的过程和
单位化的过程
其中 正交化的过程是
整个过程的关键
第二 施密特正交化方法与
欧氏空间Rn中内积的选取
没有关系
也就是 这样的方法对于
任何内积均是成立的
第三 正交化的过程是一个
归纳的计算过程
并且βi的计算量
随着i的增加而增加
第四 从几何上来看
计算公式当中这一项
就表示αi往βj这个方向的
正交投影向量
我们将在下一节具体地讨论
一个向量的正交分解的问题
第五 根据定理1的结论
也即施密特正交化的方法
我们可以得到如下的结论
也就是 欧氏空间Rn中
任意s维子空间均存在
标准正交基
并且在给定α1 α2到αs的
顺序的情况下
由施密特正交化方法得到的
标准正交基是唯一的
特别 当s=n的时候
我们就说明了欧氏空间Rn中
必然存在标准正交基
为了更清楚的理解
施密特正交化方法
我们把关键的正交化过程的公式
以及每一步的逻辑关系表示出来
首先我们有一个向量α1
它可以生成一个一维的子空间
由于α1和β1相等
所以它们俩生成的子空间是相同的
进一步我们做线性无关的向量扩充
也即基扩充
我们把α2添加进去
β1和α2生成的子空间就和
α1和α2生成的子空间是相同的
那么我们进一步去定义β2
等于这样的一个式子
那么我们就可以把这个
2维子空间的基换成β1和β2
它们生成了同一个子空间
再进一步
我们继续做基扩充
并且可以把前两个向量
换成β1和β2
接着去定义第三个β
也就是β3
最后把这个3维子空间的基
换成β1 β2到β3
也就是一组正交基
并且替换前s-1个向量
并且把第s个β的公式给出
从而把整个基都替换成
正交基β1到βs
下面来看一个具体的例子
请大家把3维空间当中
这样给定的一组基化成
标准正交基
那么我们使用
施密特正交化方法
首先先进行正交化
分别代入β1 β2以及
β3的公式 可以算出
它们分别为这样的三个向量
进一步再单位化
把β1 β2和β3单位化以后
就得到了γ1 γ2和γ3
它们三个就构成了一组
标准正交基
二 可逆矩阵的QR分解
如果我们用矩阵的观点
来看上述施密特正交化的过程
那么在默认情形下
也即在标准内积情形下
我们用矩阵的观点
来看上述施密特正交化的过程
即可以得到n阶可逆矩阵的
QR分解的结论
首先我们设A是一个
n阶可逆矩阵
则A的列向量组
α1 α2…αn就构成了
Rn的一组基
于是利用施密特正交化方法
我们可以把α这组基
改造成为一组标准正交基
不妨设为γ1 γ2到γn
那么根据正交化的过程
我们可以反过来
把α这组向量表示成
β这组向量的线性组合的形式
具体如下
那么把这n个式子
写为矩阵的形式
就可以得到这样一个
矩阵乘积的形式
其中这个矩阵的第j列
正好表示αj表为
β1 β2…βj的
线性组合的表出系数
再有单位化的过程
我们可以得到γi 等于
βi 的同向单位向量
把这个过程也表示为
矩阵乘积的形式
就有这样的一个式子
我们将这一页的矩阵等式
代入到上一页所得到的
那个矩阵乘积式当中
就可以得到
这样的一个式子
即矩阵A可以表示为
这样的一个形式
进一步再把γ的表达式代进来
就得到了矩阵A等于
这样的三个矩阵相乘
那么我们利用结合律
去算第二个对角矩阵和
第三个上三角矩阵相乘
那么我们可以知道
它仍然等于一个上三角矩阵
并且它的主对角线上的
元素就正好是βi的模长
那么我们把黄色方框当中的
这个矩阵令为矩阵Q
由于它的列是一个标准正交基
所以它就是一个正交矩阵
那么我们把蓝色方框里的
这个矩阵记为矩阵R
那么它就对应了一个
主对角线元素为正数的
上三角矩阵
所以我们就把原来那个
可逆矩阵A分解成为
一个正交矩阵Q乘以
一个上三角矩阵R的形式
这个结论就称为
可逆矩阵的QR分解
具体地 我们给出如下的定理2
对任意n阶可逆实矩阵A
一定存在一个n阶正交矩阵Q
以及一个n阶主对角元素为
正数的上三角矩阵R
使得A可以分解为
Q乘以R的形式
这个形式就称为
可逆矩阵A的QR分解
并且这个分解是唯一的
由于存在性我们已经
在前面证明了
所以我们这里只证唯一性
假设A可以分解为Q1乘以R1
以及Q2乘以R2的
两种QR分解形式
则易知这里的Q1 Q2 R1 R2
均为可逆矩阵
从而我们可以把
Q1和Q2移到等式的一边
R1和R2移到等式的另一边
得到了这样的一个式子
上式的左边为
两个正交矩阵的乘积
依然为正交矩阵
而右边为两个上三角矩阵的乘积
依然为上三角矩阵
所以上式左右两边的逆矩阵
均为上三角形式的正交矩阵
一方面 上三角矩阵的逆
仍然为上三角阵
另一方面 上三角的
正交矩阵的逆为其转置
也就为下三角矩阵
从而说明了一个矩阵
既是上三角阵又是下三角阵
从而它只能是对角阵
进而对角阵形式的
主对角元素为正数的正交矩阵
只能为单位阵
因此我们就说明了
上面这个等式
左右两边都只能等于单位阵
而这就等价于
Q1等于Q2而R1等于R2
因此我们就证明了唯一性
本讲小结
在本讲当中
我们介绍了一种把普通基
改造成标准正交基的方法
也即所谓的施密特正交化方法
并且利用该方法
我们肯定了欧氏空间
及其任意子空间中
单位正交基的存在性
施密特正交化方法的公式
有些复杂 但是有规律
初学者需记住公式
多加练习
进一步
在向量个数s等于空间维数n
且赋予内积为标准内积的情形下
我们把施密特正交化方法
用矩阵表示出来
就得到了可逆矩阵的
QR分解的结论
它将施密特正交化方法
更加直观明了地表示出来
不仅如此
在本课程之后的相关内容推导中
QR分解理论也能发挥作用
好 本讲的内容就到这
下讲再见
-宣传片
--宣传片
-序论
--序论
-1-1 二元、三元一次方程组
-第1章 线性方程组--1-2 一般线性方程组的解法：Gauss消元法
-1-2 一般线性方程组的解法：Gauss消元法
-第1章 线性方程组--1-3 线性方程组解的判定
-1-3 线性方程组解的判定
-第1章 线性方程组--1-4 齐次线性方程组
-1-4 齐次线性方程组
-第2章 行列式--2-1 二阶、三阶行列式的性质
-2-1 二阶、三阶行列式的性质
-第2章 行列式--2-2 n元排列
-2-2 n元排列
--2-2 n元排列
-第2章 行列式--2-3 n阶行列式的定义
-2-3 n阶行列式的定义
-第2章 行列式--2-4 行列式的性质
-2-4 行列式的性质
-第2章 行列式--2-5 行列式的计算1-利用性质
-2-5 行列式的计算1-利用性质
--Video
-第2章 行列式--2-6 行列式的展开公式
-2-6 行列式的展开公式
-第2章 行列式--2-7 行列式的计算2-综合
-2-7 行列式的计算2-综合
-第2章 行列式--2-8 Cramer法则
-2-8 Cramer法则
-第3章 矩阵--3-1 矩阵及其线性运算
-3-1 矩阵及其线性运算
-第3章 矩阵--3-2 矩阵的乘法
-3-2 矩阵的乘法
-第3章 矩阵--3-3 矩阵的其他运算
-3-3 矩阵的其他运算
-第3章 矩阵--3-4 分块矩阵
-3-4 分块矩阵
--3-4 分块矩阵
-第3章 矩阵--3-5 初等矩阵
-3-5 初等矩阵
--3-5 初等矩阵
-第3章 矩阵--3-6 逆矩阵及矩阵可逆条件
-3-6 逆矩阵及矩阵可逆条件
-第3章 矩阵--3-7 逆矩阵的求法
-3-7 逆矩阵的求法
-第4章 向量空间--4-1 n维向量空间
-4-1 n维向量空间
-第4章 向量空间--4-2 向量组的线性相关性
-4-2 向量组的线性相关性
-第4章 向量空间--4-3 线性相关性的更多理论
-4-3 线性相关性的更多理论
-第4章 向量空间--4-4 极大线性无关组
-4-4 极大线性无关组
-第4章 向量空间--4-5 向量组的秩
-4-5 向量组的秩
-第4章 向量空间--4-6 矩阵的秩
-4-6 矩阵的秩
--Video
-第4章 向量空间--4-7 矩阵秩的运算律与相关结论
-4-7 矩阵秩的运算律与相关结论
-第5章 线性方程组的解理论--5-1 齐次线性方程组的解理论
-5-1 齐次线性方程组的解理论
-第5章 线性方程组的解理论--5-2 非齐次线性方程组的解理论
-5-2 非齐次线性方程组的解理论
-第5章 线性方程组的解理论--5-3 线性方程组的几何意义
-5-3 线性方程组的几何意义
-第5章 线性方程组的解理论--5-4 矩阵方程
-5-4 矩阵方程
-第6章 内积空间--6-1 向量空间中的内积与度量
-6-1 向量空间中的内积与度量
-第6章 内积空间--6-2 标准正交基与正交矩阵
-6-2 标准正交基与正交矩阵
-第6章 内积空间--6-3 Schmidt正交化与QR分解
-6-3 Schmidt正交化与QR分解
-第6章 内积空间--6-4 正交投影与正交分解
-6-4 正交投影与正交分解
-第6章 内积空间--6-5 最小二乘问题
-6-5 最小二乘问题
-第7章 矩阵的特征值理论--7-1 矩阵的特征值与特征向量
-7-1 矩阵的特征值与特征向量
-第7章 矩阵的特征值理论--7-2 特征多项式与特征子空间
-7-2 特征多项式与特征子空间
-第7章 矩阵的特征值理论--7-3 相似矩阵
-7-3 相似矩阵
--7-3 相似矩阵
-第7章 矩阵的特征值理论--7-4 矩阵的对角化问题
-7-4 矩阵的对角化问题
-第7章 矩阵的特征值理论--7-5 实对称阵的对角化
-7-5 实对称阵的对角化
-第7章 矩阵的特征值理论--7-6 特征值理论的几个应用
-7-6 特征值理论的几个应用
-第8章 矩阵与变换--8-1 矩阵映射与矩阵变换
-8-1 矩阵映射与矩阵变换
-第8章 矩阵与变换--8-2 二维三维空间中几类特殊的矩阵变换
-8-2 二维三维空间中几类特殊的矩阵变换
-第8章 矩阵与变换--8-3 矩阵映射的复合与矩阵乘法
-8-3 矩阵映射的复合与矩阵乘法
-8-4 矩阵变换的不变量与特征值理论
-第8章 矩阵与变换--8-5 坐标系替换与矩阵相似
-8-5 坐标系替换与矩阵相似
-第8章 矩阵与变换--8-6 正交变换
-8-6 正交变换
--8-6 正交变换
