当前课程知识点:线性代数(1) > 第十五讲 Gram-Schmidt正交化 > 15.4 QR分解 > 15.4 QR分解
从这一部分呢
我们来考虑一下上一节的
我们把v1到vk这一组无关向量
变成一个q1到qk
这样一组标准正交的
那么这一节我们来考虑一下
当我们把v1 vk做成一个矩阵
也就是说用它们做列
得到一个新的用q1到qk
得到的一个矩阵Q
这样一个变换过程呢
就是我们的
Gram-schmidt正交化过程
那么我们把这个过程
希望写成矩阵的形式
我们回忆
当时我们做高斯消元法的时候
把一个A通过行消去
变成一个上三角阵U
那么A就等于LU
LU分解实际上就是
高斯消元法的矩阵形式
那么现在呢
我们是把A通过列变换变成Q
那么A呢就可以等于QR
对照正交化的公式呢
A是等于QR
Q是个列正交阵
R是个对角线为正数的上三角阵
一般来说呢
Q可能不一定是方阵
但是R呢总是一个方阵
R呢我们可以写出
它的一个形式呢应该是
q1转置v1到qk转置vk
这个地方是q1转置vk
这底下是0
那么这些对角线的元素qi
转置vi
我们回忆一下
上次我们的Gram Schmidt
就是我们的ei的长度
所以它的对角线呢
一般来说都是长度大于0的
也就是说R实际上是个可逆阵
我们下面来看一下
QR分解的一些应用
第一个应用呢
我们想考虑一下
如果A是个列满秩矩阵的时候
它的QR分解能帮助我们给出
它的最小二乘解
假设A列满秩
那么A呢最后可以写成
一个QR的形式
Q是个列正交阵
那么Ax等于b呢
我们考虑它的法方程组
通过这样的化简
最后我们可以得到x hat
等于R的逆乘上Q转置b
这就是它的最小二乘解
那么更特别的
如果A的列本身是相互正交的
那么这时候R就更简单了
R就是个对角阵
这时候列相互正交
R就是个对角阵
这时候呢
最小二乘解实际上
就有更简单的一个表达形式
另一方面如果Ax等于b无解
则我们可以看到
b在C(A)上的投影
是这样一个表达形式
因为这时候这个αi
都是相互正交的
所以我们使用一个向量
在相互正交向量上的投影
这个概念呢
我们就可以算出这个投影
确切的这个p
作为b在C(A)上的投影
我们第二点我们要看一下
A如果是一个可逆矩阵的话
这时候QR分解是唯一的
我们来看一下
假设A等于Q1R1
和Q2R2两种分解方式
那么我们把
这时候Q是个正交阵
因为A是个方阵 Q是个正交阵
这时候我们把Q2呢
就移到左边
左乘一个Q2逆
我们得到这样一个表达式
好 那么我们来看一下
Q2逆乘Q1等于R2乘R1逆
Q2逆乘Q1呢
是两个正交阵的乘积
那么它还是个正交阵
但是R2本身这个上三角阵
R1也是个上三角阵
一个上三角阵的逆
还是上三角阵
它们的乘积也是上三角阵
而且对角线元素都是大于0的
那么这两个等式相等呢
告诉我们
存在的一个正交阵
同时又是一个上三角阵
且对角线元素都大于0
那么可以看到这样一个矩阵呢
它必须是单位阵
为什么呢
因为一个上三角阵它的逆
还是上三角的
而一个正交阵呢
它的逆呢是它的转置
所以一个上三角阵
又是一个正交阵
那么它的逆是它的转置
但是上三角阵的转置
又是下三角阵
所以除了单位阵和对角阵以外
不存在着一个同时上三角阵
又是正交阵的
然后我们再使用对角元素为正
我们就推出了
这个对角阵必须是个单位阵
第三点我们来看一下
如果A是列满秩的话
它有QR分解
那么假设我们Ax等于b是无解的
也就是b不属于C(A)
我们找这样一个
不在列空间中的b
那么b在C(A)上的投影为p
这我们都已知的
那么这时候
我们考虑增广矩阵A b
它也是列满秩的
因为b不属于A的列空间
所以这个矩阵呢
它的列还是线性无关的
也就是说b不可能用A的列
线性组合出来
A的列也不可能用b
和A的其他列线性组合出来
那么这时候呢
关于这个增广矩阵
它的QR分解呢
就是这种表达形式
那么我们看到这个e的长度呢
实际上是b这个向量减去p
这个p是b这个向量
在前面的空间里面的投影
就是p实际上是b在CA上的投影
而CA呢
比如说我们把A写成一个α1到αn
那么这一组呢
假如说变成Q等于q1到qn
那么实际上这个CA呢
就等于L(q1到qn)
所以这个p呢实际上
是q1到qn的线性组合
也是b在这上面的坐标
b把它在这个空间的坐标减去
那么得到的呢
就是在剩下的一部分的向量
所以我们考虑
这样一个误差向量的长度
就是它的新的QR分解
对角的最后一项
-课前引言
--课前引言
-1.1 引言
--1.1 引言
-1.2 n维向量空间中的点
-1.3 向量
--1.3 向量
-1.4 向量空间的定义
-1.5 向量空间的线性组合
-1.6 向量的点积、长度
-1.7 向量的夹角
-1.8 两个不等式
-第一讲 向量及其运算--1.9 课后作业
-2.1 矩阵与向量的乘积
-2.2 可逆矩阵
--2.2 可逆矩阵
-2.3 线性方程组的行图和列图
-第二讲 矩阵与线性方程组--2.4 课后作业
-3.1 Gauss消元法(上)
-3.1 Gauss消元法(下)
-3.2 消元法的矩阵表示 3.2.1 消去矩阵
-3.2 消元法的矩阵表示 3.2.2 置换阵
-3.2 消元法的矩阵表示 3.2.3 初等行(列)变换和初等矩阵
-第三讲 高斯消元法--3.3 课后作业
-4.1 矩阵
--4.1 矩阵
-4.2 矩阵的加法和数乘
-4.3 矩阵的乘法
-4.4 矩阵的乘法的性质
-4.5 矩阵的方幂
-4.6 关于矩阵乘法的引入
-4.7 分块矩阵
--4.7 分块矩阵
-4.8 矩阵的转置
-第四讲 矩阵的运算--4.9 课后作业
-5.1 可逆矩阵的定义
-5.2 矩阵可逆的性质
-5.3 初等矩阵的逆
-5.4 Gauss-Jordan消元法求A的逆
-5.5 矩阵可逆与主元个数
-5.6 下三角矩阵的逆
-5.7 分块矩阵的消元和逆
-第五讲 矩阵的逆--5.8 课后作业
-6.1 LU分解
--LU分解
-6.2 用LU分解解线性方程组
-6.3 消元法的计算量
--消元法的计算量
-6.4 LU分解的存在性和唯一性
-6.5 对称矩阵的LDL^T分解
-6.6 置换矩阵
--置换矩阵
-6.7 PA=LU分解
--PA=LU分解
-第六讲 LU分解--6.8 课后作业
-7.1 引言
--7.1 引言
-7.2 向量空间和子空间
-7.3 列空间和零空间
-7.4 阶梯形
--7.4 阶梯形
-第七讲 向量空间--7.5 课后作业
-8.1 引言
--8.1 引言
-8.2 基础解系
--8.2 基础解系
-8.3 简化行阶梯形的列变换
-第八讲 求解齐次线性方程组--8.4 课后作业
-9.1 复习
-9.2 求特解
-9.3 解的一般性讨论
-第九讲 求解非齐次线性方程组--9.4 课后作业
-10.1 引言
--引言
-10.2 n维空间的坐标系
-10.3 无关性、基与维数
-10.4 无关性、基与维数的性质
-10.5 关于秩的不等式
-第十讲 线性无关、基与维数--10.6 课后作业
-11.1 四个基本子空间的基
--11.1
-11.2 维数公式
--11.2
-11.3 例题
--11.3
-第十一讲 四个基本子空间的基和维数--11.4 课后作业
-12.1 引言
--12.1
-12.2 四个子空间的正交性
--12.2
-12.3 正交补
--12.3
-12.4 Ax=b在行空间中的唯一性
--12.4
-第十二讲 四个基本子空间的正交关系--12.5 课后作业
-13.1 引言
--13.1 引言
-13.2 点在直线和平面上的投影
-13.3 一般情形
-第十三讲 正交投影--13.4 课后作业
-14.1 复习
--14.1 复习
-14.2 最小二乘法
-14.3 最小二乘法的应用:曲线拟合
-第十四讲 最小二乘法--14.4 课后作业
-15.1 引言
--15.1 引言
-15.2 正交向量组和正交矩阵
-15.3 Gram-Schmidt正交化过程
-15.4 QR分解
-第十五讲 Gram-Schmidt正交化--15.5 课后作业
-16.1 引言
--16.1 引言
-16.2 二阶行列式的几何含义
-16.3 一般行列式的定义
-16.4 行列式和初等变换
-第十六讲 行列式的基本性质--16.5 课后作业
-17.1 行列式计算公式与展开定理
-17.2 典型例题
-第十七讲 行列式的计算--17.3 课后作业
-18.1 引言
--18.1 引言
-18.2.1 求逆矩阵公式
-18.2.2 线性方程组的公式解
-18.3 计算有向长度、面积和体积
-18.4 和QR分解的联系
-第十八讲 Cramer法则及行列式的几何意义--18.5 课后作业
-19.1 引言和定义
--default
-19.2 例
--default
-19.3 特征值的性质
--default
-第十九讲 特征值与特征向量--19.4 课后作业
-20.1 矩阵可对角化的条件
--default
-20.2 特征值的代数重数和几何重数
--default
-20.3 矩阵可对角化的应用
--default
-20.4 同时对角化
--default
-20.5 小结
--default
-第二十讲 矩阵的对角化--20.6 课后作业
-21.1 引言
--21.1 引言
-21.2 A可对角化的情形
-21.3 矩阵的指数函数
-21.4 二阶常系数线性微分方程
-21.5 微分方程的稳定性
-第二十一讲 特征值在微分方程中的应用--21.6 课后作业
-22.1 实对称矩阵的特征值与特征向量
-22.2 实对称阵正交相似于对角阵
-22.3 实对称阵特征值与主元的关系
-22.4 小结
--22.4 小结
-第二十二讲 实对称矩阵--22.5 课后作业
-总结和预告