当前课程知识点：线性代数(1) > 第十四讲 最小二乘法 > 14.1 复习 > 14.1 复习
大家好
上一讲我们学习了投影的概念
投影概念的一个最主要的应用
就是最小二乘法
简单地说
给你一个Ax等于b的方程组
如果它无解
那么我们就考虑b在CA上的投影
这样整个方程组的问题
就转化成了求Ax等于p的方程组
那么这个方程组的求解
在一上讲中我们就转化成了
求法方程组的问题
这一讲呢
我们就详细的解释最小二乘法
及其它的一个主要应用
就是关于曲线的拟合
特别的
我们会给出最小回归直线的解法
我们在上一节呢
讲了投影这个概念
投影这个概念实际上
一个非常主要的应用
就是我们的最小二乘法
在讲最小二乘法之前
我们先复习一下
上一次的那些内容
回忆一个向量α属于Rm
它在一个空间V中上的投影αp
我们怎么来求呢
首先我们要把这个空间V
变成某一个列空间
所以呢
我们先在V里面找一组基
β1 βk
然后我们用这组基做列向量
形成一个矩阵M
那么自然的
这个V就是M的列空间
好 第一步
我们把V变成一个列空间
然后αp就是α
在CM这个列空间上的投影
要求这个投影
我们要考虑下面这个方程
就是M转置Mx等于M转置α
这个方程呢
我们上一节也说过它是法方程
这个方程我们解呢求出x
可能不唯一
那么现在呢我们取得
因为M是一个列满秩的
所以M转置M是可逆的
这样我们就得到了唯一的x
然后呢αp就是左乘一个M
到x上
那么我们把这个矩阵叫投影矩阵
我们注记一下
如果M是列满秩的话
My就只有零解
那么M转置My
等于0也只有0解
那么由此M转置M也是列满秩的
就是M转置M是可逆的
因为M转置M它首先是个方阵
M不一定是方阵
第二条P等于M乘M转置M的逆
再乘上M转置呢称为投影矩阵
一个矩阵我们把它叫做投影矩阵
如果它满足它的平方等于它自己
这个我们叫幂等矩阵
另一点呢 它是对称的
有些同学可能会对
这一点有点疑问
为什么投影矩阵
要定义加上这么一个条件
P转置乘P
投影矩阵的第一条大家容易理解
就是当那个向量属于
我们投影的那个空间的时候
你乘个P等于没有乘
所以P的平方等于P容易理解
P转置等于P呢
我们是因为
我们考虑的正交和垂直性
因为对于任何一个α β属于Rm
我们需要保证这么一条
Pα总是跟（I-P）β垂直的
为什么呢 我们来看一下
一个向量α
它得到的一个Pα
那么剩下的
误差的这一部分向量呢
就是我们的（I-P）α
那么（I-P）α跟Pα要垂直
实际上（I-P）α呢
要跟所有的P的列空间上的向量
都要垂直
所以（I-P）α
实际上跟任何的一个P乘上β
都垂直的
那么这个垂直呢
如果用矩阵的语言呢
就是P转置乘I-P等于0
或者I-P转置乘P等于0
把这两个打开以后呢
我们就看到
必须要有P转置等于P这个概念
和这个条件
在上次我们也熟悉了这个命题
P是一个n阶投影矩阵
则CP等于N（I-P）
C（I-P）等于NP
我们看如果P的平方等于P
那么把P移到右边
我们有这样一个等式
这个等式就暗示着
I-P的列空间包含在
P的零空间里面
任意α属于Rn呢
α都可以写成两部分
这两部分自然是垂直的
就是Pα属于P的列空间
（I-P）α是跟这个列空间垂直的
Rn就可以写成C（I-P）+CP
有上面这个等式
但另一方面呢
Rn又可以写成NP加上CP
大家注意这样一个等式
我们不能直接的把CP约掉
推出NP等于等于C（I-P）
但是呢 我们可以确切的看
α属于NP的话
那么α呢它就等于（I-P）α+Pα
但是Pα是0
因为α属于NP
所以这样子我们就看出
任何一个NP中的向量
实际上都是
I-P列空间的一个向量
由此我们就可以看出
这个实际上是
C（I-P）的一个子空间
那么反过来当然也是对的
你任取一个C（I-P）的一个向量我们可以通过这个分解呢
写成NP中的一个向量
第三点呢
如果A是一个m乘n的矩阵
Rm就是等于CA+NA转置
我们要求α属于Rm
关于这个和的分解
α等于α1+α2
那么使用以上的这个求的方法
我们实际上是找CA中的一组基
β1 βr
然后让M取这组基
得到了这个列满秩矩阵
那么CA就等于CM
我们就把求α在CA中的投影
转化成了α在CM中的投影
这样的问题
-课前引言
--课前引言
-1.1 引言
--1.1 引言
-1.2 n维向量空间中的点
-1.3 向量
--1.3 向量
-1.4 向量空间的定义
-1.5 向量空间的线性组合
-1.6 向量的点积、长度
-1.7 向量的夹角
-1.8 两个不等式
-第一讲 向量及其运算--1.9 课后作业
-2.1 矩阵与向量的乘积
-2.2 可逆矩阵
--2.2 可逆矩阵
-2.3 线性方程组的行图和列图
-第二讲 矩阵与线性方程组--2.4 课后作业
-3.1 Gauss消元法（上）
-3.1 Gauss消元法（下）
-3.2 消元法的矩阵表示 3.2.1 消去矩阵
-3.2 消元法的矩阵表示 3.2.2 置换阵
-3.2 消元法的矩阵表示 3.2.3 初等行(列)变换和初等矩阵
-第三讲 高斯消元法--3.3 课后作业
-4.1 矩阵
--4.1 矩阵
-4.2 矩阵的加法和数乘
-4.3 矩阵的乘法
-4.4 矩阵的乘法的性质
-4.5 矩阵的方幂
-4.6 关于矩阵乘法的引入
-4.7 分块矩阵
--4.7 分块矩阵
-4.8 矩阵的转置
-第四讲 矩阵的运算--4.9 课后作业
-5.1 可逆矩阵的定义
-5.2 矩阵可逆的性质
-5.3 初等矩阵的逆
-5.4 Gauss-Jordan消元法求A的逆
-5.5 矩阵可逆与主元个数
-5.6 下三角矩阵的逆
-5.7 分块矩阵的消元和逆
-第五讲 矩阵的逆--5.8 课后作业
-6.1 LU分解
--LU分解
-6.2 用LU分解解线性方程组
-6.3 消元法的计算量
--消元法的计算量
-6.4 LU分解的存在性和唯一性
-6.5 对称矩阵的LDL^T分解
-6.6 置换矩阵
--置换矩阵
-6.7 PA=LU分解
--PA=LU分解
-第六讲 LU分解--6.8 课后作业
-7.1 引言
--7.1 引言
-7.2 向量空间和子空间
-7.3 列空间和零空间
-7.4 阶梯形
--7.4 阶梯形
-第七讲 向量空间--7.5 课后作业
-8.1 引言
--8.1 引言
-8.2 基础解系
--8.2 基础解系
-8.3 简化行阶梯形的列变换
-第八讲 求解齐次线性方程组--8.4 课后作业
-9.1 复习
-9.2 求特解
-9.3 解的一般性讨论
-第九讲 求解非齐次线性方程组--9.4 课后作业
-10.1 引言
--引言
-10.2 n维空间的坐标系
-10.3 无关性、基与维数
-10.4 无关性、基与维数的性质
-10.5 关于秩的不等式
-第十讲 线性无关、基与维数--10.6 课后作业
-11.1 四个基本子空间的基
--11.1
-11.2 维数公式
--11.2
-11.3 例题
--11.3
-第十一讲 四个基本子空间的基和维数--11.4 课后作业
-12.1 引言
--12.1
-12.2 四个子空间的正交性
--12.2
-12.3 正交补
--12.3
-12.4 Ax=b在行空间中的唯一性
--12.4
-第十二讲 四个基本子空间的正交关系--12.5 课后作业
-13.1 引言
--13.1 引言
-13.2 点在直线和平面上的投影
-13.3 一般情形
-第十三讲 正交投影--13.4 课后作业
-14.1 复习
--14.1 复习
-14.2 最小二乘法
-14.3 最小二乘法的应用：曲线拟合
-第十四讲 最小二乘法--14.4 课后作业
-15.1 引言
--15.1 引言
-15.2 正交向量组和正交矩阵
-15.3 Gram-Schmidt正交化过程
-15.4 QR分解
-第十五讲 Gram-Schmidt正交化--15.5 课后作业
-16.1 引言
--16.1 引言
-16.2 二阶行列式的几何含义
-16.3 一般行列式的定义
-16.4 行列式和初等变换
-第十六讲 行列式的基本性质--16.5 课后作业
-17.1 行列式计算公式与展开定理
-17.2 典型例题
-第十七讲 行列式的计算--17.3 课后作业
-18.1 引言
--18.1 引言
-18.2.1 求逆矩阵公式
-18.2.2 线性方程组的公式解
-18.3 计算有向长度、面积和体积
-18.4 和QR分解的联系
-第十八讲 Cramer法则及行列式的几何意义--18.5 课后作业
-19.1 引言和定义
--default
-19.2 例
--default
-19.3 特征值的性质
--default
-第十九讲 特征值与特征向量--19.4 课后作业
-20.1 矩阵可对角化的条件
--default
-20.2 特征值的代数重数和几何重数
--default
-20.3 矩阵可对角化的应用
--default
-20.4 同时对角化
--default
-20.5 小结
--default
-第二十讲 矩阵的对角化--20.6 课后作业
-21.1 引言
--21.1 引言
-21.2 A可对角化的情形
-21.3 矩阵的指数函数
-21.4 二阶常系数线性微分方程
-21.5 微分方程的稳定性
-第二十一讲 特征值在微分方程中的应用--21.6 课后作业
-22.1 实对称矩阵的特征值与特征向量
-22.2 实对称阵正交相似于对角阵
-22.3 实对称阵特征值与主元的关系
-22.4 小结
--22.4 小结
-第二十二讲 实对称矩阵--22.5 课后作业
-总结和预告
