当前课程知识点：线性代数(1) > 第十四讲 最小二乘法 > 14.2 最小二乘法 > 14.2 最小二乘法
好 现在我们回到了方程组
Ax等于b的求解问题上
如果Ax等于b有解
则当且仅当b是属于A的列空间
如果它没有解
b不属于a的列空间
那么这个问题转化成了求x hat
使得Ax hat减b是最小的
也就是说最接近于b的那个Ax hat
或者说就是求这个函数最小值
使得这个函数最小的那些x hat
如果从几何图形上看呢
就是b在CA上的投影点p
它是b距离CA上最近的点
也就是说这个向量b
跟CA最接近的那一点呢
就是我们的投影点p
也就是Ax hat减b最小的那个x hat
Ax hat就等于p
我们把e呢
b-Ax hat称为误差向量
x hat我们就叫最小二乘解
那么求p的过程呢
实际上就是解这个法方程
A转置Ax hat等于A转置b
我们前面已经说过
这个法方程呢
一般来说总是有解的
就是不管A是不是列满秩
这个法方程总有解
这是因为CA转置等于CA转置A
那么A转置b是属于CA转置A的
这就是它有解的条件
那么A列满秩和A不列满秩呢
它会影响到
我们这个解是不是唯一的
就是如果A转置A是可逆的
那么x hat的解是唯一的
A转置A不可逆
那么x hat就有无穷个解
而当A是列满秩的时候
A转置是可逆的
但是Ax hat等于我们的投影点
它总是唯一的
我们设α hat β hat满足A转置Ax hat
等于A转置b
也就是A转置Aα等于A转置b
A转置Aβ等于A转置b
那么这两个等式一减
我们就得到了A转置A
乘上两个向量的差等于0
这就告诉我们这个向量
是属于A转置A的零空间的
那么这个零空间跟NA是一样的
大家从这儿我们看到
我们始终在使用这两个事实
就是NA转置A
等于NA和CA转置等于CA转置A
大家要注意
这两个不同之处
这里面这个A转置
用的前面这个
而这里面呢
是使用的是后面这个NA
那么由这两个向量差属于NA呢
我们就可以推出
A乘上这两个向量差等于0
所以A呢α hat
等于Aβ hat
也就等于这个投影点p
我们看一个例子
A是这样一个矩阵
b是1 0 -1
那么我们可以验证一下
这个是没有解的
我们可以看到2倍的x1等于1
-x1+x2等于0
2倍的x2等于-1
那么由第一个呢
我们可以看出x1等于1/2
最后一个是x2等于-1/2
中间这个呢
告诉我们x1等于x2
我们看这是矛盾的方程
所以这个方程组无解
但是我们考虑一下它的法方程组
就是两边同时乘上A转置
得到法方程组
那我们具体算一下呢
A转置A是这样一个对称矩阵
那么因为A是一个列满秩的
就是这一个列
和这一列线性无关的
所以这一个是一个可逆矩阵
这样我们直接可以算出
x1 x2是唯一的
1/3和-1/3
b在CA上的投影呢
就是算出的x hat左乘一个A
如果A是列满秩的话
则A转置A是可逆的
那么x hat就可以直接写成
这样一个唯一的形式
-课前引言
--课前引言
-1.1 引言
--1.1 引言
-1.2 n维向量空间中的点
-1.3 向量
--1.3 向量
-1.4 向量空间的定义
-1.5 向量空间的线性组合
-1.6 向量的点积、长度
-1.7 向量的夹角
-1.8 两个不等式
-第一讲 向量及其运算--1.9 课后作业
-2.1 矩阵与向量的乘积
-2.2 可逆矩阵
--2.2 可逆矩阵
-2.3 线性方程组的行图和列图
-第二讲 矩阵与线性方程组--2.4 课后作业
-3.1 Gauss消元法（上）
-3.1 Gauss消元法（下）
-3.2 消元法的矩阵表示 3.2.1 消去矩阵
-3.2 消元法的矩阵表示 3.2.2 置换阵
-3.2 消元法的矩阵表示 3.2.3 初等行(列)变换和初等矩阵
-第三讲 高斯消元法--3.3 课后作业
-4.1 矩阵
--4.1 矩阵
-4.2 矩阵的加法和数乘
-4.3 矩阵的乘法
-4.4 矩阵的乘法的性质
-4.5 矩阵的方幂
-4.6 关于矩阵乘法的引入
-4.7 分块矩阵
--4.7 分块矩阵
-4.8 矩阵的转置
-第四讲 矩阵的运算--4.9 课后作业
-5.1 可逆矩阵的定义
-5.2 矩阵可逆的性质
-5.3 初等矩阵的逆
-5.4 Gauss-Jordan消元法求A的逆
-5.5 矩阵可逆与主元个数
-5.6 下三角矩阵的逆
-5.7 分块矩阵的消元和逆
-第五讲 矩阵的逆--5.8 课后作业
-6.1 LU分解
--LU分解
-6.2 用LU分解解线性方程组
-6.3 消元法的计算量
--消元法的计算量
-6.4 LU分解的存在性和唯一性
-6.5 对称矩阵的LDL^T分解
-6.6 置换矩阵
--置换矩阵
-6.7 PA=LU分解
--PA=LU分解
-第六讲 LU分解--6.8 课后作业
-7.1 引言
--7.1 引言
-7.2 向量空间和子空间
-7.3 列空间和零空间
-7.4 阶梯形
--7.4 阶梯形
-第七讲 向量空间--7.5 课后作业
-8.1 引言
--8.1 引言
-8.2 基础解系
--8.2 基础解系
-8.3 简化行阶梯形的列变换
-第八讲 求解齐次线性方程组--8.4 课后作业
-9.1 复习
-9.2 求特解
-9.3 解的一般性讨论
-第九讲 求解非齐次线性方程组--9.4 课后作业
-10.1 引言
--引言
-10.2 n维空间的坐标系
-10.3 无关性、基与维数
-10.4 无关性、基与维数的性质
-10.5 关于秩的不等式
-第十讲 线性无关、基与维数--10.6 课后作业
-11.1 四个基本子空间的基
--11.1
-11.2 维数公式
--11.2
-11.3 例题
--11.3
-第十一讲 四个基本子空间的基和维数--11.4 课后作业
-12.1 引言
--12.1
-12.2 四个子空间的正交性
--12.2
-12.3 正交补
--12.3
-12.4 Ax=b在行空间中的唯一性
--12.4
-第十二讲 四个基本子空间的正交关系--12.5 课后作业
-13.1 引言
--13.1 引言
-13.2 点在直线和平面上的投影
-13.3 一般情形
-第十三讲 正交投影--13.4 课后作业
-14.1 复习
--14.1 复习
-14.2 最小二乘法
-14.3 最小二乘法的应用：曲线拟合
-第十四讲 最小二乘法--14.4 课后作业
-15.1 引言
--15.1 引言
-15.2 正交向量组和正交矩阵
-15.3 Gram-Schmidt正交化过程
-15.4 QR分解
-第十五讲 Gram-Schmidt正交化--15.5 课后作业
-16.1 引言
--16.1 引言
-16.2 二阶行列式的几何含义
-16.3 一般行列式的定义
-16.4 行列式和初等变换
-第十六讲 行列式的基本性质--16.5 课后作业
-17.1 行列式计算公式与展开定理
-17.2 典型例题
-第十七讲 行列式的计算--17.3 课后作业
-18.1 引言
--18.1 引言
-18.2.1 求逆矩阵公式
-18.2.2 线性方程组的公式解
-18.3 计算有向长度、面积和体积
-18.4 和QR分解的联系
-第十八讲 Cramer法则及行列式的几何意义--18.5 课后作业
-19.1 引言和定义
--default
-19.2 例
--default
-19.3 特征值的性质
--default
-第十九讲 特征值与特征向量--19.4 课后作业
-20.1 矩阵可对角化的条件
--default
-20.2 特征值的代数重数和几何重数
--default
-20.3 矩阵可对角化的应用
--default
-20.4 同时对角化
--default
-20.5 小结
--default
-第二十讲 矩阵的对角化--20.6 课后作业
-21.1 引言
--21.1 引言
-21.2 A可对角化的情形
-21.3 矩阵的指数函数
-21.4 二阶常系数线性微分方程
-21.5 微分方程的稳定性
-第二十一讲 特征值在微分方程中的应用--21.6 课后作业
-22.1 实对称矩阵的特征值与特征向量
-22.2 实对称阵正交相似于对角阵
-22.3 实对称阵特征值与主元的关系
-22.4 小结
--22.4 小结
-第二十二讲 实对称矩阵--22.5 课后作业
-总结和预告
