当前课程知识点：线性代数(1) > 第十四讲 最小二乘法 > 14.3 最小二乘法的应用：曲线拟合 > 14.3 最小二乘法的应用：曲线拟合
我们通过法方程组求出的x hat呢
我们叫最小二乘解
这种方法呢就叫最小二乘法
最小二乘法的一个最主要的应用
就是曲线的拟合
我们下面来看一下确切的含义
我们现在给一组数据
比如说一天的12个小时中
我们每一个小时做一个测量
我们得到了一些数据
16 35 45等等
那么大家可以看到
这个图上描点出来的
这些红点呢
它们整个轨迹像一条直线
但是又不完全在一条直线上
所以我们希望找出一条直线
使得这条直线跟这些红点
尽可能的误差较小
那么用我们的数学语言
确切地描述就是这样
找这条直线
那么比如说我们来看这个
假如说这是第五个
那么这个红点
就是我们测量的数据y5
而我们找的这条蓝的直线呢
跟我这个红线的交点呢
就是在5这一点的取值呢
就是y5 hat
那么我们希望这两个之间的差距
也就是ei尽可能的小
那么测量这种尽可能的小呢
有多种测量方法
我们选择的是
考虑ei的平方和较小 尽可能小
能够使得ei平方和尽可能小的
这样一个蓝色的直线呢
就是我们要找的回归直线
这条直线我们起个名字
就叫回归直线
我们把这个问题一般的写出来
是下面的
给定一组数据x1 y1到xN yN
那么要找一条直线C+Dx
那么这条直线呢
要想求出来
我们就要把这个C和D算出来
就是能够使得误差
这些就是我们的e1到eN
使得这些平方和最小
我们把这个
写成一个向量的形式呢
就是考虑这个向量
y1-（C+Dx1）到yN-（C+DxN）
这样一个向量的长度
就是我们的上面的E（C D）
开根号
那么这样一个向量呢
我们可以把它写成这样一个形式
y1到yN
这是我们测量数据的
第二个分量构成的向量
减去C+Dx1
这是我们测量数据
第一个分量在那条直线上的取值
也就是纵坐标值构成的向量
那么这个向量
就相当于这两个向量之间的差
好 我们把这个再改写一下
我们令A等于1 x1到1 xN
b是y1到yN
b就是我们测量的数据
第二个分量
那么实际上刚才那个长度最小呢
实际上就是b-Ax hat最小
使得我们要找出一个
最小二乘的解使得这个最小
这样我们就把刚才
那么一个实际的问题
转化成了求最小二乘解的问题
那么求这个最小二乘解呢
我们的方法前面已经说过
就是考虑法方程
A转秩Ax hat等于A转秩b
那么我们代进去
最后得到这样一个等式
这个等式呢
我们解出C和D
一般来说大家可以看到
A它实际上是个列满秩的
除非x1到xN都取1
那么x1到xN都取1呢
那就没有意义了
因为我们的数据一般来说
x1到xN是不相等的
所以A一般来说都是列满秩的
A列满秩呢
我们可以看到这个矩阵是可逆的
所以我们能求出
唯一的C hat和D hat
那为了写出这个呢
我们用个简单的记号
就是用x bar来表示xi的平均值
y bar代表yi的平均值
那么由这样呢
我们直接就可以算出
D hat等于这样一个表达式
这个表达式呢
大家如果看其他的书呢
有时候它使用这样一个形式
就是Sigma xi-x bar乘上yi-y bar
i从1到n
除以Sigma i从1到n
xi-x bar的平方
这样一个表达形式
D hat算出来以后呢
我们就可以把C hat
就可以直接写出来了
那么这样算出的C hat和D hat
得到的直线
就是我们也叫最小二乘直线
因为它是由这个方程组
法方程组求这个最小二乘解
给出的直线 最小二乘直线
如果我们这个条件
满足x bar等于0
也就是说这些xi取值的
它们的平均值是0的话
那么这时候我们更容易算出
这个最小二乘直线
因为这时候呢
这一项和这一项都是0了
也就是说
我们这个法方程组
变成一个对角阵了
所以更容易算出这条直线
这是关于直线的拟合
我们再来看一个
二次曲线拟合问题
求二次曲线
使得这个二次曲线
跟下面这组数据呢误差最小
我们先来看这组数据呢
x是19 25 31 38 44
y呢也取这相应的5个值
那么按照
我们刚才那个直线拟合的性质呢
我们可以写出
我们应该求一条
y等于a+bx+cx平方
这样一个二次曲线
使得什么呢
使得我们测量的数据的
第二个分量yk
和这个二次曲线上
相应地取的纵坐标值
它们之间的误差ek的平方和最小
那么我们也要把它
转化成一个法方程组
那么我们来看一下
这时候我们令
A就等于1 x1 x1平方
b等于y1到y5
x hat等于a b c
那么这时候呢
上面ei的平方和最小
就相当于求x hat
使得b-Ax hat它的长度最小
那这时候
我们最后求出来这个法方程呢
得到的a b c呢
就是得到了我们二次曲线的值
这就是我们最后求到的拟合曲线
大家可以把这个
推广到一般的n次曲线
就是我们给一组数据
我们希望找一个n次曲线
使得这个曲线
跟这组数据是拟合的
拟合的意思就是我们刚才说的
使得这个ei的平方最小
那么求的方法呢
都是先找到这个矩阵A
那么如果是n次曲线呢
我们大家可以猜到
这个A就是1 x1到x1的n次方
然后这样一组数据
比如说在这里面是5个点
那么就是x5的n次方
最后我们来说一下
我们最小二乘法
所用的法方程组呢
也是来自于微积分的
就是我们求
使得这个Ax-b长度最小的这个x
那么这样一个极值问题呢
如果从微积分的角度来看呢
实际上它是偏导等于0的一些点
那么我们看一下
我们可以令f（x1到xn）
就是Ax-b这个长度的平方
那么它呢
我们写开就是等于Ax-b的转置
乘上Ax-b
最后这个可以写成四项
那么回忆对于这样一个函数呢
多元函数
它的偏导
对每一个分量的偏导这个向量
我们最终可以算一下
它等于这个值
实际上我们大家可以算一下
这一个呢
实际上是一个
x的二次平方和的一些关系
我们这个是二次型
那么这个呢
如果你对它求偏导的话
对这一项求偏导
它最后得到的结果呢
是2倍的A转置Ax
如果对这一项求偏导呢
我们得到的是A转置b
这一项求偏导呢
我们得到的也是A转置b
这项对x求偏导呢是0
所以最终呢
我们求出来的偏导是这个
我们拿个例子解释一下这个
比如说我们来看一下
这个b转置Ax
我们令b转置A等于α的转置
等于a1到an
那么b转置Ax呢
就是这样一个函数
a1x1+anxn
那么我们对这个函数求偏导
那么等于对每一个分量求偏导
那大家可以看到
这个函数你对x1求偏导呢
最后得到的是a1
对x2求偏导就是a2
对于xn求偏导是an
所以我们最终得到了这个
这个就是我们的α
就是我们的α
那么也就是A转置b
好 那么由这个呢
我们看到如果x hat要满足
这个极小值
那么偏导必须在这一块是0
所以最终这个式子就必须等于0
所以我们最后得到了
就是我们的法方程组
拿个简单的例子来验证一下这个
如果A是a b c d
b是t1 t2
那么这时候我们考虑的
f x1 x2就是这样一个表达式
也就是说这个是Ax hat
Ax-b的平方
那么这时候大家可以验证呢
这个求偏导最后
算出来的是这样一个向量形式
这个就是我们的A转置A
而这个呢就是我们的A转置b
-课前引言
--课前引言
-1.1 引言
--1.1 引言
-1.2 n维向量空间中的点
-1.3 向量
--1.3 向量
-1.4 向量空间的定义
-1.5 向量空间的线性组合
-1.6 向量的点积、长度
-1.7 向量的夹角
-1.8 两个不等式
-第一讲 向量及其运算--1.9 课后作业
-2.1 矩阵与向量的乘积
-2.2 可逆矩阵
--2.2 可逆矩阵
-2.3 线性方程组的行图和列图
-第二讲 矩阵与线性方程组--2.4 课后作业
-3.1 Gauss消元法（上）
-3.1 Gauss消元法（下）
-3.2 消元法的矩阵表示 3.2.1 消去矩阵
-3.2 消元法的矩阵表示 3.2.2 置换阵
-3.2 消元法的矩阵表示 3.2.3 初等行(列)变换和初等矩阵
-第三讲 高斯消元法--3.3 课后作业
-4.1 矩阵
--4.1 矩阵
-4.2 矩阵的加法和数乘
-4.3 矩阵的乘法
-4.4 矩阵的乘法的性质
-4.5 矩阵的方幂
-4.6 关于矩阵乘法的引入
-4.7 分块矩阵
--4.7 分块矩阵
-4.8 矩阵的转置
-第四讲 矩阵的运算--4.9 课后作业
-5.1 可逆矩阵的定义
-5.2 矩阵可逆的性质
-5.3 初等矩阵的逆
-5.4 Gauss-Jordan消元法求A的逆
-5.5 矩阵可逆与主元个数
-5.6 下三角矩阵的逆
-5.7 分块矩阵的消元和逆
-第五讲 矩阵的逆--5.8 课后作业
-6.1 LU分解
--LU分解
-6.2 用LU分解解线性方程组
-6.3 消元法的计算量
--消元法的计算量
-6.4 LU分解的存在性和唯一性
-6.5 对称矩阵的LDL^T分解
-6.6 置换矩阵
--置换矩阵
-6.7 PA=LU分解
--PA=LU分解
-第六讲 LU分解--6.8 课后作业
-7.1 引言
--7.1 引言
-7.2 向量空间和子空间
-7.3 列空间和零空间
-7.4 阶梯形
--7.4 阶梯形
-第七讲 向量空间--7.5 课后作业
-8.1 引言
--8.1 引言
-8.2 基础解系
--8.2 基础解系
-8.3 简化行阶梯形的列变换
-第八讲 求解齐次线性方程组--8.4 课后作业
-9.1 复习
-9.2 求特解
-9.3 解的一般性讨论
-第九讲 求解非齐次线性方程组--9.4 课后作业
-10.1 引言
--引言
-10.2 n维空间的坐标系
-10.3 无关性、基与维数
-10.4 无关性、基与维数的性质
-10.5 关于秩的不等式
-第十讲 线性无关、基与维数--10.6 课后作业
-11.1 四个基本子空间的基
--11.1
-11.2 维数公式
--11.2
-11.3 例题
--11.3
-第十一讲 四个基本子空间的基和维数--11.4 课后作业
-12.1 引言
--12.1
-12.2 四个子空间的正交性
--12.2
-12.3 正交补
--12.3
-12.4 Ax=b在行空间中的唯一性
--12.4
-第十二讲 四个基本子空间的正交关系--12.5 课后作业
-13.1 引言
--13.1 引言
-13.2 点在直线和平面上的投影
-13.3 一般情形
-第十三讲 正交投影--13.4 课后作业
-14.1 复习
--14.1 复习
-14.2 最小二乘法
-14.3 最小二乘法的应用：曲线拟合
-第十四讲 最小二乘法--14.4 课后作业
-15.1 引言
--15.1 引言
-15.2 正交向量组和正交矩阵
-15.3 Gram-Schmidt正交化过程
-15.4 QR分解
-第十五讲 Gram-Schmidt正交化--15.5 课后作业
-16.1 引言
--16.1 引言
-16.2 二阶行列式的几何含义
-16.3 一般行列式的定义
-16.4 行列式和初等变换
-第十六讲 行列式的基本性质--16.5 课后作业
-17.1 行列式计算公式与展开定理
-17.2 典型例题
-第十七讲 行列式的计算--17.3 课后作业
-18.1 引言
--18.1 引言
-18.2.1 求逆矩阵公式
-18.2.2 线性方程组的公式解
-18.3 计算有向长度、面积和体积
-18.4 和QR分解的联系
-第十八讲 Cramer法则及行列式的几何意义--18.5 课后作业
-19.1 引言和定义
--default
-19.2 例
--default
-19.3 特征值的性质
--default
-第十九讲 特征值与特征向量--19.4 课后作业
-20.1 矩阵可对角化的条件
--default
-20.2 特征值的代数重数和几何重数
--default
-20.3 矩阵可对角化的应用
--default
-20.4 同时对角化
--default
-20.5 小结
--default
-第二十讲 矩阵的对角化--20.6 课后作业
-21.1 引言
--21.1 引言
-21.2 A可对角化的情形
-21.3 矩阵的指数函数
-21.4 二阶常系数线性微分方程
-21.5 微分方程的稳定性
-第二十一讲 特征值在微分方程中的应用--21.6 课后作业
-22.1 实对称矩阵的特征值与特征向量
-22.2 实对称阵正交相似于对角阵
-22.3 实对称阵特征值与主元的关系
-22.4 小结
--22.4 小结
-第二十二讲 实对称矩阵--22.5 课后作业
-总结和预告
