当前课程知识点：数值分析 > 第六章 函数逼近 > 6.1 数据拟合的最小二乘法（1）多项式拟合 > 数据拟合的最小二乘法（1）多项式拟合
各位同学 大家好
我是北京理工大学的朱国庆老师
从今天开始给大家讲第六章
函数逼近的内容
函数逼近这部分内容主要是两个方面
一个是离散数据的最小二乘逼近
还有一个是复杂函数的最佳平方逼近问题
首先我们来看一个例子
这个例子是说
如果我们已经知道了一组实测的数据
比如说xi从0.1 0.2 0.3一直到1.0
相当于是0.1到1.0之上
我们平均分了10份
然后在每一个节点之上
我们知道它的函数值
跟前面一章类似的地方就是
我们根据这些数据值
如果可以找到满足函数关系
y等于ax加上bx平方e的负cx加d
这种函数的话
那么我们说如何求这个拟合的参数
a b c d
使得根据你前面的已测的数据
在某种意义下这个误差达到最小
可以跟前一章对比一下
我们上一章
其实要求的是
已知的这些数据点
我们要求在这些数据点之上
通过这些数据点也就是在这些数据点之上
局部误差等于零
然后我们得到所谓的插值多项式
那么这一章
我们可以告诉大家就是
这一章的内容
与上一章已知数据是一样的
但是它所要求达到的目标是不一样的
就是整体上得到一个满足某个关系的拟合函数
我们来看一下具体的描述
如果是前面插值法的理论的话
是你已经给定的这些离散的数据
我们是希望近似的这个函数
能够通过这给定的这些近似数据
然后从局部的角度来看的话
那么给定的的离散数据点上的
近似函数值和精确值是一样的
也就是误差为零
然后我们这个第六章讨论的函数逼近的内容
是希望得到一个整体逼近
然后我们要反映的是整体的变化趋势
它实际上就是说
你在每一个节点之上
它都有真实值和近似值的区分
那么每一个节点之上
都有所谓的叫做残差的概念
我们是希望残差最小
为了说得更明白更清楚一点
我们画一个图示
如果已知数据表xi yi
用一个简单的图示右边给出来了
然后我们插值法理论第五章的时候
是说过已知的节点
我们去构造一个简单的函数
使得我们这个函数
穿过了这给定的数据点
也就是在图示上可以看得出来
这个曲线把所有的点都连了起来
然后可能有比较多的震荡的情况
就是有一些高高低低的弯曲的地方
然后我们这一章的内容讨论的时候
是说求一个近似的函数Φ(x)
使得尽可能“好”地反映出来
这些数据点的基本的变化趋势
那么在数学上会觉得你说尽可能的好
那么数学的严谨的描述应该是什么样子呢
我们看一下数学上具体是怎么说这件事情的
数学上
对于这种问题的刻画是这样的
如果已知给定的数据点xi yi
i是从1到n的
也就是n个数据节点
在近似函数类H当中
我们找一个逼近函数Φ(x)
如果我们把每一个节点之上的yi记成真实值
那么这个Φ(x)这个函数
可以在对应的xi之上有一个叫近似函数值
我们把yi减掉Φ(xi)
记为在这个节点之上的残差
这里面的残差
因为节点是n个
所以残差应该也是有n个
我们可以把这n个残差
合在一起做成一个向量
那么我们求
近似函数类空间当中的这个逼近函数
我们的求解原则
其实就是说把这个向量
在一模意义之下
取到它的最小值
那么我们可以作为一个所谓的求解原则
当然也可以
我们找它在二模意义之下的
所谓的二模意义之下取到最小
这就是所谓的最小二乘拟合的问题
还有一个就是既然是向量
一模 二模都有了
我们还可以求它的无穷模意义下的最小值
这个叫做最佳一致逼近的问题
可以告诉大家就是
最佳一致逼近其实是最好用的
但是理论讨论可能复杂了一点
所以我们为了简单起见
我们讨论的是最佳平方逼近
也就是最小二乘拟合问题
从数据拟合这个角度来说
我们把严谨的数学描述告诉大家
是这样的
已知数据点xi yi
i是从1一直到n的
我们选定一个近似的函数类H
我们在函数类H当中找一个Φ(x)的函数
使得这个Φ(x)函数在xi之上的近似值
与真实值yi之间的那个残差
它的平方求和
这个函数在H这个空间当中
是取到了最小
我们在这种情况之下
我们就说Φ(x)是这个数据组
(xi,yi)的最小二乘函数
这种方法就叫做数据拟合的最小二乘法
这里面可以给大家多说一点就是
近似函数类空间H
实际上是我们讨论这种数据拟合的关键
因为你数据拟合的最小二乘的选取空间
也就是它实际上是在
你给定的近似函数类空间当中
来讨论一个适当的函数的
那么我们根据这个近似函数类H的类型的不同
我们来讨论不同的数据拟合问题
第一类我们取近似函数类空间H
是多项式的情况
这里面假设我们给定的这个近似函数类空间
至多是m次的多项式
那么也就是说
H空间当中的任意函数
它其实可以写成Pm(x)的形式
这个Pm(x)可以写成ak xk乘积
然后∑求和的形式
那么我们要找的这个Pm(x)
实际上就是在y减掉
这个Pm(x)在m点上的函数值
平方再求和之后
在H空间当中取最小
那么这种形式一般来说
左边这个式子我们都称之为残差平方和函数
然后这个Pm
就称之为数据组的最小二乘m次的拟合多项式
这里面为了说明
如何来求这个最小二乘的这个拟合函数
我们把残差平方和函数
做一个关于a0 a1 am的一个多元函数
求拟合多项式
就相当于是求这个多元函数的极小值点了
那么根据微积分当中的知识
如果是一个多元函数
在某一个点存在了极值
那么极值存在的必要条件就是
函数F在a0 a1 am
也就是这m+1的节点之上
F关于ai的这个偏导数都等于零
我们把它简单地写下来
整理一下就是
如果我们这个关于ak
它的偏导数等于0
写成方程组的形式是这样的
然后这个形式写起来比较啰嗦
但是这个形式有一个名字
叫做正则方程组
也叫做法方程组
这个名字其实前面
我们也给大家专门讲过这个内容
是在超定线性方程组的最小二乘解这部分
当这个线性方程组ax等于b
那个a如果是m乘n阶的矩阵
m比n大的时候
我们称之为超定方程组
这个时候它的最小二乘解就是
F(x1,x2,...xn)
它等于这个右端减掉左端
这叫做右端减掉左端平方求和最小问题
那么这个时候对应的正则方程组
其实就是A的转置Ax
等于A的转置乘上b的形式
而这个正则方程组
就是上面那个方程组的形式
正则方程组的矩阵形式
给大家整理一下放到这里
这里面可以告诉大家一个数学当中的结论
正则方程组存在唯一解
而且这个解所对应的多项式
是已知数据组(xi,yi)的最小二乘m次
拟合多项式的形式
这个形式如果m是任意的话
看起来比较啰嗦
我们举一个最简单的m等于1的例子看一下
m等于1的时候
是一个线性最小二乘拟合多项式
它的正则方程组是na0
然后xi的∑求和a1等于右端是yi的∑求和
第二行是xi的∑求和乘上a0
再加上xi的平方∑求和乘上a1
等于右端xiyi∑求和
一般来说
我们还有一个写法
把这些所有的xiyi∑求和的这种形式
如果是xi的平方∑求和
我们写成Sxx
如果是xi的∑求和我们写成Sx
如果是xi乘上yi这个∑求和的话
我们写成Sxy
还有一个yi∑求和写成Sy
那么它的正则方程组的形式
就是下面这个形式
我们举一个简单的例子来看
如果是已经知道了这个数据xiyi
x我们取的是1 2 3 4 5 6 7
那个yi分别对应xi的值
我们求它的一次最小二乘拟合多项式
也就是线性最小二乘多项式
按照前面的说法
我们把所有的xi∑求和
这里面Sx等于28
然后那个yi 所有的yi∑求和
我算出来是24.0
然后xi的平方∑求和
这边是140
然后xiyi∑求和是119.5
那么这个问题
它的正则方程组的形式
就是这样的一个形式 7 28 28 140
然后是a0 a1
右端是24 119.5
后面求解一下那个a0 a1都能算出来
这样我们就得到了已知数据的
一次最小二乘拟合多项式的这个形式
好了 这部分内容
给大家分享到这里
-1.1 误差的概念
--误差的概念
-1.2 误差的传播
--误差的传播
-第一章 习题
--第一章 习题
-2.1 Gauss消去法
--Gauss消去法
-2.2 矩阵的三角分解
--矩阵的三角分解
-2.3 直接三角分解法
--直接三角分解法
-2.4 平方根法和改进的平方根法
-2.5 误差分析（1）向量和矩阵范数
-2.6 误差分析（2）条件数
-第二章 习题
--第二章 习题
-3.1 Jacobi迭代法和Gauss-Seidel 迭代法
-3.2 迭代法收敛性的判别
-3.3 误差分析
--误差分析
-第三章 习题
--第三章 习题
-4.1 幂法
--幂法
-4.2 反幂法
--反幂法
-第四章 习题
--第四章 习题
-5.1 多项式插值理论
--多项式插值理论
-5.2 Lagrange 插值多项式
-5.3 Newton 插值多项式（1）差商型
-5.4 Newton 插值多项式（2）差分型
-5.5 分段线性插值
--分段线性插值
-5.6 Hermite 插值
-第五章 习题
--第五章 习题
-6.1 数据拟合的最小二乘法（1）多项式拟合
-6.2 数据拟合的最小二乘法（2）其他函数拟合
-6.3 正交多项式
--正交多项式
-6.4 函数的最佳平方逼近
-第六章 习题
--第六章 习题
-7.1 数值微分
--数值微分
-7.2 Newton－Cotes求积公式（1）数值积分的基本思想、Newton－Cotes公式
--Newton－Cotes求积公式（1）数值积分的基本思想、Newton－Cotes公式
-7.3 Newton－Cotes求积公式（2）误差估计
-7.4 复化求积公式
--复化求积公式
-7.5 Romberg求积公式、Gauss型求积公式
-第七章 习题
--第七章 习题
-8.1 Romberg求积公式、Gauss型求积公式
-8.2 简单迭代法的加速、牛顿法与弦截法
-第八章 习题
--第八章 习题
-9.1 常微分方程数值解法概述
-9.2 Euler方法及其改进方法
-第九章 习题
--第九章 习题
