数据拟合的最小二乘法（2）其他函数拟合在线视频

各位同学大家好

我是北京理工大学的朱国庆老师

前面已经给大家讲了多项式

最小二乘拟和的问题

下面我们给大家介绍第二类

如果近似函数类空间取指数的类型的话

形式上写成be的ax次方这种形式

那个a和b都是这个取实数

那么我们说这种类型

就叫做指数型的这个最小二乘问题

然后我们利用前面给大家介绍过的

最小二乘原理

实际上就是在近似函数类空间H当中

求a和b使得

yi减掉be的axi

也就是这个近似函数y等于b乘上e的ax

在xi点上的近似值

拿yi减掉它

这叫做残差

然后平方求和

在a b都取实数的情况之下

那么达到它的最小值

按照前面多项式拟合的讨论的技巧

这里面实际上就是找一个函数

我们说残差平方和函数F(a,b)

关于a b的二元函数而言

当a b都在实数范围内取值的话

它达到了它的最小值

前面讨论的技巧就是拿F关于a

F关于b求它的偏导数

那么这个时候我们可以

需要导出来一个非线性方程组

这个非线性方程组

因为我们知道

它的求解是比较复杂的一个问题

所以一般来说这是我们最不愿意见到的

那么我们怎么办

一般来说就是

我们把非线性的问题

尽量给它转换成一个线性关系

这里面采用的技巧就是

在这个等式y等于b乘上e的ax的这个地方

取左右两端都取一个对数

也就是Iny=Inb+ax的形式

当然了

如果适用于这种类型的话

一般情况我们会假设

那个xi在它的定义域讨论的时候

这个y也可能是正的

那么这个时候

我们Inb的时候才能保证它是有意义的

具体的计算步骤是这样的

第一次

首先我们要把xi yi的数据给出来

那么这个时候我们真正需要的是Iny

所以再把那个yi取个对数

写一个Iny的值放在这里

第二步按照最小二乘的原理

我们把xi和Inyi

这两个变量它们之间的关系

按照最小二乘得到一个最小二乘的拟合函数

Iny等于a0加上a₁x的形式

这里我们把这个算出来的a0和a₁

代入到y等于e的a0加上a₁x的这种形式当中去

我就得到了我们所谓的数据组

(xi,yi)的最小二乘拟合函数

这里面给大家强调的就是说

本质上而言是xi yi的数据

它先做一个非线性关系的线性化

然后才采用了最小二乘拟合的这个办法

得到了它的拟合函数

这个非线性关系线性化的这个思想

是不是可以再推广出去呢

我们可以给大家再介绍几类

非线性函数可以线性化的问题

刚才那个指数是属于一类

把x y固定下来 把yi取对数

第二种类型

如果是y=a₂x^b₂的这种形式

也就是幂函数的话

我们可以把x和y同时都取对数

也就是Inxi Inyi来代替xi yi的话

那么Inxi和Inyi 就是一个线性的关系

第三类 饱和增长率函数

我们拿x和y的导数

也就颠倒过来了 x分之1和y分之1

它作为新的变量

那么x分之1和y分之1也是一个线性关系

还有一种类型

有理函数也叫做分式函数

y=a4x加上b4分之1

那么我们拿x和y分之1

也就是xi的数据保留

yi 的数据变成yi分之1的数据

xi和yi分之1是一个线性关系

这种非线性的问题线性化的处理思路

其实对于我们而言这个

这种函数可能还有其它的类型

我们给大家举简单的例子来说明这个事情

首先给定的一组数据

xi的数据1.0 1.4 1.8 2.2 2.6

还有yi的数据

0.931 0.473 0.297 0.224 0.618

让你求一个等于ax+b分之1的拟合函数

用前面的话说就是求有理函数的拟合函数

按照前面的这个说法

把y=ax+b分之1我们改写成Y等于x分之1

然后Y=ax+b

那么Y和x就是一个线性关系

前面的那个线性最小二乘拟合的那个技巧

xi ∑求和Sx

然后yi放到这里

然后Y在这里

然后Yi有一个求和

然后Xi的平方求和

xi和Yi乘积 然后再求和

我们得到所谓的正则方程组

这个正则方程组

可以把a和b都算出来

然后再代入到我们给定的形式当中去

就是Y=ax+b

y就等于ax加b分之1

这就是我们这个题目的求解过程

这里面给大家做一个补充

实际上讨论问题的时候

其实有些时候这叫残差平方和函数

最小的这个原则

有些时候需要做一个加权的处理

也就是有一个ωi

是针对Δi的

每一个权量都可能都有一个权重ωi

ωi这个yi减掉xi的平方

然后∑求和

还是在H空间当中

找到它的最小值

因为这个ωi的选取是由多种因素决定的

比如这个观测数据的精度

比如一个具体问题观测的时候的温度 湿度

各种因素影响

所以这个ωi需要根据经验来选取

下面根据前面的这个多项式拟合

指数拟合以及跟线性关系之后的最小二乘问题

我们给大家做一个一般化的推广

已知数据点(xi,yi)

这里面i是从1一直到N的

也就是N个数据点

然后第2个

在区间[a,b]之上有一个线性无关的函数组

Φ0(x) Φ1(x)...Φm(x) m+1个

然后我们现在取一个近似的函数类空间

实际上是有Φ0 Φ1...Φm扩张成的一个函数空间

在这个空间当中

我们找到一个函数Φx

使得Φx这个函数

在xi上的近似值

yi减掉这个近似值

就是所谓的残差平方加权求和

之后在ai任意取的情况之下达到最小值

那么我们说这里面最关键的一点就是

这个线性无关组Φ0 Φ1 Φ2...Φm

也就是这样m+1个函数

首先这m+1个函数

它的线性无关体现在两个方面

第1个

m+1个线性无关的这个函数

可以扩张成一个近似函数列的空间

第2个

这个空间当中任意的一个函数

也就是我们要求的那函数Φ( x)

可以写成这个线性无关的Φ0 Φ1... Φm

这一组m+1个函数的线性组合

因为我们是要把这个Φ( x)找出来的

跟前面的讨论是类似的

在加权权量平方求和最小的意义之下

我们构造一个关于a0 a1 a2...am的

m+1维多元函数

实际上就是找这个多元函数的极值问题

根据前面极值存在的必要条件

就是F关于ak

这里这个k取的就是0 1 2一直到m

它这个都是等于0的

一共是m+1个

这个偏导数都等于0

我们就导出了一个所谓的正则方程组

根据前面这个内积空间当中的介绍

我们把内积空间当中的内积的符号用在这里

正则方程组写成内积的形式

第1行(Φ0,Φ0)的内积

(Φ0,Φ1)的内积

(Φ0,Φm)的内积

然后第2行 Φ1关于Φ0

Φ1关于Φ1

Φ1关于Φm的内积

每一行 每一个元素都是内积的形式

然后未知数是a0 a1...am

右端项当然就是(y,Φ0)( y,Φ1)

和(y,Φm)的内积的形式

这里面给大家说

这个正则方程组的系数矩阵

一般来说可以看的出来

实际上只有线性无关的

Φ函数之间的一些运算

这是与F无关的

其实这个矩阵叫做格拉姆矩阵

然后只要这个线性无关的函数

这个m+1个函数是线性无关的

那么我们说这个格拉姆矩阵是非奇异的

然后这个方程组是有存在唯一解的

实际上这是一个定理

这么跟大家说吧

如果是把a0 a1 am

写成正则方程组的解的话

那么Φ(x)的形式写成akΦk

然后∑求和的形式

那么这个Φ(x)就是(xi,yi)这一组数据的

最小二乘的拟合函数

简单给大家证明一下

如果我们任意的

因为我们是要证这个Φ(x)

是它最小二乘的拟合函数

我们在这个正则函数规律空间当中

找任意的一个函数Ψ(x)

然后这个Ψ(x)可以写成

Φ(x)的线性组合的形式

这里面组合系数写成Ck

然后我们把这个形式改写一下

ωi[yi减掉Ψ(xi)]的平方

然后∑求和的形式

中间减一项Φ(xi)再加个Φ(xi)

然后二元次定理展开

然后把这个所谓的平方和公式展开

ωi[yi减掉Φ(xi)]的平方

再加上2倍的中间项

最后再加上ωi[Φ(xi)-Ψ(xi)]平方的结论形式

根据前面这么多方程组的讨论

其实中间那一部分

yi减掉Φ(xi)这个是实际上是所谓的残差

然后Φ(x)减掉Ψ(xi)

其实这一部分

我们把Φ(xi)按照Φk这个函数的线性组合

展开就是那个组合系数ak

然后这个Ψ(x)这个形式

我们写成Ck这个线性组合的形式

这个其实就是正则方程组要求的

就是所谓的残差与这个基函数

正交这样的一个性质

它就是等于0的

所以我们把这个ωi[yi减掉Φ (x)]平方求和

∑求和的形式

写成了y减掉Φ(xi)这个残差

它的平方加权求和

然后那个Φ(xi)减掉Ψ(xi)平方

加权求和的这种形式

当然这个就大于等于第1项

这就说明Φ(xi)的残差平方加权之后

这个和是最小

也就是我们的结论

这个就是所谓的Φ(xi)在最小二乘意义之下

我们得到了它的这个最小二乘拟合函数Φ(x)

这里面做一个简单的说明

最小二乘拟合函数那个正则方程组

一般来说 如果你那个Φk是任意取的话

它有可能是病态的

但是我们可以做一个预处理

也就是我们可以在选取的时候

把Φ0 Φ1 Φ2...Φm

取的特殊一点

使得它满足

在这里面任意取两个函数Φk和Φj的话

那么当j和k相等的时候

它是一个正数αk大于0

如果j和k不相等的时候

我们把它取成0的这个形式

那么正则方程组的形式

形式上而言就是在对角线上

就是Φk的这种形式

它是个正值

然后非对角线上

它就都取成0了

那么正则方程组就是一个对角形的方程组

这个解当然就是拿右端项除上对角元就可以了

然后我们这个最小二乘逼近函数

Φ(x)当然就更简单了

你那个ak乘上Φk就可以了

我们一般来说

把满足前面条件的这个函数组

Φ0 Φ1 Φ2...Φm

称为以ωi权重的

关于点集{x1,x2,...,xn}的正交函数组

我们后面专门给大家介绍正交函数组

到底是如何来构造的

本节内容分享到此结束