当前课程知识点:微积分——多元函数与重积分 >  第二章 多元函数微分学应用 >  第三节 多元函数的条件极值 >  最小二乘法

返回《微积分——多元函数与重积分》慕课在线视频课程列表

最小二乘法在线视频

最小二乘法

下一节:二重重积分引入

返回《微积分——多元函数与重积分》慕课在线视频列表

最小二乘法课程教案、知识点、字幕

前面我们已经讨论了

一般的多元函数的极值问题

在这一节我们来介绍一下

多元函数极值的应用

就是我们平时说的最小二乘法

最小二乘法问题

他的背景是这样子的

也就是说我们只知道

平面上的一些点

这些点的坐标

我们用(xk yk)来表示

现在我们要找一条直线

这直线的方程我们用y=a+bx来表示

我们说最小二乘找直线是怎么回事

实际就是要求找到的这条直线

满足下面这个要求

也就是yk-(a+bxk)括起来平方

求和 k从1到n n是点的个数

我们希望这个平方和最小

实际大家知道

这就是说

我来做近似的时候

要求他的平方误差最小

那现在我们就把这个问题

看成是一个二元函数的极值问题

如果他最小的时候

那么他关于a的偏导数

也就等于 k从1到n求和

这面求完偏导 复合函数求导

2yk-(a+bx)再乘上

这个中括号里面的东西关于a求导

出来的应该是-1 再乘上-1

让他等于0 这是一个

另外一个 也就是偏S偏b

这个应该就等于 k从1到n

关于b求导 复合函数求导2yk-(a+bx) bxk

这个地方是bxk

然后再乘上 乘上

里面的东西关于b求导

出来的应该是一个-xk

这个 应该是等0

这就是我们这个a和b

如果使得这个东西最小的时候

他应该满足的条件

在这里面我们做一个简单的变形

这个变形也就是

即 我们看一下这个地方

移过去也就是

a 这是一个k从1到n对1求和

再加上一个b倍的k从1到n对xk求和

这边就应该等于k从1到n对yk求和

这就是第一个等式

我们整理一下

应该就可以整理成这个形式

类似的 我们把第二个的等式整理一下

也就是a这里是k从1到n对xk求和

再加上b倍的这面是k从1到n

这面是一个xk的平方求和

这面应该等于k从1到n

xk乘上yk 求和

在这里面 请大家注意一下

我们未知量是a和b

而我们所有求和的这些合适的值

在这个问题提出来之后

我们应该是知道的

因为我们应该知道

这n个点的横坐标和纵坐标

这样关于ab就是一个线性方程组

在这个方程组里边

我们假设它的解就是a*b*

如果得到了a*b*之后

我们自然就得到了一条直线

就是y=a*+b*x

这就是我们一般的最小二乘法的求解方法

求解方法 也就是说如果我们知道

n个点的坐标之后

你要求一条直线

使得这个平方误差最小

那么这条直线的截距斜率

该怎么求 就是解这个方程组得出来

当然现在我们的问题是这样子的

因为我们刚才整个求解过程只是说

他的偏导数等0

但我们知道对于一个二元函数来说

偏导数等0

只能说他是可能的最值或者极值点

那他到底是还是不是极值点

现在对于一个方法来说

应该给他一个理论上的证明

现在我们就证明

这样得到的a*b*

确确实实是满足在所有的ab里面

使得这个表达式最小的 最小的

我们来证明一下这样一件事情

为了证明起来方便

我们就记这么几个记号

我就记我的g1(x)就恒等于1

然后g2(x)就等于x

然后我们在这个里面

大家看一下

这几个和式就分别是

一个是k从1到n g1(xk)

这是这个和式

这个和式应该就是写成k从1到n

实际上就是g1(xk)再乘上g2(xk)

这个和式跟他是一样的

最后这个和式可以表示成是

k从1到n g2(xk)他的平方

就是这个平方一个是这个意思

他的平方

我们再令 就是再记

我们一般的S(a b)

实际上就等于ag1(x)+一个bg2(x)

就是我们前面写的这个形式

我们的S*实际上表示的就是

a*g1(x)+b*g2(x) 那么有了这些记号之后

咱们注意到这个等式

我们用这些记号来表示的时候

也就是意味着

我们的k从1到n 这面也就是

我们的yk减掉S(xk)

这个再乘上我们的g1(xk)

这应该是等0的

这是我们第一个等式

第二个等式

我们就可以给他表示成k从1到n

这面是yk 这是减掉S

这个等0

指的是我们已经得到的那个解

就我们的x*应该满足这个东西是等0的

那么 这一个是我们的S*

这边我们可以记成g2(xk) 他应该是=0

这是我们那个S*需要满足的这个条件

现在我们要证的问题是什么

我们要证的问题 也就是说

对于我们一般的S来说

他减掉S(xk)这个的平方和

这样加起来

他应该是比这个平方和来的大

k从1到n 这是yk减掉S*(xk)

这面应该证明他是大于等于0的

这是我们要证的

现在我们就来用这两个等式

来看看 这个差确实是>=0的

为了用上那个条件

我们把这个给他减掉一个S*的值

再加上一个S*的值

这样就写成了k从1到n

yk减掉S*的值

然后这是一个平方

再加上一个2倍的k从1到n

这面是一个yk减掉S*(xk)

再乘上一个S*(xk) 再减掉S(xk)

最后再加上k从1到n

S*减掉一个就是那个xk

再减掉S(xk)括起来的平方

再减掉这一项

当然 这一项大家看一下

这一项跟我们这一项

应该正好是差一个正负号

所以说我们在写的过程中

直接就把它减掉

减掉之后我们现在只剩下了这一项

以及这一项

现在我说这一项是等于0的

为什么 因为大家注意到

我们的S*和S分别是g1 g2他的线性组合

所以说这两个的差一定是g1 g2的线性组合

而g1的线性组合 比如我们系数

就用αβ来表示这两个系数的时候

那这一个给他展开

也就是直接2倍的k从1到n

这面有一个yk减掉S*

这面乘上一个αg1(x)再加上一个βg2(x)

这就是这一项

但是我们给他乘开

这个项乘上这一项的时候

大家注意 我们有这个条件

也就是g1乘上这个中括号

加起来应该是等0的

所以说这一项乘过来应该等0

类似的 我们如果把这一项乘上这个中括号的时候

我们知道他应该是满足这个条件的

这个条件也就是说

这些项加起来也全等0

这样我们就证明了这一项等0

所以说我们这个差的值

应该就是这个平方再求和

平方再求和当然应该是非负的

这就证明了在所有的这样的表达式里面

S*使得这个表达式的值是最小的

因为任何一个其他的这样的值都比他来的大

这样从理论上就保证了

我们这样简单得到的这条直线

确确实实就满足在所有的直线里面

使得这个平方误差最小

那当然在这个地方

我们为什么引进这些记号

实际上所谓的最小二乘法

不仅仅是只处理直线问题

因为一般的

我可以把这个问题处理成

说 对知道的n个点

我能不能找一个函数 是多项式函数

使得这个多项式函数满足这个平方误差最小

如果这样子的时候

我当然就可以ag1就是一个0次多项式

再加上a2g2是一个一次多项式

再加上a3g3 是二次多项式

就是这样一直可以下去

所以说呢 在这个引进一般记号的时候

利用这个一般的处理方法

我们可以直接就得到

用多项式曲线来近似这个点的时候

我们有同样的最小二乘法

也就在那个问题里面

我们解方程组时

无非是未知量的个数变多了

但是方程组本身肯定还是线性方程组

这是关于最小二乘法的一般处理方法

微积分——多元函数与重积分课程列表:

第一章 多元函数微分学

-第一节 多元连续函数

--向量的内积与长度-1

--向量的内积与长度-2

--R^n中的点列的收敛性

--内点、外点、边界点-1

--内点、外点、边界点-2

--开集、闭集、区域

--多元函数的有关概念

--二重极限的定义

--二重极限的例题

--二次极限的定义

--连续与一致连续的定义

--连续函数的性质-1

--连续函数的性质-2

--连续函数的性质-3

-第一章 多元函数微分学--第一节练习题

-第二节 多元函数的偏导数

--偏导数的概念

--偏导数的几何意义

--高阶偏导数的概念

--混和偏导数与求导顺序无关的条件

-第一章 多元函数微分学--第二节练习题

-第三节 多元函数的全微分

--全微分的概念

--可微的必要条件

--可微的充分条件

--可微的充要条件

--多元函数的原函数

-第一章 多元函数微分学--第三节练习题

-第四节 多元函数的微分法

--复合函数微分法之一

--复合函数微分法之二

--复合函数求导数(举例)

--隐函数存在定理

--隐函数求导法(举例)

--隐函数组求导法

-第一章 多元函数微分学--第四节练习题

-第五节 多元函数的方向导数与梯度向量

--方向导数的概念

--方向导数的计算

--梯度向量的概念与计算

-第一章 多元函数微分学--第五节练习题

-第六节 映射及其微分

--映射与连续映射的概念

--映射的导数、微分、雅克比矩阵

--复合映射的微分法

-第一章 多元函数微分学--第六节练习题

-第七节 多元函数的泰勒公式(以二元函数为例)

--二元函数有Peano型余项的Taylor公式

--二元函数有Peano型余项的Taylor公式-2

--二元函数带有Lagrange型余项的泰勒公式

-第一章 多元函数微分学--第七节练习题

第二章 多元函数微分学应用

-第一节 多元函数微分学的几何应用

--空间曲线的切线与法平面(之一)

--空间曲线的切线与法平面(之二)

--空间曲线的切线与法平面问题举例

--曲面的切平面与法线(之一)

--曲面的切平面与法线(之二)

--曲面的切平面与法线(之三)

--曲面的切平面与法线问题举例

-第二章 多元函数微分学应用--第一节练习题

-第二节 多元函数的极值

--极值点的概念和必要条件

--极值点的判别法

--极值问题举例

-第二章 多元函数微分学应用--第二节练习题

-第三节 多元函数的条件极值

--二元函数条件极值问题的提法

--三元函数条件极值问题的提法(之一)

--三元函数条件极值问题的提法(之二)

--条件极值问题的直接解法

--条件极值问题的Lagrange解法

--条件极值问题举例

--多元函数在有界闭域上的最值

--最小二乘法

-第二章 多元函数微分学应用--第三节练习题

第三章重积分

-第一节 二重积分的概念和性质

--二重重积分引入

--二重积分定义

--二重积分性质

--关于二重积分性质的例题

-第二节 二重积分的计算

--二重积分的计算:直角坐标系(1)

--二重积分的计算:直角坐标系(2)

--二重积分的计算:直角坐标系(3)

-第三章重积分--第二节练习题

-第三节 极坐标系及一般坐标系

--极坐标系

--一般坐标系

--二重积分的一般坐标变换公式

--二重积分的计算:极坐标系

--二重积分的计算:极坐标系例题

--二重积分的计算:一般坐标系例题

-第三章重积分--第三节练习题

-第四节 三重积分

--三重积分的引入

--三重积分的定义

--三重积分的性质

--直角坐标系

--三重积分的计算:例题(1)

--三重积分的计算:例题(2)

--空间坐标变换

--空间柱坐标系

--空间柱坐标系例题(1)

--空间柱坐标系例题(2)

--球坐标系

--球坐标系例题

-第三章重积分--第四节 练习题

-第五节 第一类曲线积分

--第一类曲线积分的引入

--第一类曲线积分的定义

--第一类曲线积分的性质

--第一类曲线积分的计算公式

--第一类曲线积分的计算例题

-第三章重积分--第五节 练习题

-第六节 第一类曲面积分

--第一类曲面积分的引入

--第一类曲面积分的定义

--第一类曲面积分的性质

--第一类曲面积分的计算公式

--第一类曲面积分的计算例题(1)

--第一类曲面积分的计算例题(2)

-第三章重积分--第六节 练习题

-第七节 含参变量积分

--含参定积分的定义

--含参积分的连续性

--含参积分的导数

--含参积分的例题

-- 广义含参积分的一致收敛性

--广义含参积分的连续性和积分导数

-第三章重积分--第七节 练习题

第四章 向量分析

-第一节 第二类曲线积分

--第二类曲线积分的引入

--第二类曲线积分的定义

--第二类曲线积分的性质第二类曲线积分的性质

--第二类曲线积分的性质

-第四章 向量分析--第一节 练习题

-第二节 Green公式及其应用

--平面第二类曲线积分:Green公式

--平面第二类曲线积分的计算:利用Green 公式

-第四章 向量分析--第二节 练习题

-第三节 第二类曲面积分

--曲面的定向

--第二类曲面积分的引入

--第二类曲面积分的定义与性质

--第二类曲面积分的计算

-第四章 向量分析--第三节 练习题

-第四节 Gauss公式与Stokes公式

--Gauss公式

--第二类曲面积分的计算:Gauss公式

--Stokes公式及其应用

-第四章 向量分析--第四节 练习题

-第五节 无源场,保守场与调和场

--平面保守场

--势函数及其计算

--空间保守场

--常见的场

-第四章 向量分析--第五节 练习题

第五章 常微分方程

-第一节 微分方程的基本概念

--微分方程概念举例

--微分方程的基本概念

--一阶微分方程定解问题解的存在唯一性

-第二节 可求解的一阶微分方程(初等积分法)

--变量分离方程

--齐次型方程

--可化为齐次型方程的方程

--一阶线性微分方程的概念和解的性质

--一阶线性微分方程的解法

--Bernoulli方程

--可降阶方程(之一)

--可降阶方程(之二)

-第五章 常微分方程--第二节 练习题

-第三节 高阶线性微分方程解的结构

--线性微分方程解的性质

--函数组线性相关(无关)的概念

--函数组线性相关的必要条件

--线性微分方程解函数组线性相关的判别法

--线性微分方程解的结构

-第五章 常微分方程--第三节 练习题

-第四节 高阶线性常系数微分方程

--视频5--17 二阶线性齐次微分方程的特征法

--n阶线性齐次微分方程的特征法

-- 线性齐次微分方程的特征法举例

--二阶线性常系数非齐次微分方程的待定系数法

--二阶线性常系数非齐次微分方程的待定系数法(之一)举例

--二阶线性常系数非齐次微分方程的待定系数法(之二)

--二阶线性常系数非齐次微分方程的待定系数法(之二)举例

--二阶线性常系数非齐次微分方程的变动任意常数法

--二阶线性微分方程的变动任意常数法

--二阶线性微分方程的变动任意常数法(之二)

--欧拉方程

--欧拉方程举例

-第五章 常微分方程--第四节 练习题

最小二乘法笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航 课程版权归原始院校所有,
本网站仅通过互联网进行慕课课程索引,不提供在线课程学习和视频,请同学们点击报名到课程提供网站进行学习。