当前课程知识点:微积分——多元函数与重积分 > 第二章 多元函数微分学应用 > 第三节 多元函数的条件极值 > 最小二乘法
前面我们已经讨论了
一般的多元函数的极值问题
在这一节我们来介绍一下
多元函数极值的应用
就是我们平时说的最小二乘法
最小二乘法问题
他的背景是这样子的
也就是说我们只知道
平面上的一些点
这些点的坐标
我们用(xk yk)来表示
现在我们要找一条直线
这直线的方程我们用y=a+bx来表示
我们说最小二乘找直线是怎么回事
实际就是要求找到的这条直线
满足下面这个要求
也就是yk-(a+bxk)括起来平方
求和 k从1到n n是点的个数
我们希望这个平方和最小
实际大家知道
这就是说
我来做近似的时候
要求他的平方误差最小
那现在我们就把这个问题
看成是一个二元函数的极值问题
如果他最小的时候
那么他关于a的偏导数
也就等于 k从1到n求和
这面求完偏导 复合函数求导
2yk-(a+bx)再乘上
这个中括号里面的东西关于a求导
出来的应该是-1 再乘上-1
让他等于0 这是一个
另外一个 也就是偏S偏b
这个应该就等于 k从1到n
关于b求导 复合函数求导2yk-(a+bx) bxk
这个地方是bxk
然后再乘上 乘上
里面的东西关于b求导
出来的应该是一个-xk
这个 应该是等0
这就是我们这个a和b
如果使得这个东西最小的时候
他应该满足的条件
在这里面我们做一个简单的变形
这个变形也就是
即 我们看一下这个地方
移过去也就是
a 这是一个k从1到n对1求和
再加上一个b倍的k从1到n对xk求和
这边就应该等于k从1到n对yk求和
这就是第一个等式
我们整理一下
应该就可以整理成这个形式
类似的 我们把第二个的等式整理一下
也就是a这里是k从1到n对xk求和
再加上b倍的这面是k从1到n
这面是一个xk的平方求和
这面应该等于k从1到n
xk乘上yk 求和
在这里面 请大家注意一下
我们未知量是a和b
而我们所有求和的这些合适的值
在这个问题提出来之后
我们应该是知道的
因为我们应该知道
这n个点的横坐标和纵坐标
这样关于ab就是一个线性方程组
在这个方程组里边
我们假设它的解就是a*b*
如果得到了a*b*之后
我们自然就得到了一条直线
就是y=a*+b*x
这就是我们一般的最小二乘法的求解方法
求解方法 也就是说如果我们知道
n个点的坐标之后
你要求一条直线
使得这个平方误差最小
那么这条直线的截距斜率
该怎么求 就是解这个方程组得出来
当然现在我们的问题是这样子的
因为我们刚才整个求解过程只是说
他的偏导数等0
但我们知道对于一个二元函数来说
偏导数等0
只能说他是可能的最值或者极值点
那他到底是还是不是极值点
现在对于一个方法来说
应该给他一个理论上的证明
现在我们就证明
这样得到的a*b*
确确实实是满足在所有的ab里面
使得这个表达式最小的 最小的
我们来证明一下这样一件事情
为了证明起来方便
我们就记这么几个记号
我就记我的g1(x)就恒等于1
然后g2(x)就等于x
然后我们在这个里面
大家看一下
这几个和式就分别是
一个是k从1到n g1(xk)
这是这个和式
这个和式应该就是写成k从1到n
实际上就是g1(xk)再乘上g2(xk)
这个和式跟他是一样的
最后这个和式可以表示成是
k从1到n g2(xk)他的平方
就是这个平方一个是这个意思
他的平方
我们再令 就是再记
我们一般的S(a b)
实际上就等于ag1(x)+一个bg2(x)
就是我们前面写的这个形式
我们的S*实际上表示的就是
a*g1(x)+b*g2(x) 那么有了这些记号之后
咱们注意到这个等式
我们用这些记号来表示的时候
也就是意味着
我们的k从1到n 这面也就是
我们的yk减掉S(xk)
这个再乘上我们的g1(xk)
这应该是等0的
这是我们第一个等式
第二个等式
我们就可以给他表示成k从1到n
这面是yk 这是减掉S
这个等0
指的是我们已经得到的那个解
就我们的x*应该满足这个东西是等0的
那么 这一个是我们的S*
这边我们可以记成g2(xk) 他应该是=0
这是我们那个S*需要满足的这个条件
现在我们要证的问题是什么
我们要证的问题 也就是说
对于我们一般的S来说
他减掉S(xk)这个的平方和
这样加起来
他应该是比这个平方和来的大
k从1到n 这是yk减掉S*(xk)
这面应该证明他是大于等于0的
这是我们要证的
现在我们就来用这两个等式
来看看 这个差确实是>=0的
为了用上那个条件
我们把这个给他减掉一个S*的值
再加上一个S*的值
这样就写成了k从1到n
yk减掉S*的值
然后这是一个平方
再加上一个2倍的k从1到n
这面是一个yk减掉S*(xk)
再乘上一个S*(xk) 再减掉S(xk)
最后再加上k从1到n
S*减掉一个就是那个xk
再减掉S(xk)括起来的平方
再减掉这一项
当然 这一项大家看一下
这一项跟我们这一项
应该正好是差一个正负号
所以说我们在写的过程中
直接就把它减掉
减掉之后我们现在只剩下了这一项
以及这一项
现在我说这一项是等于0的
为什么 因为大家注意到
我们的S*和S分别是g1 g2他的线性组合
所以说这两个的差一定是g1 g2的线性组合
而g1的线性组合 比如我们系数
就用αβ来表示这两个系数的时候
那这一个给他展开
也就是直接2倍的k从1到n
这面有一个yk减掉S*
这面乘上一个αg1(x)再加上一个βg2(x)
这就是这一项
但是我们给他乘开
这个项乘上这一项的时候
大家注意 我们有这个条件
也就是g1乘上这个中括号
加起来应该是等0的
所以说这一项乘过来应该等0
类似的 我们如果把这一项乘上这个中括号的时候
我们知道他应该是满足这个条件的
这个条件也就是说
这些项加起来也全等0
这样我们就证明了这一项等0
所以说我们这个差的值
应该就是这个平方再求和
平方再求和当然应该是非负的
这就证明了在所有的这样的表达式里面
S*使得这个表达式的值是最小的
因为任何一个其他的这样的值都比他来的大
这样从理论上就保证了
我们这样简单得到的这条直线
确确实实就满足在所有的直线里面
使得这个平方误差最小
那当然在这个地方
我们为什么引进这些记号
实际上所谓的最小二乘法
不仅仅是只处理直线问题
因为一般的
我可以把这个问题处理成
说 对知道的n个点
我能不能找一个函数 是多项式函数
使得这个多项式函数满足这个平方误差最小
如果这样子的时候
我当然就可以ag1就是一个0次多项式
再加上a2g2是一个一次多项式
再加上a3g3 是二次多项式
就是这样一直可以下去
所以说呢 在这个引进一般记号的时候
利用这个一般的处理方法
我们可以直接就得到
用多项式曲线来近似这个点的时候
我们有同样的最小二乘法
也就在那个问题里面
我们解方程组时
无非是未知量的个数变多了
但是方程组本身肯定还是线性方程组
这是关于最小二乘法的一般处理方法
-第一节 多元连续函数
--开集、闭集、区域
--二重极限的定义
--二重极限的例题
--二次极限的定义
-第一章 多元函数微分学--第一节练习题
-第二节 多元函数的偏导数
--偏导数的概念
--偏导数的几何意义
--高阶偏导数的概念
-第一章 多元函数微分学--第二节练习题
-第三节 多元函数的全微分
--全微分的概念
--可微的必要条件
--可微的充分条件
--可微的充要条件
--多元函数的原函数
-第一章 多元函数微分学--第三节练习题
-第四节 多元函数的微分法
--隐函数存在定理
--隐函数组求导法
-第一章 多元函数微分学--第四节练习题
-第五节 多元函数的方向导数与梯度向量
--方向导数的概念
--方向导数的计算
-第一章 多元函数微分学--第五节练习题
-第六节 映射及其微分
--复合映射的微分法
-第一章 多元函数微分学--第六节练习题
-第七节 多元函数的泰勒公式(以二元函数为例)
-第一章 多元函数微分学--第七节练习题
-第一节 多元函数微分学的几何应用
-第二章 多元函数微分学应用--第一节练习题
-第二节 多元函数的极值
--极值点的判别法
--极值问题举例
-第二章 多元函数微分学应用--第二节练习题
-第三节 多元函数的条件极值
--条件极值问题举例
--最小二乘法
-第二章 多元函数微分学应用--第三节练习题
-第一节 二重积分的概念和性质
--二重重积分引入
--二重积分定义
--二重积分性质
-第二节 二重积分的计算
-第三章重积分--第二节练习题
-第三节 极坐标系及一般坐标系
--极坐标系
--一般坐标系
-第三章重积分--第三节练习题
-第四节 三重积分
--三重积分的引入
--三重积分的定义
--三重积分的性质
--直角坐标系
--空间坐标变换
--空间柱坐标系
--球坐标系
--球坐标系例题
-第三章重积分--第四节 练习题
-第五节 第一类曲线积分
-第三章重积分--第五节 练习题
-第六节 第一类曲面积分
-第三章重积分--第六节 练习题
-第七节 含参变量积分
--含参定积分的定义
--含参积分的连续性
--含参积分的导数
--含参积分的例题
-- 广义含参积分的一致收敛性
-第三章重积分--第七节 练习题
-第一节 第二类曲线积分
-第四章 向量分析--第一节 练习题
-第二节 Green公式及其应用
-第四章 向量分析--第二节 练习题
-第三节 第二类曲面积分
--曲面的定向
-第四章 向量分析--第三节 练习题
-第四节 Gauss公式与Stokes公式
--Gauss公式
-第四章 向量分析--第四节 练习题
-第五节 无源场,保守场与调和场
--平面保守场
--势函数及其计算
--空间保守场
--常见的场
-第四章 向量分析--第五节 练习题
-第一节 微分方程的基本概念
--微分方程概念举例
-第二节 可求解的一阶微分方程(初等积分法)
--变量分离方程
--齐次型方程
-第五章 常微分方程--第二节 练习题
-第三节 高阶线性微分方程解的结构
-第五章 常微分方程--第三节 练习题
-第四节 高阶线性常系数微分方程
--欧拉方程
--欧拉方程举例
-第五章 常微分方程--第四节 练习题