2.4 无约束优化问题的极值条件在线视频

继续前面内容

我们学习无约束优化问题的极值条件

我们之前说了

优化问题实际上就对应着什么

对应着我们数学里面求极值的问题

你能把一个实际的问题建立起数学模型

然后呢对于数学模型进行求极值

那么对于无约束优化问题呢

那么实际上就是对应的是

求它的极值的问题

那我们回忆回忆一下

如果说你这个函数是个一元函数的话

那么一元函数求极值怎么求

必要条件

一元函数求极值的必要条件是什么

f一撇x等于0吗对吧我们都学过

如果对一个函数你要求极值

首先什么求导对不对

就是求导f一撇x等于0

那么充分条件呢

你把f一撇x等于0求出来以后

你还不知道这个是一个极大值

还是一个极小值

那么充分条件呢应该是什么

f两撇

如果f两撇x大于0

x为极小值点

什么是极小值

极小值是什么

是在这一点的附近

其他点都比我这点大

我这点称为是极小值

首先它的一阶导

它的切线是在这一点处

然后为它的切线这个斜率是等于0

然后是什么呢

二阶导如果大于0它为极小值

如果f两撇x是小于0为极大值

什么是极大值

在这一点的附近

其他的值都比我小

我就是极大值

所以呢切线的斜率是等于0

f一撇等于0因为是个充分必要条件

f两撇x是小于0为极大值

如果f两撇x也等于0

x为什么

为它的拐点

拐点是什么

是不这样子的这是它的拐点

X*这一点

所以说呢如果对于一个一元函数

我们之前已经学过

给了你f（x）

如果函数能表示出来

你要求它的极值很简单对吧

或者你要找它的最优点很简单

只要对这个函数进行求极值就可以了

因此说呢必要条件这么求极值呢

首先求一阶导

求完一阶导以后X*就求出来了

X*求出来以后呢对它求二阶导

看X*这点出的二阶导

是大于0小于0还是等于0

如果大于0为极小点

小于0为极大点

等于0为拐点

就可以判断它的极小值 极大值和拐点

那么这里边极小值 极大值

就有可能是你的什么

所要找的优越那一点

那么问题在于我们说了

对于我们实际的工程问题

很少有什么一元的

什么是一元

决策变量就一个

很少有这样问题

我们经常会有多个变量

那么对于多元函数f（x）求极值怎么求呢

好像没有学过

对于多元函数f（x）求极值的问题

必要条件同理既然一元函数值求导

那么多元函数值求什么

求梯度一样的道理

�f（x）如果让它等于0

这是它的必要条件

如果一个函数点为极值点的话那么什么

�f（x）是等于0的

这是它的必要条件

方法我可以令f（x）�f（x）等于0

然后呢解方程求出X*

因为你什么

因为这个东西等于0含义什么意思

是不?f比?x1 ?f比?x2 ?f比?xn

每一个等于0啊

你刚好有n元的就有n个这样的方程

刚好可以解出来这个x

所以说是解方程组求出X*

所以它等于0实际上这对于每一个

这个等于0这个等于0这个等于0

每一个都等于0

刚好有n个x有n个方程

刚好可以解出来

充分条件

那我们刚刚回忆一下

我们大家学习的过程也是个自我思考的过程

刚才我求一元函数求极值的充分条件是什么

f两撇x f两撇x大于0小于0等于0

然后判断是什么

极小值极大值或者拐点

那么对于多元函数的话

你既然一阶导是对应是�f（x）

那么二阶导呢

就是我们之前学过什么

Hessian矩阵对不对

那么判断Hessian矩阵我们说呢

f两撇大于0 f两撇小于0 f两撇等于0

那你这里Hessian矩阵怎么办

一个矩阵怎么大于0小于0等于0啊

怎么判断

就用我们刚才学的什么

正定负定来判断

所以说如果说Hessian矩阵Hx正定

x为极小点

什么样的极小点

因为是多元的

我用二元来举例 二元可以画出来对吧

二元我这是一个平面

然后我这是f（x）

什么极小点是不这一点

在这一点的周围的值的f（x）

都比我大我这点就是我的极小值

像一个碗底一样

这个碗底我周围都比我大

那我这一点就是我的极小值

如果Hx我们的Hessian矩阵的话

它是负定的话

X*为极大值 什么样子呢

是不这样的要倒扣一个碗

一个碗上面那一点

我周围其他的点都比我小

都比我函数值小

那我这点就为极大点

那还有呢什么呢

如果Hx为不定的话呢

x为鞍点 什么是鞍点

画一个图 很形象 像什么

像蒙古那个马鞍子一样就叫鞍点

什么是鞍点 我把它画出来

这一点 这一点什么呢

在x1的方向上是不一个极小值啊

而在x2的方向上是一个极大值

这是你的鞍点

你坐在这个地方很稳当

在x1方向上是个极小值

x2方向上是一个极大值

这个是它的鞍点

所以说呢对于多元函数f（x）

x为极值 求极值必要条件是梯度等于0

充分条件是Hx正定为极小值

负定为极大值 不定为鞍点

我们来看一下证明一下到底充分条件

如果f（x）正定x为极小值

是怎么来数学证明的我们来看一下

就跟我们刚才讲的思路也是一样

f（x）在x点处的Taylor展开

只取到二次项

f（x）等于f（x*）加上�f（x）转置

x减x*加二分之一的x减x*转置hx然后x减x*

因为�f（x）是等于0的所以说呢

这一点是等于0因为什么

我们说了这一点首先保证是必要条件

所以�f（x*）是等于0的

等于0的话呢所以说呢f（x）就约等于f（x*）

中间那第一项那个�f（x）等于0不是去掉了吗

�f（x）乘以x减去x*那个值就去掉对吧

所以说就是这个f（x*）加上这个了

加上这个式子就等于它了

所以说呢我把这一项提到这边来

然后呢f（x）减去f（x*）

等于二分之一的x减x*转置hx*x减x*什么意思

实际上我判断是极大值还是极小值

刚刚讲时候我们也这么说什么

不就是判断这一点周围

x*点周围其他x所获得的函数值

和我这一点所获得函数值大小吗

如果我在你们周围我就是最小的

那我就是什么极小值

我在你们周围我是最大的

我就是极大值

就判断这个么

那么在x*邻域内呢

如果对于一切x存在

f（x）减去x*大于0什么意思

在我的邻域内我任意取一个x

我的f（x）减去f（x*）大于什么

那我是不最小的

那我就极小值呗

就判断这个东西吗

如果能判断这个不就极小值吗

那好了那就让它大于0

是不就让这个东西大于0啊

就在这周围取了一堆密集的点

好像每一个点我都取出来跟它判断

函数值都比它大

那我就是极小值了

取了一堆密集的点

也就说实际上就二分之一的x减去x*的转置

hx*x减x*大于0么

则x*为极小值点

你要能保证它大于0就是它的极小值点

如果保证上式成立的话

hx*是应该为什么

为正定对不对

是这样吗因为什么

实际上这两项应该等于

它俩相乘是一样东西相乘吗

那么你这个东西一定要它也大于0的话

那么这两个大于0相乘才是大于0

如果这个原来大于0的话

这个东西小于0那就是应该小于0

所以说呢它为正定的时候

能保证这个式子大于0

这个式子大于0就保证了这个东西大于0

所以说我任意在x*的邻域内任意取一点的话

其它点的f（x）函数值都会比它大

所以说我认为是一个极小值点

同理如果说hx为负定的话

那么实际上这个永远是小于0的

小于0表示什么

我在这里面随便取一点这个值都要比它小

那么这个东西应该是最大的

极小值和极大值的判定

所以说呢证明一下

充分条件hx为正定x为极小值点

看一个例子求下列函数的极值点

说明是极小值还是极大值

如果是f（x）等于60减去10倍的x1

减去4倍的x2加上x1平方加上x2平方减去x1x2

判断这个函数的极值点

是极大值还是极小值怎么做

很简单对吧

我们说了必要条件做它的梯度

�f（x）等于0则能求出来x*

那这点就是它的极值点

然后呢你再判断什么

Hessian矩阵是正定的还是负定的

判断它是极大值还是极小值

思路很清楚

�f（x）?f比?x1 ?f比?x2代进去

让它等于0就解这个方程组呗

2元1次方程组解出来等于0

解一下它

x*等于x1 x2等于8 6

那意思就是说

在8 6这一点我能让�f（x*）等于0

这一点一定是它的极值点对不对

到底是极大值还是极小值呢

怎么看极大极小值

做二阶呗Hessian矩阵

然后呢?x1再求?x1 ?x1 ?x2

?x2再求?x1 ?x2 ?x2

然后刚好这里边的话一求完以后

这个是2负1负1 2 然后怎么办

看它是正定还是负定还是不定对不对

那么第一阶行列主子式是2肯定大于0对不对

二阶就这个式子做行列式怎么求

2乘以2减去1乘以1

22得4减去1等于3也是大于0的对不对

所以说2大于0

然后呢2负1负1 2也是大于0

各阶行列主子式都大于0

所以说hx是一个正定的

正定应该是一个极小值

所以说hx为正定x为极小值点

函数的极值条件我们判定完以后

实际上大家想一想

一类优化问题是可以求解

哪个优化问题

如果说你的工程问题变到了一个数学模型

而这个数据模型我现在可以知道什么

我可以知道不仅是一元的或者多元都可以的话

那你就变成什么

一个实际问题变成了一个数学问题

这个数学问题就是个f（x）

首先没有约束对不对没有约束

那么就无约束的变成了一个f（x）

那我们就变成了一个什么

求f（x）极值问题了吗

求f（x）极值问题怎么求

就跟这个题一样 求梯度 求Hessian矩阵

然后呢看是正定还是负定

那不就求出来了

求出来那个值不就你的极值了吗

就用你那个极值然后来进行判定就可以了

能知道你的是极大值还是极小值

那你又找到什么极值问题所以说呢

好像如果说我们这个问题这个函数

如果是从实际问题变到了我们这个数学模型

这个数学模型又可以什么又可以求导

而且也能求二阶导

那你就可以这么来进行求解就可以了

首先能保证能求导求二阶导可以求解