1.11* 正（负）定矩阵在函数极值问题中的应用在线视频

正定矩阵之所以这么重要

有一个重要的原因

是它在函数极值问题中的应用

我们以二元函数f（x、y）为例

假设（x0、y0）

是二元函数f（x、y）的

一个稳定点

也就是说在这一点上

f（x，y）的偏导数都是等于0

那么如果f（x，y）在这个稳定点
（x0，y0）它的邻域里头

有三阶连续偏导数

大家可以暂且不顾及分析条件

我们也就是说f（x，y）

在这一点上可以作Taylor展开

它的Taylor级数我们可以写成

f在这个稳定点的函数值

再加上在稳定点（x0，y0）的

一阶偏导数

偏f偏x去乘以x的改变量

再加上偏f偏y在这个（x0，y0）

点的值去乘以在y方向上的改变量

然后再加上

f关于x的二阶偏导数

在稳定点上的值去乘以Delta x的平方

加上2倍的f关于（x，y）

在（x0，y0）点的值

去乘以Delta x Delta y

再加上f关于y的二阶偏导数

在（x0，y0）点的值

去乘以Delta y的平方

整个的这部分去乘以1/2

再加上一个余项部分R

那么因为这个点是稳定点

所以它的一阶偏导数

在（x0，y0）都是等于0了

所以这一项

这两项就没有这个

关于Delta x的一次项部分就消失掉了

那么在靠着（x0，y0）

很近的这个部分上

f的函数值可以表示成

f在（x0，y0）点的函数值

加上1/2去乘以这部分

再加上一个余项

那这部分大家观察

它是关于Delta x Delta y的一个

二次齐次函数

或者叫关于Delta x Delta y的一个二次型

其中Delta x刚才我们说了

是x的改变量

也就是x-x0 Delta y是y-y0

余项部分我们也可以写出来

它是f的三阶导数项

f关于x的三阶导数

f关于x的二阶导数

y的一阶导数

f关于x的一阶导数

y的两阶导数

f关于y的三阶导数

这些个三阶偏导数

在Xi和Eta作为分量

这个Xi和Eta是（x0，y0）

这个稳定点靠得很近的两个点

我们叫Xi和Eta

好 它们相应地去乘以

Delta x Delta y的构成的三次项

那么前面再统一地去乘以

3的阶乘分之一 这是余项

我们可以证明说

当Delta x和Delta y的绝对值

充分小的时候

这个余项的绝对值

可以由二次项的这部分

它长度的1/2来控制

这样的话

我们f（x，y）减掉f（x0，y0）

也就是说函数值的差

就与关于Delta X Delta Y

这个实二次型

它的符号是同号的

就是说函数值的差

是由二次型它的性质决定

那么如果二次型是正定的

我们说对于足够小的Delta x和Delta y

并且它们不等于0的情况下

我们如果是正定的那个二次型

就总是大于0

从而

把f（x，y）减掉f（x0，y0）

总是大于0

那f在x0点 y0点就达到了极小值类似的

如果这个二次型是负定的话

函数在x0 y0就达到极大值

如果二次型是不定的

则(x0,y0)点既不是极大值点又不是极小值点

当二次型是半正定或者半负定的话

函数在(x0,y0)点的极值性

需要进一步地分析

那么由此可见说

这个二次型的这个矩阵

它的正定 负定和不定

来决定了我们这个函数

在这点的极值的性质

这个矩阵比较要紧

我们把它拿过来

叫做是Hessian矩阵

函数f在x0 y0点的Hessian矩阵

它的对角线上

是f关于x的二阶偏导数

和f关于y的二阶偏导数

在斜对角线上

分别是f关于x y的

这个交叉项的二阶偏导数

这个矩阵在分析里头

具有重要的意义

因为我们关心一个函数

它什么时候能够取极值

一般的呢

假设一个n元的实值函数

它有三阶连续偏导数

X0是f（x）的一个稳定点

那么f在X0的Hessian矩阵

也就是由f的二阶偏导数

在X0这一点

这是一个向量值的一个变量

这是现在变成了一个n阶的矩阵

n阶的一个对称矩阵

这个矩阵

如果它是正定的

我们的函数在X0这一点

达到极小值

如果Hessian矩阵是负定的

f（x）在这个X0点达到极大值

如果这个Hessian矩阵是不定的

那这个x0既不是极大值点

又不是极小值点

如果Hessian是半正定或者半负定的

函数在X0的极值性

需要进一步的分析

这个虽然是对n元函数成立

和刚才对于二元函数的分析

是一样的

大家如果不去计较

它的分析的严格性

你只需看我有Taylor展开

然后我函数的这个差

总是可以由二次型

这个Hessian矩阵

带给我们的二次型去控制

那么Hessian矩阵的正定

负定和不定性就决定了

函数和它临近值的这个函数值

之间的差异

从而决定了它的极值性

我们举一个简单的例子

f（x，y）是这样的一个函数

7加上2倍的x平方加3y方

加xy减y乘以siny

我们看它在0 0点

当X0等于Y0点的时候

能不能达到极值

首先我们来求这个函数的偏导数

关于X的偏导数是4x+y

关于y点的偏导数是6y+x

减掉siny 减ycosy

那么特别的在0 0点

这个一阶偏导数都等于0

因此0 0点是给定的这个

二元函数的一个稳定点

我们再来看它的二阶偏导数

在0 0点的值

二阶偏导数

这个f关于x的二阶偏导数等于4

关于x y的二阶偏导数等于1

关于y的二阶偏导数

等于6减2倍的cosy加ysiny

那在0 0点去看它的Hessian矩阵

这是f关于x的二阶偏导数是4

关于y的二阶偏导数

代进0 0的值去 6-2

这个地方加0 所以也是4

所以关于x y的这个偏导数是1

得到的是这样的一个矩阵

这个简单的2乘2的矩阵

是一个正定矩阵

因此我们可以断定

f在这个稳定点0 0点上

达到了极小值

我们再来看几个简单的例子

f（x，y）等于x平方加y平方

这个例子

这个函数大家很熟悉

我们说0是它的一个

严格的极小值点

我们从刚才的分析

Hessian矩阵的角度上来看一下

首先在0 0点

函数值是等于0的

我们容易求出来在0 0点

它的一阶偏导数等于0

因此x等于0 y等于0这个点

是函数的一个稳定点

我们看它的二阶偏导数

在0 0点上的值分别求出来是

2 0 2

因此Hessian矩阵在0 0点上

是这样的一个对角矩阵

那这个对角矩阵

是一个正定的矩阵

因此f在稳定点0 0上

达到是极小值

因为是个正定矩阵

我们说这其实是个严格极小值

这是它的图

这是0 0点的那个函数值

除此之外

这个函数所有的值都是大于0的

那么在0 0点是达到极小值点

在0 0点达到极小值

f（x，y）等于2xy

同样在0 0点上

函数值取到0

在0 0点上一阶偏导数也等于0

所以0 0点是它的一个稳定点

那二阶偏导数呢

分别是0 2和0

于是在这点处的Hessian矩阵

是0 2 2 0

这样的一个对称矩阵

我们说这个对称矩阵它有特征值

2和-2

它有正特征值 负特征值

所以它是一个不定的矩阵

那么这个稳定点0 0

它既不是它的极大值点

又不是它的极小值点

我们通过几何图象知道

这样的点我们叫做是一个鞍点

这是一个鞍点像马鞍面的样子

好 f（x，y）等于x平方

这个简单的函数

那在0 0点

它的函数值等于0

在0 0点

一阶偏导数都等于0

所以0 0点是它的一个稳定点

再看它的二阶偏导数

分别是2 0 0

所以Hessian矩阵是这样的一个矩阵

对角矩阵

对角线上是2 0

那这个矩阵是一个半正定的矩阵

从图上可以看出来f在(0,0)点达到极小值

不是严格极小值 是极小值

这是它的图

0 0点是其中的一个极小值点

还有一些其他的值也可以达到

这是半正定矩阵给我们的信息

我们再来看一个例子

f（x，y）等于x的三次方

很容易看到这个函数

在0 0点等于0

它的一阶偏导数

在0 0点等于0

因此它是一个稳定点

那么它的二阶偏导数呢

也都是等于0

因此它的Hessian矩阵

就是一个0矩阵

那这个Hessian矩阵

是一个半正定矩阵

我们从几何图像上可以看得出来

这个函数在0 0点既不是极大值点

又不是极小值点

跟刚才的f（x，y）等于x平方

这个例子去做比较

它们在稳定点上

Hessian矩阵都是半正定的

f（x，y）等于x的三次方

在0 0点不是极值点

f（x，y）等于x平方

在0 0点它是极小值点

我们说这个函数在稳定点处的

Hessian矩阵如果半正定的情况下

它的极值性是需要特别的讨论

那么当然我们一定可以排除掉

它是极大值点的情况

这个例子可以作比较

说明这一点

这节我们的重点

是正定矩阵的判别条件

性质和简单的应用

如果大家有什么问题

欢迎在讨论区里跟我们互动