当前课程知识点：线性代数(2) > 第一讲：正定矩阵 > 1.11* 正（负）定矩阵在函数极值问题中的应用 > 1.11* 正（负）定矩阵在函数极值问题中的应用
正定矩阵之所以这么重要
有一个重要的原因
是它在函数极值问题中的应用
我们以二元函数f（x、y）为例
假设（x0、y0）
是二元函数f（x、y）的
一个稳定点
也就是说在这一点上
f（x，y）的偏导数都是等于0
那么如果f（x，y）在这个稳定点
（x0，y0）它的邻域里头
有三阶连续偏导数
大家可以暂且不顾及分析条件
我们也就是说f（x，y）
在这一点上可以作Taylor展开
它的Taylor级数我们可以写成
f在这个稳定点的函数值
再加上在稳定点（x0，y0）的
一阶偏导数
偏f偏x去乘以x的改变量
再加上偏f偏y在这个（x0，y0）
点的值去乘以在y方向上的改变量
然后再加上
f关于x的二阶偏导数
在稳定点上的值去乘以Delta x的平方
加上2倍的f关于（x，y）
在（x0，y0）点的值
去乘以Delta x Delta y
再加上f关于y的二阶偏导数
在（x0，y0）点的值
去乘以Delta y的平方
整个的这部分去乘以1/2
再加上一个余项部分R
那么因为这个点是稳定点
所以它的一阶偏导数
在（x0，y0）都是等于0了
所以这一项
这两项就没有这个
关于Delta x的一次项部分就消失掉了
那么在靠着（x0，y0）
很近的这个部分上
f的函数值可以表示成
f在（x0，y0）点的函数值
加上1/2去乘以这部分
再加上一个余项
那这部分大家观察
它是关于Delta x Delta y的一个
二次齐次函数
或者叫关于Delta x Delta y的一个二次型
其中Delta x刚才我们说了
是x的改变量
也就是x-x0 Delta y是y-y0
余项部分我们也可以写出来
它是f的三阶导数项
f关于x的三阶导数
f关于x的二阶导数
y的一阶导数
f关于x的一阶导数
y的两阶导数
f关于y的三阶导数
这些个三阶偏导数
在Xi和Eta作为分量
这个Xi和Eta是（x0，y0）
这个稳定点靠得很近的两个点
我们叫Xi和Eta
好 它们相应地去乘以
Delta x Delta y的构成的三次项
那么前面再统一地去乘以
3的阶乘分之一 这是余项
我们可以证明说
当Delta x和Delta y的绝对值
充分小的时候
这个余项的绝对值
可以由二次项的这部分
它长度的1/2来控制
这样的话
我们f（x，y）减掉f（x0，y0）
也就是说函数值的差
就与关于Delta X Delta Y
这个实二次型
它的符号是同号的
就是说函数值的差
是由二次型它的性质决定
那么如果二次型是正定的
我们说对于足够小的Delta x和Delta y
并且它们不等于0的情况下
我们如果是正定的那个二次型
就总是大于0
从而
把f（x，y）减掉f（x0，y0）
总是大于0
那f在x0点 y0点就达到了极小值类似的
如果这个二次型是负定的话
函数在x0 y0就达到极大值
如果二次型是不定的
则(x0,y0)点既不是极大值点又不是极小值点
当二次型是半正定或者半负定的话
函数在(x0,y0)点的极值性
需要进一步地分析
那么由此可见说
这个二次型的这个矩阵
它的正定 负定和不定
来决定了我们这个函数
在这点的极值的性质
这个矩阵比较要紧
我们把它拿过来
叫做是Hessian矩阵
函数f在x0 y0点的Hessian矩阵
它的对角线上
是f关于x的二阶偏导数
和f关于y的二阶偏导数
在斜对角线上
分别是f关于x y的
这个交叉项的二阶偏导数
这个矩阵在分析里头
具有重要的意义
因为我们关心一个函数
它什么时候能够取极值
一般的呢
假设一个n元的实值函数
它有三阶连续偏导数
X0是f（x）的一个稳定点
那么f在X0的Hessian矩阵
也就是由f的二阶偏导数
在X0这一点
这是一个向量值的一个变量
这是现在变成了一个n阶的矩阵
n阶的一个对称矩阵
这个矩阵
如果它是正定的
我们的函数在X0这一点
达到极小值
如果Hessian矩阵是负定的
f（x）在这个X0点达到极大值
如果这个Hessian矩阵是不定的
那这个x0既不是极大值点
又不是极小值点
如果Hessian是半正定或者半负定的
函数在X0的极值性
需要进一步的分析
这个虽然是对n元函数成立
和刚才对于二元函数的分析
是一样的
大家如果不去计较
它的分析的严格性
你只需看我有Taylor展开
然后我函数的这个差
总是可以由二次型
这个Hessian矩阵
带给我们的二次型去控制
那么Hessian矩阵的正定
负定和不定性就决定了
函数和它临近值的这个函数值
之间的差异
从而决定了它的极值性
我们举一个简单的例子
f（x，y）是这样的一个函数
7加上2倍的x平方加3y方
加xy减y乘以siny
我们看它在0 0点
当X0等于Y0点的时候
能不能达到极值
首先我们来求这个函数的偏导数
关于X的偏导数是4x+y
关于y点的偏导数是6y+x
减掉siny 减ycosy
那么特别的在0 0点
这个一阶偏导数都等于0
因此0 0点是给定的这个
二元函数的一个稳定点
我们再来看它的二阶偏导数
在0 0点的值
二阶偏导数
这个f关于x的二阶偏导数等于4
关于x y的二阶偏导数等于1
关于y的二阶偏导数
等于6减2倍的cosy加ysiny
那在0 0点去看它的Hessian矩阵
这是f关于x的二阶偏导数是4
关于y的二阶偏导数
代进0 0的值去 6-2
这个地方加0 所以也是4
所以关于x y的这个偏导数是1
得到的是这样的一个矩阵
这个简单的2乘2的矩阵
是一个正定矩阵
因此我们可以断定
f在这个稳定点0 0点上
达到了极小值
我们再来看几个简单的例子
f（x，y）等于x平方加y平方
这个例子
这个函数大家很熟悉
我们说0是它的一个
严格的极小值点
我们从刚才的分析
Hessian矩阵的角度上来看一下
首先在0 0点
函数值是等于0的
我们容易求出来在0 0点
它的一阶偏导数等于0
因此x等于0 y等于0这个点
是函数的一个稳定点
我们看它的二阶偏导数
在0 0点上的值分别求出来是
2 0 2
因此Hessian矩阵在0 0点上
是这样的一个对角矩阵
那这个对角矩阵
是一个正定的矩阵
因此f在稳定点0 0上
达到是极小值
因为是个正定矩阵
我们说这其实是个严格极小值
这是它的图
这是0 0点的那个函数值
除此之外
这个函数所有的值都是大于0的
那么在0 0点是达到极小值点
在0 0点达到极小值
f（x，y）等于2xy
同样在0 0点上
函数值取到0
在0 0点上一阶偏导数也等于0
所以0 0点是它的一个稳定点
那二阶偏导数呢
分别是0 2和0
于是在这点处的Hessian矩阵
是0 2 2 0
这样的一个对称矩阵
我们说这个对称矩阵它有特征值
2和-2
它有正特征值 负特征值
所以它是一个不定的矩阵
那么这个稳定点0 0
它既不是它的极大值点
又不是它的极小值点
我们通过几何图象知道
这样的点我们叫做是一个鞍点
这是一个鞍点像马鞍面的样子
好 f（x，y）等于x平方
这个简单的函数
那在0 0点
它的函数值等于0
在0 0点
一阶偏导数都等于0
所以0 0点是它的一个稳定点
再看它的二阶偏导数
分别是2 0 0
所以Hessian矩阵是这样的一个矩阵
对角矩阵
对角线上是2 0
那这个矩阵是一个半正定的矩阵
从图上可以看出来f在(0,0)点达到极小值
不是严格极小值 是极小值
这是它的图
0 0点是其中的一个极小值点
还有一些其他的值也可以达到
这是半正定矩阵给我们的信息
我们再来看一个例子
f（x，y）等于x的三次方
很容易看到这个函数
在0 0点等于0
它的一阶偏导数
在0 0点等于0
因此它是一个稳定点
那么它的二阶偏导数呢
也都是等于0
因此它的Hessian矩阵
就是一个0矩阵
那这个Hessian矩阵
是一个半正定矩阵
我们从几何图像上可以看得出来
这个函数在0 0点既不是极大值点
又不是极小值点
跟刚才的f（x，y）等于x平方
这个例子去做比较
它们在稳定点上
Hessian矩阵都是半正定的
f（x，y）等于x的三次方
在0 0点不是极值点
f（x，y）等于x平方
在0 0点它是极小值点
我们说这个函数在稳定点处的
Hessian矩阵如果半正定的情况下
它的极值性是需要特别的讨论
那么当然我们一定可以排除掉
它是极大值点的情况
这个例子可以作比较
说明这一点
这节我们的重点
是正定矩阵的判别条件
性质和简单的应用
如果大家有什么问题
欢迎在讨论区里跟我们互动
-1.1 实对称矩阵A正定的充要条件
-1.2 典型例题
--1.2 典型例题
-1.3 半正定矩阵及其判别条件
-1.4 二次型
--1.4 二次型
-1.5* 有心二次曲线(central conic)
-1.6* 三维空间中的二次曲面-6类基本的二次曲面
-1.7 二次型的分类
-1.8 矩阵的合同
-1.9* 惯性定理的证明
-1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
--1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
-1.11* 正（负）定矩阵在函数极值问题中的应用
-第一讲：正定矩阵--课后习题
-2.1 引言
--2.1 引言
-2.2 相似矩阵的性质
-2.3 Jordan标准形
-2.4 定理的证明
-2.5 Jordan标准形的应用
-第二讲：相似矩阵--课后习题
-3.1 引言
--3.1 引言
-3.2 奇异值分解(Singular Value Decomposition)
--3.2 奇异值分解(Singular Value Decomposition)
-3.3 例题
--3.3 例题
-3.4 奇异值分解的应用
-第三讲：奇异值分解--课后习题
-4.1 线性变换的定义和性质
-4.2 线性变换的运算
-4.3 线性变换的矩阵表示
-4.4 线性变换与矩阵之间的关系
-第四讲：线性变换 I--课后习题
-5.1 恒同变换与基变换
-5.2 图像压缩——基变换的应用
-5.3 线性变换在不同基下的矩阵
-5.4 矩阵分解与基变换
-5.5 线性变换的核与像
-5.6 不变子空间
-5.7* 幂零变换
-5.8* Jordan标准形
-第五讲：线性变换 II--课后习题
-6.1 伪逆
--6.1 伪逆
-6.2 Moore – Penrose 伪逆
-6.3 最小二乘法
-第六讲：伪逆--课后习题
-7.1 简介
--7.1 简介
-7.2 弹簧模型
--7.2 弹簧模型
-7.3 变量的线性关系
-7.4 刚度矩阵
--7.4 刚度矩阵
-7.5 从离散到连续
-第七讲：工程中的矩阵--课后习题
-8.1 简介
--8.1 简介
-8.2 图和矩阵
--8.2 图和矩阵
-8.3 网络和加权Laplacian矩阵
-8.4 关联矩阵的四个基本子空间
-8.5 注记
--8.5 注记
-第八讲：图与网络--课后习题
-9.1 问题引入
--9.1 问题引入
-9.2 Markov矩阵
-9.3 正Markov矩阵
-9.4 正矩阵
-第九讲：Markov矩阵和正矩阵--课后习题
-10.1 引言
--10.1 引言
-10.2 内积空间
-10.3 傅里叶级数
-10.4 投影
--10.4 投影
-10.5 关于Fourier变换的注记
-第十讲：Fourier级数--课后习题
-11.1 引言
--11.1 引言
-11.2 平移
--11.2 平移
-11.3 伸缩
--11.3 伸缩
-11.4 旋转
--11.4 旋转
-11.5 投影和反射
-第十一讲：计算机图像--课后习题
-12.1 引言
--12.1 引言
-12.2 复矩阵
--12.2 复矩阵
-12.3 复正规阵
-12.4 离散Fourier变换
-12.5 快速Fourier变换
-第十二讲：复数与复矩阵--课后习题
-结课寄语
--结课寄语
