当前课程知识点:微积分-2 > Chapter 4 Differentiations of Multivariable Functions 多元函数微分学 (fourth part) > Unit 8 Taylor's Theorem (泰勒定理) (section 2) > Taylor's Theorem (泰勒定理) (section 2)
Section two Hessian Matrix 海瑟矩阵
同学们 这一小节我们学习一种新的矩阵
它叫做Hessian Matrix
If all second partial derivatives of some function f exist
And they are continuous over the domain of the function
这个条件呢要求比较强
就是所有的二阶偏导数都要存在
而且所有这些f的偏导数呢
都要在f本身的定义中呢
要连续
好的 这个时候呢我们定义所谓的
Hessian matrix
Hessian matrix呢 我们用这样的符号
H(f)来表示 它呢 表示一个矩阵
It is a square matrix of n times n
它是一个n乘n重矩阵
一个方阵 有n行n列
好我们看一下这个矩阵
这个矩阵呢 很大
它有n行n列
第一个位置我们看最上角的位置
是f关于x1的二阶偏导数
第二个 也就是第一行第二列
它是f关于x1的偏导数
再求关于x2的偏导数
也就是个二阶偏导数
我们把每一行每一列观察一遍的话
就会明白这里面的规律
也就是它的第i行第j列的元素呢
其实非常的简单
我们马上能看出来就是f求了二阶导数
对谁求的呢
就是对xi要求一次偏导数
对xj也要求一次偏导数
这恰好构成了Hessian矩阵
H(f)的第ij个元素
所以这个矩阵 其实本身定义并不复杂
好 我们总结一下
In other words component-wise we have
H(f)的第ij个元素是谁呢
是partial square f over
partial xi partial xj
也就是说 第ij个元素呢
是某一个特定的二阶偏导数
也就是关于xi xj的偏导数
注意啊
The determinant of the above matrix is also
sometimes referred to as the Hessian
这个Hessian矩阵啊
我们通常就是这样一个矩阵
有的书上呢 直接说Hessian
一个函数的Hessian
它指的就是Hessian矩阵的行列式
这呢 Hessian矩阵行列式呢
完整的名称应该叫做Hessian determinate
Hessian行列式 但是有的书上呢
就直接叫做Hessian
注意其中的差异
那么Hessian矩阵到底怎么来的呢
其实我们只要观察一下我们前面讲的泰勒公式就明白了
Previously we have the Taylor’s formula
for the two variable function
比如我们看一个二元函数就明白了
假设这个二元函数是f(x,y)
如果我们看把它作泰勒展开展到第二阶项
也就是 这个样子
f(x0+△)等于常数项f(x0)
再加上一阶项也就是f的梯度和△作内积
下面就是二阶项
这个二阶项啊 我们把它换了一种写法
同学们一定要注意这个写法
它是2分之1后面跟了一个内积
这个内积啊 第一项是谁呢
是f的Hessian矩阵
注意是在x0点取值以后的那个Hessian矩阵
所以它变成了一个数量矩阵
这个矩阵啊 是2乘2阶的
然后呢 再作为一个矩阵
成为一个向量 这个向量就是△
△呢有两个分量
也就是△x△y
然后呢 再和△作内积
这个 第三项啊 也就是我们看到的二阶项
如果同学们在线性代数中学习过一个知识
就是所谓的二次型这个知识的话
同学们一定会觉得一点不奇怪
这个呢恰好是二次型的写法
我们现在呢就故意把这个第二阶项写成二次型的形式
但是其中 这个决定性的矩阵啊 就是这个Hessian矩阵
好了 余项还是o △平方
于是我们看到 把一个函数做二阶泰勒展开的时候呢
那个二阶项啊恰好就是一个二次型
这个二次型定义的矩阵呢就是Hessian矩阵
这里呢 同学们一定要自己亲手
把里面的每一项写一下就明白了
注意 刚才我们是拿二元函数做例子的
那么这个二元函数呢
它的对应的Hessian矩阵呢
实际上比较简单
因为它一共只有四项
现在我们把它全部写出来
就是对角线上分别是x的二阶偏导数 y的偏导数
而两个斜对角线呢
Partial f square over partial y partial x
Or Partial square f partial x partial y
刚才这个写法呢 实际上对n元的函数呢
也是对的
This formula is holds for f
Which are n variable functions
一样的 如果对一个n元函数做展开的时候
它的第一项也是常数项
第二项也是这样一个▽f和△作点积
这么一个一阶项 以及第三项
就是二阶项 是一个二次型
它是1/2 H(f)作为一个矩阵在x0处取值成为数量阵后
再乘以△这个列向量 然后再和△作内积
所以我们把这个地方的Hessian矩阵和
泰勒展开的关系呢 写清楚了
这个Hessian矩阵呢 它的重要性就在这个地方
它是泰勒展开的第三项
也就是二阶项里面那个二次型对应的矩阵
我们要注意这样一个事实
Remark In this formula we have assumed that the
Second derivatives of f are all continuous
in a neighborhood of this point
刚才这个式子中啊 我们已经假设了这个f啊
它的所有的二阶导数啊 在这个点的附近呢
有连续性
那么 这就意味着
二阶导数啊 实际上跟次序无关
这是我们上一个单元才介绍的内容
所以呢
all the partial derivatives
比如说二元的时候
不管你是先求
partial x
然后再求
partial y
还是先求
partial y 再求
partial x结果是一样的
所以呢 我们说
Hessian matrix is always symmetric
对n元函数呢 也是这样子的
只要我们假设所有f的二阶偏导数都连续的话
那么它和次序无关
因此呢Hessian矩阵 总是一个对称矩阵
-Introduction (课程介绍)
-Unit 1 Definition of Improper Integrals (广义积分的定义)(section 1)
--Definition of Improper Integrals (广义积分的定义)(section 1)
--Exercises-1-1-1
-Unit 1 Definition of Improper Integrals (广义积分的定义)(section 2)
--Definition of Improper Integrals (广义积分的定义)(section 2)
--Exercises-1-1-2
-Unit 2 Examples of Improper Integrals (广义积分的例子)
--Video-1-2 Examples of Improper Integrals (广义积分的例子)
--Exercise-1-2
- Unit 3 Tests of Convergence(收敛性判别)(section 1)
--Tests of Convergence(收敛性判别)(section 1)
--Exercises-1-3-1
- Unit 3 Tests of Convergence(收敛性判别)(section 1)--作业
- Unit 3 Tests of Convergence(收敛性判别)(section 2)
--Tests of Convergence(收敛性判别)(section 2)
--Exercises-1-3-2
- Unit 3 Tests of Convergence(收敛性判别)(section 2)--作业
-Unit 4 Absolute Convergence and Conditional Convergence (绝对收敛和条件收敛)
--Absolute Convergence and Conditional Convergence (绝对收敛和条件收敛)
--Exercise-1-4
--1-4讲义
-Test1
-Unit 1 Infinite Series and Their Convergence(无穷级数及其收敛性)
--Infinite Series and Their Convergence (无穷级数及其收敛性)
--Exercises-2-1
--2-1讲义
-Unit 2 Absolute Convergence and Conditional Convergence (绝对收敛与条件收敛)
--Absolute Convergence and Conditional Convergence (绝对收敛与条件收敛)
--Exercises-2-2
--2-2讲义
-Unit 3 More Tests for Convergence (更多的收敛性判别法)(section 1)
--More Tests for Convergence (更多的收敛性判别法)(section 1)
--Exercises-2-3-1
-Unit 3 More Tests for Convergence (更多的收敛性判别法)(section 2)
--More Tests for Convergence (更多的收敛性判别法)(section 2)
--Exercises-2-3-2
-Unit 3 More Tests for Convergence (更多的收敛性判别法)(section 3)
--More Tests for Convergence (更多的收敛性判别法)(section 3)
--Exercises-2-3-3
--2-3讲义
-Test2
-Unit 4 Sequences and Series of Founctions(函数项数列与函数项级数)(section 1)
--Sequences and Series of Founctions(函数项数列与函数项级数)(section 1)
--Exercises-2-4 (section 1)
-Unit 4 Sequences and Series of Founctions(函数项数列与函数项级数)(section 2)
-- Sequences and Series of Founctions(函数项数列与函数项级数)(section 2)
--Exercises-2-4 (section 2)
--2-4讲义
-Unit 5 Uniform Convergence(一致收敛性)(section 1)
--Uniform Convergence(一致收敛性)(section 1)
--Exercises-2-5(section 1)
-Unit 5 Uniform Convergence(一致收敛性)(section 2)
--Uniform Convergence(一致收敛性)(section 2)
--Exercises-2-5(section 2)
--2-5讲义
-Unit 1 Power Series (幂级数)(section 1)
--Power Series (幂级数) (section 1)
--Exercise-3-1(section 1)
-Unit 1 Power Series (幂级数)(section 2)
--Power Series (幂级数)(section 2)
--Exercise-3-1 (section 2)
--3-1讲义
-Unit 2 Expansion of Functions in Power Series (函数的幂级数展开)
--Expansion of Functions in Power Series(函数的幂级数展开)
--Exercise-3-2
--3-2讲义
-Unit 3 Fourier Expansion (Fourier级数展开) (section 1)
--Fourier Expansion(Fourier级数展开)(section 1)
--Exercise-3-3(section 1)
-Unit 3 Fourier Expansion (Fourier级数展开) (section 2)
--Fourier Expansion(Fourier级数展开)(section 2)
--Exercise-3-3(section 2)
--3-3讲义
-Unit 4 Convergence of Fourier Series(Fourier 级数的收敛性)(section 1)
--Convergence of Fourier Series(Fourier 级数的收敛性)(section 1)
--Exercise-3-4(section 1)
-Unit 4 Convergence of Fourier Series(Fourier 级数的收敛性)(section 2)
--Convergence of Fourier Series(Fourier 级数的收敛性)(section 2)
--Exercise-3-4(section 2)
--3-4讲义
-Unit 5 Other Forms of Fourier Series(其他形式的Fourier级数)
--Other Forms of Fourier Series(其他形式的Fourier级数)
--Exercise-3-5
--Test3
--3-5讲义
-Unit 1 Euclidean Space (欧几里德空间) (section 1)
--Euclidean Space (欧几里德空间) (section 1)
--Exercise-4-1-1
-Unit 1 Euclidean Space (欧几里德空间) (section 2)
--Euclidean Space (欧几里德空间) (section 2)
--Exercise-4-1-2
-Unit 1 Euclidean Space (欧几里德空间) (section 3)
--Euclidean Space (欧几里德空间) (section 3)
--Exercise-4-1-3
--4-1讲义
-Unit 2 Curves and Surfaces (曲线与曲面) (section 1)
--Curves and Surfaces (曲线与曲面) (section 1)
--Exercise-4-2-1
-Unit 2 Curves and Surfaces (曲线与曲面) (section 2)
--Curves and Surfaces (曲线与曲面) (section 2)
--Exercise-4-2-2
-Unit 2 Curves and Surfaces (曲线与曲面) (section 3)
--Curves and Surfaces (曲线与曲面) (section 3)
--4-2讲义
-Unit 3 Point-Set Topology of E3 (E3中的点集拓扑) (section 1)
--Point-Set Topology of E3 (E3中的点集拓扑) (section 1)
--Exercise-4-3-1
-Unit 3 Point-Set Topology of E3 (E3中的点集拓扑) (section 2)
--Point-Set Topology of E3 (E3中的点集拓扑) (section 2)
--Exercise-4-3-2
-Unit 3 Point-Set Topology of E3 (E3中的点集拓扑) (section 3)
--Point-Set Topology of E3 (E3中的点集拓扑) (section 3)
--Exercise-4-3-3
--4-3讲义
-Unit 4 Completeness and Connectness (完备性与连通性) (section 1)
--Completeness and Connectness (完备性与连通性) (section 1)
--Exercise-4-4-1
-Unit 4 Completeness and Connectness (完备性与连通性) (section 2)
--Completeness and Connectness (完备性与连通性) (section 2)
--Exercise-4-4-2
--4-4讲义
-Unit 5 Continuous Multivariable Functions (连续多元函数) (section 1)
--Continuous Multivariable Functions (连续多元函数) (section 1)
--Exercise-4-5-1
-Unit 5 Continuous Multivariable Functions (连续多元函数) (section 2)
--Continuous Multivariable Functions (连续多元函数) (section 2)
--Exercise-4-5-2
-Unit 5 Continuous Multivariable Functions (连续多元函数) (section 3)
--Continuous Multivariable Functions (连续多元函数) (section 3)
--Exercise-4-5-3
--4-5讲义
-Unit 6 Partial Derivatives and Differentiability (偏导数与可微性) (section 1)
--Partial Derivatives and Differentiability (偏导数与可微性) (section 1)
--Exercise-4-6-1
-Unit 6 Partial Derivatives and Differentiability (偏导数与可微性) (section 2)
--Partial Derivatives and Differentiability (偏导数与可微性) (section 2)
--Exercise-4-6-2
-Unit 6 Partial Derivatives and Differentiability (偏导数与可微性) (section 3)
--Partial Derivatives and Differentiability (偏导数与可微性) (section 3)
--Exercise-4-6-3
--4-6讲义
-Unit 7 Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 1)
--Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 1)
-Unit 7 Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 2)
--Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 2)
--Exercise-4-7-1
--Exercise-4-7-2
-Unit 7 Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 3)
--Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 3)
--Exercise-4-7-3
-Unit 7 Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 4)
--Jacobian Matrix and Directional Derivatives (雅克比矩阵与方向导数) (section 4)
--Exercise-4-7-4
--4-7讲义
-Test1
-Unit 8 Taylor's Theorem (泰勒定理) (section 1)
--Taylor's Theorem (泰勒定理) (section 1)
-Exercise-4-8-1
-Unit 8 Taylor's Theorem (泰勒定理) (section 2)
--Taylor's Theorem (泰勒定理) (section 2)
-Exercise-4-8-2
-Unit 8 Taylor's Theorem (泰勒定理) (section 3)
--Taylor's Theorem (泰勒定理) (section 3)
--4-8讲义
-Unit 8 Taylor's Theorem (泰勒定理) (section 3)--作业
-Unit 9 Applications of Gradients (梯度的应用) (section 1)
--Applications of Gradients (梯度的应用) (section 1)
-Unit 9 Applications of Gradients (梯度的应用) (section 2)
--Applications of Gradients (梯度的应用) (section 2)
--Exercise-4-9-2
--4-9讲义
-Unit 1 Multiple Integrals (重积分) (section 1)
--Multiple Integrals (重积分) (section 1)
-Unit 1 Multiple Integrals (重积分) (section 2)
--Multiple Integrals (重积分) (section 2)
--Exercise-5-1-2
-Unit 1 Multiple Integrals (重积分) (section 3)
--Multiple Integrals (重积分) (section 3)
--Exercise-5-1-3
--5-1讲义
-Unit 2 Triple Integrals (三重积分) (section 1)
--Triple Integrals (三重积分) (section 1)
--Exercise-5-2-1
-Unit 2 Triple Integrals (三重积分) (section 2)
--Triple Integrals (三重积分) (section 2)
--Exercise-5-2-2
-Unit 2 Triple Integrals (三重积分) (section 3)
--Triple Integrals (三重积分) (section 3)
--Exercise-5-2-3
--5-2讲义
-Unit 3 Line Integrals (曲线积分) (section 1)
--Line Integrals (曲线积分) (section 1)
--Exercise-5-3-1
-Unit 3 Line Integrals (曲线积分) (section 2)
--Line Integrals (曲线积分) (section 2)
--Exercise-5-3-2
--5-3讲义
-Unit 4 Surface Integrals (I) (第一型曲面积分) (section 1)
--Surface Integrals (I) (第一型曲面积分) (section 1)
--Exercise-5-4-1
-Unit 4 Surface Integrals (I) (第一型曲面积分) (section 2)
--Surface Integrals (I) (第一型曲面积分) (section 2)
--Exercise-5-4-2
-Unit 4 Surface Integrals (I) (第一型曲面积分) (section 3)
--Surface Integrals (I) (第一型曲面积分) (section 3)
--Exercise-5-4-3
-Unit 5 Surface Integrals (II) (第二型曲面积分) (section 1)
--Surface Integrals (II) (第二型曲面积分) (section 1)
-Unit 5 Surface Integrals (II) (第二型曲面积分) (section 2)
--Surface Integrals (II) (第二型曲面积分) (section 2)
--5-4讲义
-Unit 5 Surface Integrals (II) (第二型曲面积分) (section 3)
--Surface Integrals (II) (第二型曲面积分) (section 3)
--Exercise-5-5-1
--5-5讲义
-Unit 6 Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 1)
--Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 1)
--Exercise-5-6-1
-Unit 6 Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 2)
--Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 2)
-Unit 6 Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 3)
--Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 3)
--Exercise-5-6-2
--Exercise-5-6-3
--5-6讲义
-Unit 6 Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 4)
--Some Theorems of Line and Surface Integrals (曲线与曲面积分的几个定理) (section 4)
-Unit 7 Field Theory (场论) (section 1)
--Field Theory (场论) (section 1)
-Unit 7 Field Theory (场论) (section 2)
--Field Theory (场论) (section 2)
--Exercise-5-7-1
-Unit 7 Field Theory (场论) (section 3)
--Field Theory (场论) (section 3)
-Unit 7 Field Theory (场论) (section 4)
--Field Theory (场论) (section 4)
--Exercise-5-7-2
--Test5
--5-7讲义