2.1 函数的梯度（下）在线视频

首先 我们来介绍函数梯度的概念

我用倒三角f（X）来表示

我们称为是�f（X）

对于函数梯度呢我们来看一下

还是以n=2为例

我们说?f比?s我们上一次学的

对于一个函数的方向导数

我们可以是写成什么

就是?f比?x1乘以它的方向余弦

加上?f比?x2乘以它的方向余弦

就是我们这个方向与x1轴和x2轴的

夹角的余弦?f比?s

那我们这样写完以后呢

我们可以用向量的形式

我们用矩阵的形式来表示

我们用等于是什么

?f比?x1 ?f比?x2乘以cosα1 cosα2

那么这里边呢

我们定义cosα1 cosα2等于s

它就是什么s的这个方向

那么因为cosα1的平方

加上 cosα2的平方再开方是等于1的

所以它的模是等于1的

如果把这里边的这个定义完以后呢

那么这里边的?f比?x1和?f比?x2的转置

我们写成列向量

我们把它定义为这个函数的梯度�f（x）

那有了它以后我们来看一下

它是什么 它只与什么

只与f有关

你看如果我们定义它为函数的梯度以后

是不是跟s这个方向余弦

s这个方向是没有关系

只与?f 就f求x1的偏导 f求x2的偏导

所以它是与s方向无关与fx有关

所以它只与函数有关

它是函数的一个性状

只于fx有关

与你所选取的那个方向是没有关系的

那我们来看一下对于一些

这个矢量的运算的回忆

如果a是a1 a2 b是b1 b2的话呢

那么我们说a的转置乘以b

就是a1 a2乘以b1 b2

大家都学过等于a1b1加上a2b2

那么同样呢我们说它也可以写成什么呢

可以写成它的模乘以它的模

乘以它们两个cos的余弦

对吧乘以两个cos的角度

所以就是什么像这样子

这是a这是b那么如果说我两个矢量相乘

你可以用这种方式来表示

也可以用这种方式来表示

用模和模然后乘以它们两个夹角的余弦来表示

这个我们的基础知识

我们一会来看一下我们刚才的方向导数

和我们的梯度的关系

那好吧我们来看一下

有了?f比?s等于刚刚我们推导出来等于什么

等于梯度的转置乘以s

回想刚才我们的a的转置乘以b的话

我们来看就等于什么

一样是等于梯度的模乘以s的模

然后呢cosθ θ等于什么

?fx比?s的夹角

那就可以讨论了我们来看讨论什么呢

那么不同的θ是不是就有不同的cosθ值

那么你所得到的?f比?s值是不就不一样

那我们来看看不同的θ讨论一下

因为cosθ是大于-1小于1的

我们看当s取与?f（x）方向一致的时候

如果即使θ角等于0度的时候

是不是这个就等于�f（x）的模

那它是什么是不是这是最大的

因为你不管怎么样因为s的模是等于1的

?f（x）比?s就是相当于什么

在x点处的s方向的导数或者什么呢

偏导数的变化率的什么

到底哪个最大呢

我们看s既然是等于1的话

那么就相当由它来决定吗

当θ角等于0的时候cosθ等于1

那么它就等于它了

就变成了变化率最大

这个变化率最大我们再解释一下

把它延展开来解释什么意思

那就是说在某一个x点处

我沿着哪个方向s

能使f（X）的变化率最大

现在我们找到什么啦

那告诉你了当θ角等于0的时候

沿着哪个方向

s与�f（x）这个方向一致

s与梯度的方向重合的时候

那么则在这一点处沿着梯度的方向

f（x）的变化率最大

是不是就解释了我们刚才所说的那个问题

到底在x点处沿着哪个方向变化

能使f（x）函数值的变化率最大呢

对吧我们解决这个问题

所以说什么我们总结出来了

当s你所取点取的方向

与�f（x）方向一致的时候它的变化率最大

就解决了我们刚才那个问题

因此说呢我们把取得方向导数最大值的方向

�f（x）也称为f（x）在x点处的梯度

我们由两维推广到n维

很简单n维也是一样的

两维就是?f（x）比?x1 ?f（x）比?x2

这是两维的

那么同样 对于n维来说也很简单

那就是?f（x）比?x1比?x2一直到?xn

也就是�f（x）等于Σ求和

这里边呢如果取模的话

很简单无非是对于每一个分量平方再开方

所以得到n维的�f（x）的梯度的定义

然后呢梯度 模

梯度是一个什么

有大小有方向的矢量

模就是它的这个长度

并且我们知道

梯度就是这个函数值最速变化的方向

沿着梯度方向

能使这个函数值变化量是最大的

那么这里面的函数的模�f（x）的模呢

就是f（x）在x点处沿�f（x）方向的变化率

对于函数梯度的性质

第一�f（x）是以?f（x）比?x2

为分量的一个矢量

这里边我标蓝了是个重要的

它是个矢量不是标量

什么是矢量

有大小有方向

�f（x）是f（x）在x点处的最速上升方向

-�f（x）是f（x）在x点处的最速下降方向

注意这是我们什么

函数的等值线

这是函数的f（x）的极值点

那我随便在这里边取到一点

对于这一点那么在这一点处的函数值

最速变化的方向是什么方向呢我们来看一下

这是它的最速上升方向�f（x）

这是它的最速下降方向-�f（x）

在不同的x点处的�f（x）值是不同的对吧

通过这个图我们来看

我们也看到了或者我们通过

我们的计算也可以看出来什么

不同点处的x点处

你代进去的�f（x）是不一样的

意思是说在不同x点处的梯度的模是不一样的

因此说呢�f（x）只能反映在x点处附近的性态

学的比较好的同学

你不说x点处的最速上升和最速下降方向吗

那我在这个点处我要最速下降

我最后要找到是X*这一点

那为什么不是x这个方向

为什么不直接指向X*呢

我直接指向它一步不就到这一点了

不就最速下降方向吗

是这个问题吗

有的同学为什么不是这点这点连线过来呢

为什么

因为�f（x）只能反映在x这一点处

在它附近

在这个很小区域附近的性态的变化率

不是全局的变化率

在这一点处变化率

那么在这一点处我能保证你什么

我在这一点处我能保证你

你不管哪个方向走

沿着这个方向是变化最快的

沿着这个方向我走一小步

那么你的函数值会变化很多

那么到了新的一个点

那它可能又是什么

又去修正了

又到这个往这个方向走了

沿这个方向是它的梯度方向

那么沿这个方向走一小步

函数值变化的很多

它只是反映在x点附近的性态

局部性态

第三个�f（x）与x点是等值线是正交的

对这个等值线我做一个切线

实际上它是什么

与它是正交垂直的

那么这个方向实际上就是

变化率为0的方向

很容易理解对不对

你看这个图就能看出来

我做这个切线

如果你沿这个红线那个方向来走的话

是不是就刚好是沿这个等值线来走 对不对

沿等值线走

什么是等值线

函数值相等的那条线吗对不对

所以你在这条线上走是不是

你往这边走一点走这条线上走

是不跟没有走一样

等值线吗是不一样

所以说这条线是变化率为0的方向

这条线是变化最快的方向

我们通过几何意义通过这个图形

大家更好理解

那我们要解释一下

因为f（x）沿切线s方向变化率是0的

所以说呢�f（x）乘以scosθ=0

θ等于90度

我们沿这个方向是变化率最快的方向

那到底最后有同学说了

我们为了严谨一点你刚刚说的直接给出来了

�f（x）是f（x）在x点处的最速度上升方向

-�f（x）是f（x）在x点处的最速下降方向

那到底是不是这样子

你能不能给我证明一下

那我们看一下方向上升下降的判定

我们大概的证明一下

那所以我们看一下

如果说�f（x）转置乘以s小于零

那么则s就为下降的方向

那换句话说说

如果说我给了你一个方向

对这个方向来说你想判断这个方向

到底是上升方向还是下降方向

并不一定是最速的

并不一定是跟梯度重合的

我就给你一个方向

你大体上判断下

到底是上升方向还是下降方向怎么判断

是不很简单

在这点时候给了你一个方向怎么办

那你这个方向

假如说这是一个象限的话

我在这上面是不都是上升方向

在下面都是下降方向

假设我随便画这是一个方向

你到底上升下降方向

是不是看这个和它的夹角就行了

那所以说呢

�f（x）乘以s如果小于0

它就是下降方向

对吧就是cosθ大于90度吗

所以它是一个小于120大于90度的

所以它是一个最速下降方向

我们这张图蓝颜色的下降方向随便给一个方向

这个方向与�f（x）的夹角是

小于0吗应该是负的吗

负的话相当于是什么

是cos大于90度小于180度

所以它应该这个夹角应该是一个负的

所以说等于�f（x）乘以s是小于0

s为下降方向

�f（x）乘以s如果是大于0的话

夹角是小于90度的

它就为最速上升方向