8.5 矩阵的微分和积分在线视频

我们这一部分，所要介绍的是

矩阵的微积分。

它包括的内容，有如下的三个：

第一个就是，对矩阵的求导和积分；

第二个就是，

数量函数对于矩阵变量的导数；

第三个就是，矩阵值函数

对于矩阵变量的导数。

首先我们来看一下，矩阵的求导和积分。

我们给出一个定义：

矩阵A，

如果它的每个元素，都是变量T的函数。

比如说，矩阵的第 i 行第 j 列的元素

aij，实际上是一个T的函数。

这时候，我们就把矩阵A，称作函数矩阵。

例如，下面的这个矩阵A(t)，

它的每一个元素，都是T的函数

这就是一个函数矩阵。

对于一个函数矩阵，A(t)

它的每个元素，都是T的函数。

如果每个元素，关于变量T全部可导，

或者是可微的话，

我们就把 A(t)，称为可导矩阵，

或者是可微矩阵。

其导数矩阵，

也就是，对原来 A(t) 中的每个元素，求导。

例如，刚才的矩阵函数

A(t)， 对每个元素求导，

我们得到了，就是它的导数矩阵。

接下来，来定义函数矩阵

A(t) 的可积性。

对于函数矩阵 A(t)，

如果它的每个元素，

都是区间 [a, b] 上的可积函数,

这时候，我们就把 A(t)

称为 [a, b] 区间上的可积矩阵。

而它的积分矩阵，也就是对于每个元素，

在 [a, b] 区间上来做积分。

例如，刚才的矩阵函数，对每个元素

在 [1, 2] 区间上积分,

我们得到了，就是积分矩阵。

对于函数矩阵，

它的求导，有如下的一些性质：

我们来看，性质1，

和或者差的导数，等于导数的和或者差；

性质二所说的是，一个T的函数

乘上一个T的函数矩阵，

这个乘积的导数，

我们有类似于函数的乘积公式。

也就是，对乘积中的一部分

关于T求导，而保留另一部分。

所以我们的性质2

得到的，就是这个乘积的导数

等于，关于函数 λ(t) 求导，

乘上函数矩阵 A(t)，

然后再加上，保留函数 λ(t),

再乘上，关于函数矩阵 A(t) 求导。

所以大家可以看到，

我们有，类似于数的函数的乘积公式：

乘积的导数等于对其中的一个求导

保留另一部分。

性质三，

我们，把刚才的一个函数乘上一个函数矩阵，

变成了两个函数矩阵的乘积，

同样具有下面的乘积公式：

也就是，两个函数矩阵乘积的导数，

等于对其中的一个关于T求导，保留另一个。

特别的是，一个常数矩阵A，

乘上一个函数矩阵 B(t)。

它的导数实际上就等于，常数矩阵A

乘上函数矩阵 B(t) 的导数。

同样的，如果一个函数矩阵 A(t)，乘上常数矩阵B，

它关于T的导数，

实际上就等于，函数矩阵 A(t)

关于T的导数，乘上常数矩阵A。

但是，我们函数矩阵的求导，

与函数的求导，还是有不同的地方。

比如说性质四，

性质四说的是，一个函数矩阵的M次方幂，

它关于T的导数，

通常不等于，M乘上这个矩阵 A(t) 的M-1次方,

再乘上 A(t) 关于T的导数。

这个事情，对于通常的函数来说，是成立的。

但是，对于我们的函数矩阵，

这个等式通常是不对的。

而等式成立的条件是什么呢？

也就是，A(t) 和它的关于T的导数函数，

乘法是可以交换的。

只有在这个条件下，

我们的函数矩阵的导数，

才具有和函数导数类似的性质。

下面看一个例子，

对于这样的一个矩阵函数

A(t) 我们算了一下它的平方,

然后，对它的平方关于T求导，

我们发现它平方的导数，

并不等于二倍的A(t），

乘上A(t) 的导数。

所以我们知道，

对于这个方阵A(t),

它和它自己的导数矩阵，

乘法是不可以交换的。

我们来看一下性质5，

如果矩阵A(t)是一个可导矩阵,

而它的逆，也是可导的，

则我们有如下的，对于逆矩阵的求导公式：

A(t) 逆的导数，等于负的A(t) 的逆，

乘上A(t) 关于T的导数，再乘上A(t) 的逆。

性质六，是所谓的链式法则。

也就是，我们有一个函数矩阵A(X)，

其中的变量X。

它关于变量X，是可导的。

而X又是一个T的可导函数。

这时候，我们可以把原来的矩阵函数A(X)，

看成是一个复合的函数。

所以，我们有类似于复合函数的，

求导的链式法则。

也就是，A(X)关于T的导数，

实际上等于，X关于T的导数，

乘上A(X)关于X的导数。

性质7，我们看到，我们所定义的矩阵函数，

有类似于通常的函数的性质。

比如说，第一个函数，e的At 次方。

它关于T的导数，等于A倍的自己。

这跟我们通常的指数函数的求导性质类似。

然后，我们所定义的sinA(t)

和cosA(t)。

也具有，和正弦函数sinT

和cost类似的，导数性质。

下面这个事实，

实际上，可以帮助我们用来检测，

我们所算的矩阵函数，

e的At次方，是否正确。

这个事情所说的就是，e的At次方,

关于T求导，应该等于，A倍的e的At次方。

我们让，T等于零，带入这个等式，

所以我们所得到的事情，就是

A等于，e的At次方

关于T求导之后，带入T等于零。

所以，我们在求了e的At次方之后，

对它关于T求导，

然后带入，T等于零。

如果我们所得到的矩阵，

是原来的矩阵A的话，

说明，我们所计算的e的At次方没问题。

如果所得到的矩阵，不是A，

说明我们所计算的e的At次方，是错误。

例如，对于这样的A，

我们计算了e的At次方，

如果你对每一个元素，

关于T求导之后，带入T等于0，

你会得到原来的方阵。

我们刚才看了函数矩阵，

它的导数性质。

接下来，我们来看一下函数矩阵，

它的积分性质。

第八个性质，所说的就是，线性组合的积分

实际上等于积分的线性组合。

原因很简单，

就是因为我们的积分，对函数矩阵的积分，

实际上是对每一个元素进行积分。

所以函数矩阵的积分，

具有通常函数积分的性质。

我们接下来看到的性质是，函数矩阵

它的变上限积分，求导。

就等于，被积函数带入它的变上限。

这个跟我们微积分里面，

所说的变限积分求导，

微积分基本定理是一致的。

所以这个性质，无论是函数矩阵，

还是普通的函数，是一样。

性质十一，所说的事情就是，导数的积分

实际上等于，原函数的带入上下限，的差。

这个，跟我们普通函数积分的性质，也是一样。

我们接下来要说的是，第二部分。

也就是，数量函数对于矩阵变量的导数。

首先，我们有这样的一个自变量矩阵，

大X，它的元素

小的xij，是一些自变量。

这些自变量，构成了一个矩阵。

而我们的函数f，

它是以大X为自变量的，一个数量函数。

我们下面规定，这个数量函数小f，

对于矩阵变量大X的导数。

就是把小f，对于矩阵变量中的每一个变量，

来求偏导。

然后，按照我们自变量xij的顺序,

把这些偏导数排成一个矩阵,

这就是，我们数值函数

小f，对于矩阵变量大X，的导数。

作为一个特殊情况，

就是当我的自变量小x,

是一列自变量，x1,。。。 到 xn 的时候，

我们函数，关于这个矩阵自变量，

它的导数，实际上就是

我们所说的函数的梯度。

下面我们来看一个简单的例子。

就是给了一个常值向量a，

还有一个变量矩阵, 叫x。

我们所定义的函数f,

就等于，a的转置，乘上x，

或者是，x 转置，乘上a.

我们要求的就是，我们所定义的函数 f，

关于变量矩阵 x，的导数。

这类问题的关键之处，就是

我们先要利用矩阵的运算，

来计算出我们的函数值，f

然后再对小 f，关于

变量矩阵中的每个变量，求偏导。

然后，再把这些偏导，按照顺序排成矩阵。

我们所得到的就是，我们要求的，小 f

关于矩阵变量大X，的导数。

我们有很多类似的例子，

我们所遵循的原则就是，先利用矩阵乘法，

求出函数值；

然后，对于每一个自变量求偏导；

然后，按照自变量的顺序排成矩阵。

作为这类问题的一个重要的应用，

就是我们下面这个例子，

也叫做最小二乘问题。

我们先给出它的定义。

就是，给了一个线性方程组，Ax=b。

如果线性方程组有解的话，

它的解就应该满足，A倍x减b等于0。

如果，我们的方程组是一个矛盾方程，

没有解的话，

我们想要寻求，最接近于解的，

这样的向量x0。

什么样的向量，是最接近于解呢？

我们认为就是，A倍的X减掉b，

它具有最小的二范数。

满足这样的性质的X零，

我们就把它称作，这个方程的最小二乘解。

也就是，在矛盾方程，无解的情况下，

我们寻找，最接近于解的，这样的向量。

因为如果有解的话，

解，会使得AX减b，等于零。

也就是，它的二范数的平方，等于零。

也就是，使得我们所定义的函数 f(x) 最小。

但是如果没解的情况下，

我们怎么来求最接近于解的向量呢？

就是，我们要找一个向量，

使得这个向量，

它ax-b的二范数的平方最小。

也就是，它离成为解最接近。

接下来，我们来推导一下最小二乘解，

它所应该满足的方程组。

假如说，我们现在有一个齐次线性方程组，

ax=b，

它无解。

而X零，是它的一个最小二乘解。

所以我们知道，X零

应该使得我们所定义的，距离函数 f(X)，

等于AX减b，取二范数的平方，达到最小值。

所以它是一个极值点。

所以我们知道，我们所定义的函数，

它关于矩阵变量X的导数，

在X零处，应该是零。

所以利用这样的一个关系，

我们可以得到，如下的方程组：

也就是，A的转置，乘上A，再乘上X，

应该等于，A的转置乘上b。

这个就是，应该是，我们最小二乘解

所应该满足的方程组。

我们把它称为，原来方程组的法方程组。

所以，我们是通过来求解法方程组，

来求矛盾方程的最小二乘解。

接下来，我们简单说一下第三个问题。

也就是矩阵值函数，对于矩阵变量的导数。

如何来定义？

首先，我们有一个大X。是一个 m 乘 n 的矩阵。

它里面的元素，小xij都是变量。

我们把大X，称为矩阵自变量。

接下来，我们的大F，作为矩阵值函数。

实际上是，由矩阵变量大X的，一些数值函数

小Fij，排成了一个矩阵。

所以大家可以看到，

我们的矩阵值函数，是一个矩阵。

它的每个元素，实际上是关于

矩阵变量大X，的一个数值函数。

也就是这样一个矩阵，

它的元素，实际上是

矩阵变量大X的数值函数。

我们下面规定，在给了一个

矩阵变量大X

和它的一个矩阵函数大F之后，

我们如何来定义

大F关于变量大X的导数。

它的定义是这样的，

我们把大F看成是，

其中每个自变量小xij的函数。

然后对大F，

关于每个自变量小xij，求偏导。

在求出这些偏导之后，

然后，按照我们的自变量

小xij的顺序，

把这些偏导排成矩阵。

但是大家注意的是，

我们的每一个大F关于小xij这的偏导数

实际上本身就是一个矩阵，

然后再按照自变量矩阵的顺序，

再排成一个更大的矩阵。

所以我们的大F关于大X的导数

是一个更大的矩阵。