3.2 奇异值分解(Singular Value Decomposition)在线视频

我们来看一下

奇异值分解的具体形式

设A是m×n的给定的矩阵

那么存在着m阶的正交矩阵U

和n阶的正交矩阵V

使得A可以写成下面三个矩阵

U,∑,V＾T的乘积

其中U是m阶的正交矩阵

V的转置是n阶的正交矩阵∑

是一个m×n的矩阵

那么一般而言m不等于n

所以它不是一个方阵

那我们在这种意义下说

把m×n矩阵”对角化”

其中数字r是矩阵A的秩

sigma_1到sigma_r这r个数

我们来给一个次序

它们都是正数

我们来假设sigma_1大于等于sigma_2

大于等于sigma_r

称这r个数是A的奇异值

singular value

称m阶的正交阵U

和n阶的正交矩阵V

它的前r个列向量

为矩阵A的奇异向量

singular vector

我们把A写成U∑V＾T

这样的一个分解

叫做矩阵的奇异值分解

singular value decomposition

简称SVD

那SVD是线性代数应用中

最重要的一类矩阵分解

接下来我们把正交矩阵U

和正交矩阵V的列向量

分别表达出来

来具体地看一下在向量形式下

SVD分解表达的意义

我们设U的列向量

记为是u_1到u_m

V的列向量记成是v_1到v_n

其中这些u_i是长在R^m里

这些v_i是长在R^n里

那SVD的形式告诉我们

A=U∑V＾T

那因为V是正交矩阵

V的转置和V是互为逆矩阵

我们两边去乘以V之后

就得到A去乘以V等于U乘以∑

把V和U的列向量分别代入进去

就变成A去乘以v_1, …, v_r, v_r+1, ..., v_n

等于u_1, ..., u_r,u_r+1, ..., u_m

再乘以sigma_1, ..., sigma_r, 0

这个m×n的矩阵

那么我们注意到

对于V的前r个分量

Av_i等于sigma_i去乘以u_i

那对于它的后n-r个向量

A去乘以我们叫v_j是等于0

它长在A的零空间里头

具体写出来就是Av_i等于∑_iu_i

i从1到r

Av_j等于0 这个j是从r+1到n

同样地

我们把SVD两边取一下转置

就得到A的转置等于

V乘以∑的转置乘以U的转置

同理可得A的转置去乘以U

等于V乘以∑的转置

那把U的列向量和V的列向量

表示出来

我们同样可以得到

当i从1到r的时候

A的转置乘以u_i等于sigma_iv_i

那当k从r+1到m的时候

A的转置乘以u_k等于0

这些后m-r个u向量

是长在A的转置的零空间

也就是A的左零空间里

那么我们对于Av_i等于sigma_iu_i

这个表达式

两边如果去同乘以A的转置

左手边变成A的转置Av_i

右手边利用A^Tu_i等于sigma_iv_i

代入之后右手边就变成

sigma_i＾2v_i

也就是我们就会有这个表达式

那么这个表达式告诉我们

V矩阵的前r个列向量v_1到v_r

它们是A^TA的关于特征值sigma_i^2

的特征向量

同理对于A^Tu_i等于sigma_iv_i

这r个式子我们左手边同乘以A

右边也同乘以A

那么左手边变成了AA＾Tu_i

右手边利用Av_i等于sigma_iu_i

代入之后

右手边就变成sigma_i＾2u_i

那么从这个表达式里头

我们知道u_i它是AA^T的

关于sigma_i＾2的特征向量

那这是SVD在分量形式下

告诉我们的信息

我们接下来看一下奇异值分解

到底是怎么来的

设矩阵A

是秩为r的m×n实矩阵

那么尽管一般来说m不等于n

A不是一个方阵

那我们还是能够由A去生成出来

两个方阵

我们看A乘以A的转置

它是一个m×m的矩阵

并且它是一个实对称矩阵

A的转置乘以A

它是一个n×n的实对称矩阵

这样我们尽管m×n的矩阵A

不是方阵

但是我们自然地有了

两个实对称矩阵A乘以A的转置

和A的转置乘以A

那这两个实对称矩阵的特征值

都是实数

这是我们想要利用的性质

并且更加特别地说

A的转置乘以A

和A乘以A的转置

这两个实对称矩阵

它们的特征值都是非负的

我们来看一下这个简单的性质

假设lambda是A的转置

乘以A的一个特征值

那我们存在着非零向量x

使得A的转置Ax等于lambda x

对这个式子的两边

去左乘以x的转置

那么左手边就变成了

Ax的转置乘以Ax

也就是Ax这个向量的模长平方

右手边变成是lambda去乘以x

这个向量的模长平方

由于x是一个非零向量

所以它的模长平方

是大于零的一个数

Ax是一个向量

它的模长平方

一定是大于等于零的

那我们就得到

这个特征值lambda

一定是非负的

同样地 我们可以证明

A乘以A的转置的特征值

也都是非负数

A乘以A的转置和A的转置乘以A

这两个实对称矩阵的阶数不同

但是呢

我们有接下来的性质

它们的非零特征值的集合

是相同的

A乘以A的转置

是一个m阶的矩阵

A的转置乘以A

是一个n阶的矩阵

它们分别有m个特征值

有n个特征值

但是我们说下面

它们的非零特征值的集合相同

因为A去乘以A的转置

这个矩阵的秩

我们知道

它是等于A的转置的秩的

A的转置乘以A的秩

是等于A的秩

而这两个矩阵的秩

A和A的转置的秩是相等的

因此我们有这件事情

我们把这个秩都记成是r

那又因为A乘以A的转置

是一个实对称矩阵

实对称矩阵

一定正交相似于对角阵

而相似矩阵具有相同的秩

有相同的特征值

而这个对角矩阵

它的秩是等于

非零特征值的个数的

因此我们说A的转置乘以A的秩

等于

我们把它叫成lambda的话

等于对角矩阵lambda的秩

等于这个对角矩阵里头

所含的非零元的个数

也就是非零特征值的个数

A的转置

乘以A的非零特征值的个数

是等于r

而同样

AA的转置的非零特征值的个数

也等于r

那我们这两个实对称矩阵

尽管阶数不同

但是它们的非零特征值的数目

是相同的

它们的秩是相同的

我们假设lambda是A的转置

乘以A的非零特征值

也就是说我们存在着非零向量x

使得A的转置乘以A

再乘以x等于lambda x

我们两边去左乘以矩阵A

那我们注意到说

Ax一定是一个非零的向量

这是因为如果AX等于0的话

那么从这个表达式里头

如果Ax等于0

我们右手边就一定得到

lambda等于0

这与lambda在假设里头

它是一个非零特征值矛盾

因此我们有

此时Ax一定不等于零

那么从这个表达式里头

我们就可以看得出来

Ax它是A乘以A的转置

这个矩阵的关于特征值

lambda的特征向量

也就是说lambda也是

A乘以A的转置的非零特征值

那么反过来

A乘以A的转置的非零特征值

也一定是

A的转置乘以A的非零特征值

那么我们就知道

这两个实对称矩阵

它们具有相同的非零特征值

我们就不妨假设

这两个矩阵的这r个非零特征值

为sigma_1＾2, ..., sigma_r＾2

我们来令其中sigma_i都是大于0的

那A的转置乘以A

这个n阶的实对称矩阵

我们来假设v_1到v_n

是这个n阶实对称矩阵的

单位正交特征向量

用矩阵形式的语言

写成A的转置乘以A

然后乘以这些个特征向量

用特征向量给线性表示成

这个对角矩阵的对角元

是A的转置乘以A的特征值

sigma_1＾2, ..., sigma_r＾2, 0

那我们把这个矩阵记成是V

这个矩阵是正交矩阵

它满足V的转置乘以V

等于n阶的单位阵

对于前r个V向量

它是关于特征值

sigma_i＾2的特征向量

那两边去乘以v_i的转置

我们就得到Av_i的模长平方

等于sigma_i＾2

因为v_i是单位的

所以右手边是等于sigma_i＾2

那也就是sigma_i

是Av_i这个向量的长度

我们把Av_i这个向量给单位化

也就是用Av_i

去除以它的长度sigma_i

得到u_i这个向量

那这个向量是一个

m维的一个单位向量

并且它满足AA^T乘以u_i

等于AA^T乘以Av_i除以sigma_i

把这个结合在一起

等于A乘以sigma_i＾2 v_i除以sigma_i

Av_i等于sigma_i u_i

所以这是sigma_i＾2u_i

也就是说u_i是A乘以A的转置的

单位特征向量

特征值是sigma_i＾2

并且我们还能注意到

u_i的转置乘以u_j等于delta_ij

我们具体看一下

把u_i, u_j的定义代进去

u_i等于Av_i除以sigma_i

我们去转置

u_j是Av_j除以sigma_j

那么组合一下

A的转置乘以Av_j

是等于sigma_j＾2 v_j的

然后跟下面的sigma_j给约掉

我们就得到sigma_j除以sigma_i

再乘以delta_ij

因为这组v向量

它们是单位正交的

所以v_i的转置乘以v_j

是等于delta_ij的

那这个东西写开来

它就是delta_ij

这也就是说u_i, i从1到r

是AA^T这个对称矩阵的

单位正交特征向量

那又因为刚才我们由这步得到

Av_i等于sigma_i u_i

又有A^Tu_i等于sigma_i v_i

i从1到r

因此我们说

从这件事情里可以看得出来

u_i可以写成

A的列向量的线性组合

所以它是长在A的列空间里头

又是单位正交的

它是在

A的列空间的单位正交基底

在这个表达式里头

我们可以看出来

v_i可以写成

A的转置的列向量的线性组合

所以它是

C(A^T)的一组单位正交基底

也就是

A的行空间的一组单位正交基底

u_1到u_r 是A的列空间的一组单位正交基

v_1到v_r是A的行空间的一组单位正交基

用矩阵的语言来描述

Av_1到v_r等于v_1到v_r

去乘以这个r阶的矩阵sigma_1, ..., sigma_r

那么记为A乘以V矩阵

这个V是n乘以r的

等于U乘以∑

我们之后把这个叫做是

约化的SVD的一种表达形式

我们回顾一下

矩阵的四个基本子空间

我们说对于m×n的矩阵A

R^n可以做直和分解

分解成A的行空间

直和上A的零空间

R^m可以做直和分解

分成A的列空间

和A的左零空间的直和分解

那么根据这个分解关系

我们刚才已经找到了

C（A）的一组单位正交基

u_1到u_r

找到了C(A^T)的一组单位正交基

v_1到v_r

我们可以对它们进行扩充

扩充为

v_1到v_r成R^n的一组单位正交基

v_1, .., v_r , v_r+1, .., v_n

那么前面这r个向量长在行空间

后面的n-r个向量

长在N（A）里头

那我们把u_1到u_r扩充为

R^m的一组基

其中u_1到u_r长在A的列空间里头

那u_r+1到u_m

长在A的左零空间里

那么扩充之后

A去乘以以v_1到v_n

作为列向量的矩阵V

以v_1到v_n作为列向量的矩阵V

那么就等于u_1到u_m

为列向量的这个矩阵

去乘以m×n的矩阵sigma_1, ..., sigma_r

下面是0

这是矩阵语言的表达

那这个矩阵我们就记成是U

于是我们就有了AV等于U∑

其中呢V是一个正交矩阵

U是一个正交矩阵

那么我们把V去乘到右手边

我们就有A等于U∑V＾T

这是我们的SVD

如果用向量形式表述出来

就是A = sigma_1 u_1 v_1＾T + ... + sigma_r u_r v_r＾T

这是把m×n的矩阵A

给描述成了r个秩为1的矩阵的和