5.4 矩阵的奇异值分解在线视频

这一讲我们将介绍矩阵另一个重要的分解

奇异值分解

先来看个引理

对任意的m*n阶矩阵A

有第1个

A^H和AA^H的特征值都是非负实数

注意

A虽然不是方阵

但是这两个矩阵分别是n阶和m阶的方阵

2说他们的非零的特征值完全一样

第3条说他们的秩和A的秩完全相同

证明思路是这样的

第一个

因为A^HA是heimite的

用任意非零向量x

两边相乘后

转化为Ax长度的平方

所以为Hermite半正定的

由Hermite半正定矩阵的性质知道

其特征值都是非负的

第二条用Sylvester公式

得出特征多项式的零点一样

所以非零特征值相同

且非零特征值的个数就是矩阵的秩

这样就完成了第三条

对任意秩为r的矩阵A

因为A^HA的特征值都是非负的

将不为零的特征值\lz_i 开根号

这样得到

\sz1,\sz2,…,\sz_r

称为A的奇异值

由前面的引理我们还知道

A^H的奇异值和A的奇异值完全一样

我们这一讲的主要结论是下面的定理

对任意秩为r的矩阵A都是这样的分解

其中U,V是酉矩阵

大的\sigma是以奇异值\sz_i为对角元素的

r阶对角矩阵

如果将U,V按列分块

A也可以分解为第二个式子

证明过程也是具体分解的过程

先将A^HA的特征值按照从大到小排列

由Schur分解定理

我们知道存在酉矩阵V

使得V^H乘以 A^HA再乘以 V是对角矩阵

记左上角r阶对角矩阵为\Sigma^2

对角线上的元素是非零特征值\lz1,\lz2,…,\lz_r

其余都是0

因为A的秩是r

所以将矩阵V分成两块

前r列记为V1 剩下的记为V2

带入到上式中

相乘后按分块相比较

就得到 V1^H乘以A^HA再乘以V1

等于\Sigma^2

而V2^H乘以A^HA

再乘以V2=0

因为\sigma可逆

把它移到左边就得到这样的等式

右边变为r阶单位矩阵Ir

此时记AV1\Sigma^{-1}为U1

所以就转化为U1^HU1是等于Ir

另一个关于V2的等式说明AV2=0

请大家思考为什么

U1^HU1=Ir

说明U1的列向量是两两正交的单位向量

但是它只是一个R阶的

这时需要在U1的基础上

补一个m-r列矩阵U2

使得和U1拼起来为酉矩阵

具体找的时候可以用待定系数的方法

本质上就是用正交性解齐次线性方程组

找出基础解系

然后再正交单位化就能得到U2

那么这样获得矩阵U就是酉矩阵

利用正交性

带入后计算发现

U^HAV就是满足要求的一个分解

或者说A有这样的分解

称为A的奇异值分解

很多时候可以通过正交性直接补出矩阵U2

下面来看个例子

求这样矩阵A的奇异值分解

那么按照过程 我们先计算A^HA

其特征值为\lz1=4,\lz2=0

解方程组分别找出对应的单位特征向量v1,v2

这样矩阵V就是v1,v2构成的

A^HA只有一个奇异值2

取V的第一列记为V1

用矩阵乘法先计算U1就是AV1\Sg^-1

因为只有一列

说明U2需要补两列

可以以U1的分量为系数

解齐次线性方程组找U2

或者我们可以根据经验

通过观察U2可以取成这样的

满足正交性和单位化

这样和U1合并起来就是要找的U1

此时A就有这样的奇异值分解

不管是观察还是解方程组

U2的选取都不是唯一的

但是不影响结果

因为U2参与计算时乘积都是等于0