当前课程知识点：线性代数(2) > 第三讲：奇异值分解 > 3.2 奇异值分解(Singular Value Decomposition) > 3.2 奇异值分解(Singular Value Decomposition)
我们来看一下
奇异值分解的具体形式
设A是m×n的给定的矩阵
那么存在着m阶的正交矩阵U
和n阶的正交矩阵V
使得A可以写成下面三个矩阵
U,∑,V＾T的乘积
其中U是m阶的正交矩阵
V的转置是n阶的正交矩阵∑
是一个m×n的矩阵
那么一般而言m不等于n
所以它不是一个方阵
那我们在这种意义下说
把m×n矩阵”对角化”
其中数字r是矩阵A的秩
sigma_1到sigma_r这r个数
我们来给一个次序
它们都是正数
我们来假设sigma_1大于等于sigma_2
大于等于sigma_r
称这r个数是A的奇异值
singular value
称m阶的正交阵U
和n阶的正交矩阵V
它的前r个列向量
为矩阵A的奇异向量
singular vector
我们把A写成U∑V＾T
这样的一个分解
叫做矩阵的奇异值分解
singular value decomposition
简称SVD
那SVD是线性代数应用中
最重要的一类矩阵分解
接下来我们把正交矩阵U
和正交矩阵V的列向量
分别表达出来
来具体地看一下在向量形式下
SVD分解表达的意义
我们设U的列向量
记为是u_1到u_m
V的列向量记成是v_1到v_n
其中这些u_i是长在R^m里
这些v_i是长在R^n里
那SVD的形式告诉我们
A=U∑V＾T
那因为V是正交矩阵
V的转置和V是互为逆矩阵
我们两边去乘以V之后
就得到A去乘以V等于U乘以∑
把V和U的列向量分别代入进去
就变成A去乘以v_1, …, v_r, v_r+1, ..., v_n
等于u_1, ..., u_r,u_r+1, ..., u_m
再乘以sigma_1, ..., sigma_r, 0
这个m×n的矩阵
那么我们注意到
对于V的前r个分量
Av_i等于sigma_i去乘以u_i
那对于它的后n-r个向量
A去乘以我们叫v_j是等于0
它长在A的零空间里头
具体写出来就是Av_i等于∑_iu_i
i从1到r
Av_j等于0 这个j是从r+1到n
同样地
我们把SVD两边取一下转置
就得到A的转置等于
V乘以∑的转置乘以U的转置
同理可得A的转置去乘以U
等于V乘以∑的转置
那把U的列向量和V的列向量
表示出来
我们同样可以得到
当i从1到r的时候
A的转置乘以u_i等于sigma_iv_i
那当k从r+1到m的时候
A的转置乘以u_k等于0
这些后m-r个u向量
是长在A的转置的零空间
也就是A的左零空间里
那么我们对于Av_i等于sigma_iu_i
这个表达式
两边如果去同乘以A的转置
左手边变成A的转置Av_i
右手边利用A^Tu_i等于sigma_iv_i
代入之后右手边就变成
sigma_i＾2v_i
也就是我们就会有这个表达式
那么这个表达式告诉我们
V矩阵的前r个列向量v_1到v_r
它们是A^TA的关于特征值sigma_i^2
的特征向量
同理对于A^Tu_i等于sigma_iv_i
这r个式子我们左手边同乘以A
右边也同乘以A
那么左手边变成了AA＾Tu_i
右手边利用Av_i等于sigma_iu_i
代入之后
右手边就变成sigma_i＾2u_i
那么从这个表达式里头
我们知道u_i它是AA^T的
关于sigma_i＾2的特征向量
那这是SVD在分量形式下
告诉我们的信息
我们接下来看一下奇异值分解
到底是怎么来的
设矩阵A
是秩为r的m×n实矩阵
那么尽管一般来说m不等于n
A不是一个方阵
那我们还是能够由A去生成出来
两个方阵
我们看A乘以A的转置
它是一个m×m的矩阵
并且它是一个实对称矩阵
A的转置乘以A
它是一个n×n的实对称矩阵
这样我们尽管m×n的矩阵A
不是方阵
但是我们自然地有了
两个实对称矩阵A乘以A的转置
和A的转置乘以A
那这两个实对称矩阵的特征值
都是实数
这是我们想要利用的性质
并且更加特别地说
A的转置乘以A
和A乘以A的转置
这两个实对称矩阵
它们的特征值都是非负的
我们来看一下这个简单的性质
假设lambda是A的转置
乘以A的一个特征值
那我们存在着非零向量x
使得A的转置Ax等于lambda x
对这个式子的两边
去左乘以x的转置
那么左手边就变成了
Ax的转置乘以Ax
也就是Ax这个向量的模长平方
右手边变成是lambda去乘以x
这个向量的模长平方
由于x是一个非零向量
所以它的模长平方
是大于零的一个数
Ax是一个向量
它的模长平方
一定是大于等于零的
那我们就得到
这个特征值lambda
一定是非负的
同样地 我们可以证明
A乘以A的转置的特征值
也都是非负数
A乘以A的转置和A的转置乘以A
这两个实对称矩阵的阶数不同
但是呢
我们有接下来的性质
它们的非零特征值的集合
是相同的
A乘以A的转置
是一个m阶的矩阵
A的转置乘以A
是一个n阶的矩阵
它们分别有m个特征值
有n个特征值
但是我们说下面
它们的非零特征值的集合相同
因为A去乘以A的转置
这个矩阵的秩
我们知道
它是等于A的转置的秩的
A的转置乘以A的秩
是等于A的秩
而这两个矩阵的秩
A和A的转置的秩是相等的
因此我们有这件事情
我们把这个秩都记成是r
那又因为A乘以A的转置
是一个实对称矩阵
实对称矩阵
一定正交相似于对角阵
而相似矩阵具有相同的秩
有相同的特征值
而这个对角矩阵
它的秩是等于
非零特征值的个数的
因此我们说A的转置乘以A的秩
等于
我们把它叫成lambda的话
等于对角矩阵lambda的秩
等于这个对角矩阵里头
所含的非零元的个数
也就是非零特征值的个数
A的转置
乘以A的非零特征值的个数
是等于r
而同样
AA的转置的非零特征值的个数
也等于r
那我们这两个实对称矩阵
尽管阶数不同
但是它们的非零特征值的数目
是相同的
它们的秩是相同的
我们假设lambda是A的转置
乘以A的非零特征值
也就是说我们存在着非零向量x
使得A的转置乘以A
再乘以x等于lambda x
我们两边去左乘以矩阵A
那我们注意到说
Ax一定是一个非零的向量
这是因为如果AX等于0的话
那么从这个表达式里头
如果Ax等于0
我们右手边就一定得到
lambda等于0
这与lambda在假设里头
它是一个非零特征值矛盾
因此我们有
此时Ax一定不等于零
那么从这个表达式里头
我们就可以看得出来
Ax它是A乘以A的转置
这个矩阵的关于特征值
lambda的特征向量
也就是说lambda也是
A乘以A的转置的非零特征值
那么反过来
A乘以A的转置的非零特征值
也一定是
A的转置乘以A的非零特征值
那么我们就知道
这两个实对称矩阵
它们具有相同的非零特征值
我们就不妨假设
这两个矩阵的这r个非零特征值
为sigma_1＾2, ..., sigma_r＾2
我们来令其中sigma_i都是大于0的
那A的转置乘以A
这个n阶的实对称矩阵
我们来假设v_1到v_n
是这个n阶实对称矩阵的
单位正交特征向量
用矩阵形式的语言
写成A的转置乘以A
然后乘以这些个特征向量
用特征向量给线性表示成
这个对角矩阵的对角元
是A的转置乘以A的特征值
sigma_1＾2, ..., sigma_r＾2, 0
那我们把这个矩阵记成是V
这个矩阵是正交矩阵
它满足V的转置乘以V
等于n阶的单位阵
对于前r个V向量
它是关于特征值
sigma_i＾2的特征向量
那两边去乘以v_i的转置
我们就得到Av_i的模长平方
等于sigma_i＾2
因为v_i是单位的
所以右手边是等于sigma_i＾2
那也就是sigma_i
是Av_i这个向量的长度
我们把Av_i这个向量给单位化
也就是用Av_i
去除以它的长度sigma_i
得到u_i这个向量
那这个向量是一个
m维的一个单位向量
并且它满足AA^T乘以u_i
等于AA^T乘以Av_i除以sigma_i
把这个结合在一起
等于A乘以sigma_i＾2 v_i除以sigma_i
Av_i等于sigma_i u_i
所以这是sigma_i＾2u_i
也就是说u_i是A乘以A的转置的
单位特征向量
特征值是sigma_i＾2
并且我们还能注意到
u_i的转置乘以u_j等于delta_ij
我们具体看一下
把u_i, u_j的定义代进去
u_i等于Av_i除以sigma_i
我们去转置
u_j是Av_j除以sigma_j
那么组合一下
A的转置乘以Av_j
是等于sigma_j＾2 v_j的
然后跟下面的sigma_j给约掉
我们就得到sigma_j除以sigma_i
再乘以delta_ij
因为这组v向量
它们是单位正交的
所以v_i的转置乘以v_j
是等于delta_ij的
那这个东西写开来
它就是delta_ij
这也就是说u_i, i从1到r
是AA^T这个对称矩阵的
单位正交特征向量
那又因为刚才我们由这步得到
Av_i等于sigma_i u_i
又有A^Tu_i等于sigma_i v_i
i从1到r
因此我们说
从这件事情里可以看得出来
u_i可以写成
A的列向量的线性组合
所以它是长在A的列空间里头
又是单位正交的
它是在
A的列空间的单位正交基底
在这个表达式里头
我们可以看出来
v_i可以写成
A的转置的列向量的线性组合
所以它是
C(A^T)的一组单位正交基底
也就是
A的行空间的一组单位正交基底
u_1到u_r 是A的列空间的一组单位正交基
v_1到v_r是A的行空间的一组单位正交基
用矩阵的语言来描述
Av_1到v_r等于v_1到v_r
去乘以这个r阶的矩阵sigma_1, ..., sigma_r
那么记为A乘以V矩阵
这个V是n乘以r的
等于U乘以∑
我们之后把这个叫做是
约化的SVD的一种表达形式
我们回顾一下
矩阵的四个基本子空间
我们说对于m×n的矩阵A
R^n可以做直和分解
分解成A的行空间
直和上A的零空间
R^m可以做直和分解
分成A的列空间
和A的左零空间的直和分解
那么根据这个分解关系
我们刚才已经找到了
C（A）的一组单位正交基
u_1到u_r
找到了C(A^T)的一组单位正交基
v_1到v_r
我们可以对它们进行扩充
扩充为
v_1到v_r成R^n的一组单位正交基
v_1, .., v_r , v_r+1, .., v_n
那么前面这r个向量长在行空间
后面的n-r个向量
长在N（A）里头
那我们把u_1到u_r扩充为
R^m的一组基
其中u_1到u_r长在A的列空间里头
那u_r+1到u_m
长在A的左零空间里
那么扩充之后
A去乘以以v_1到v_n
作为列向量的矩阵V
以v_1到v_n作为列向量的矩阵V
那么就等于u_1到u_m
为列向量的这个矩阵
去乘以m×n的矩阵sigma_1, ..., sigma_r
下面是0
这是矩阵语言的表达
那这个矩阵我们就记成是U
于是我们就有了AV等于U∑
其中呢V是一个正交矩阵
U是一个正交矩阵
那么我们把V去乘到右手边
我们就有A等于U∑V＾T
这是我们的SVD
如果用向量形式表述出来
就是A = sigma_1 u_1 v_1＾T + ... + sigma_r u_r v_r＾T
这是把m×n的矩阵A
给描述成了r个秩为1的矩阵的和
-1.1 实对称矩阵A正定的充要条件
-1.2 典型例题
--1.2 典型例题
-1.3 半正定矩阵及其判别条件
-1.4 二次型
--1.4 二次型
-1.5* 有心二次曲线(central conic)
-1.6* 三维空间中的二次曲面-6类基本的二次曲面
-1.7 二次型的分类
-1.8 矩阵的合同
-1.9* 惯性定理的证明
-1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
--1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
-1.11* 正（负）定矩阵在函数极值问题中的应用
-第一讲：正定矩阵--课后习题
-2.1 引言
--2.1 引言
-2.2 相似矩阵的性质
-2.3 Jordan标准形
-2.4 定理的证明
-2.5 Jordan标准形的应用
-第二讲：相似矩阵--课后习题
-3.1 引言
--3.1 引言
-3.2 奇异值分解(Singular Value Decomposition)
--3.2 奇异值分解(Singular Value Decomposition)
-3.3 例题
--3.3 例题
-3.4 奇异值分解的应用
-第三讲：奇异值分解--课后习题
-4.1 线性变换的定义和性质
-4.2 线性变换的运算
-4.3 线性变换的矩阵表示
-4.4 线性变换与矩阵之间的关系
-第四讲：线性变换 I--课后习题
-5.1 恒同变换与基变换
-5.2 图像压缩——基变换的应用
-5.3 线性变换在不同基下的矩阵
-5.4 矩阵分解与基变换
-5.5 线性变换的核与像
-5.6 不变子空间
-5.7* 幂零变换
-5.8* Jordan标准形
-第五讲：线性变换 II--课后习题
-6.1 伪逆
--6.1 伪逆
-6.2 Moore – Penrose 伪逆
-6.3 最小二乘法
-第六讲：伪逆--课后习题
-7.1 简介
--7.1 简介
-7.2 弹簧模型
--7.2 弹簧模型
-7.3 变量的线性关系
-7.4 刚度矩阵
--7.4 刚度矩阵
-7.5 从离散到连续
-第七讲：工程中的矩阵--课后习题
-8.1 简介
--8.1 简介
-8.2 图和矩阵
--8.2 图和矩阵
-8.3 网络和加权Laplacian矩阵
-8.4 关联矩阵的四个基本子空间
-8.5 注记
--8.5 注记
-第八讲：图与网络--课后习题
-9.1 问题引入
--9.1 问题引入
-9.2 Markov矩阵
-9.3 正Markov矩阵
-9.4 正矩阵
-第九讲：Markov矩阵和正矩阵--课后习题
-10.1 引言
--10.1 引言
-10.2 内积空间
-10.3 傅里叶级数
-10.4 投影
--10.4 投影
-10.5 关于Fourier变换的注记
-第十讲：Fourier级数--课后习题
-11.1 引言
--11.1 引言
-11.2 平移
--11.2 平移
-11.3 伸缩
--11.3 伸缩
-11.4 旋转
--11.4 旋转
-11.5 投影和反射
-第十一讲：计算机图像--课后习题
-12.1 引言
--12.1 引言
-12.2 复矩阵
--12.2 复矩阵
-12.3 复正规阵
-12.4 离散Fourier变换
-12.5 快速Fourier变换
-第十二讲：复数与复矩阵--课后习题
-结课寄语
--结课寄语
