当前课程知识点：线性代数(2) > 第三讲：奇异值分解 > 3.4 奇异值分解的应用 > 3.4 奇异值分解的应用
我们接下来来看
奇异值分解的几个简单的应用
第一条是奇异值分解SVD
与矩阵的四个基本子空间的关系
那我们假设A=U∑V＾T
是m×n的实矩阵A的奇异值分解
A的秩是记成是r
那我们奇异值分解可以写成
AV=V∑
把V和U的列向量写出来
就可以写成A（v_1 ... v_r v_r+1 ... v_n）
等于（u_1 ... u_r u_r+1 ... u_m）
乘以sigma_1, ..., sigma_r, 0
这是一个m×n的矩阵
那我们说
我们就有Av_i等于sigma_i u_i
i从1到r Av_j等于0 j从r+1到n
那从这个表达式里
Av_i等于sigma_i u_i
于是u_i是可以写成
A的列向量的线性组合
所以u_i是长在A的列空间里
所以我们说正交矩阵U的前r列
是A的列空间C（A）的一组
标准正交基
那Av_j等于0
所以呢 这n-r个向量
v_r+1到v_n是长在A的零空间里
这是这一条
V的后n-r列是N（A）的一组
标准正交基
那我们把奇异值分解
用转置的形式表达出来
我们由A的转置等于V∑^TU^T
所以有A^TU
等于V∑^T
写成分量的形式有A(u_1, ..., u_r,u_r+1, ..., u_m)
等于(v_1, ..., v_r, v_r+1, ..., v_n)
sigma_1, ..., sigma_r, 0
这是n×m的矩阵
那我们就有A的转置去乘以u_i
等于sigma_iv_i
A的转置乘以u_k等于0
k从r+1到m
好 那A的转置乘以u_i等于sigma_iv_i
所以v_i可以写成
A的转置的列向量的线性组合
也就是说v_i长在A的行空间里
正交矩阵v的前r列
是C（A^T）
也就是A的行空间的一组
标准正交基
那A的转置乘以u_k等于0
也就是说u_k是长在
00:03:36,360 --> 00:03:38,440
是N（A＾T)的一组
标准正交基
A的左零空间的一组标准正交基
那这是SVD
与矩阵的四个基本子空间
之间的关系
我们再来看一下奇异值分解
与图象压缩之间的关系
假设一个秩为r的m×n矩阵
A的奇异值分解是U∑V^T
我们可以把它写成
sigma_1 u_1 v_1^T
加上sigma_r u_r v_r^T
其中呢
这个奇异值sigma_1到sigma_r
我们给一个次序
像刚才一样sigma_1大于等于sigma_2 ...
大于等于sigma_r
我们取它的前k项
sigma_1 u_1 v_1^T
加到sigma_k u_k v_k^T
这个k大于等于1 小于r
我们把它记成是A_k
我们把A_k叫做是A的k阶逼近
特别地 当k等于1的时候
我们叫A_1是A的1阶逼近
我们来看一个例子
我们说一幅规格
是m×n象素的照片
那么它可以用一个
m×n的矩阵来储存
那它需要储存m×n个数字
来记这个矩阵
而我们利用矩阵的奇异值分解我们只需要储存
这个矩阵的奇异值sigma_i
和奇异向量u_i, v_i的总量
因为它的秩是等于r
那么它的奇异值是由r个
它的奇异向量
分别这个u_i它是m阶的向量
一共有r个
所以是r乘以m个
v_i是n维的向量 它一共有r个
所以是r乘以n
那么总共只需要储存r乘以
m+n+1个数据
而不是原来的m×n个数据
通常矩阵的秩r要远小于
矩阵的行数m和矩阵的列数n
因此这个r去乘以m+n+1
要远小于m×n
我们把那个比值m×n
去除以r乘以m+n+1
叫做图象的压缩比
它的倒数叫做数据压缩率
那如果我们有些奇异值
sigma_1到sigma_k远远地大于
后面的奇异值sigma_k+1到sigma_r
我们这时候
就可以用A_k来逼近A
这时候呢 图象不失真
并且压缩了这个储存的量
对于较大的k可以获得
保真度较高的还原数据
那较小的k呢
它可以获得较高的传输效率
在实际的运用中
可以根据不同的需要
适当地选我们取多少项k
来作逼近
从而获得满意的还原数据
比如说规格为512
乘以512象素的这个卫星照片
它实际上包含了超过26万
要大于等于26万个数据
而如果相应的矩阵
它的第51个奇异值
已经比较小了
我们就可以取k等于50
这样我们需要传输的数据
只是50乘以512加上512
再加上1 也就是51250
这么多个数据
那这时候图象的压缩比是5.115
从而
我们提高了这个传输的效率
这是利用奇异值来做图象压缩
那么第三个我们来看一下
奇异值分解与特征值的关系
我们设lambda的绝对值_max
这个来表示矩阵A的特征值
模长的最大值
我们说A的最大的奇异值sigma_1
一定大于等于A的特征值
模长的最大值
它一定大于等于A的
矩阵元素的绝对值
我们具体来看一下
我们设这个矩阵A有奇异值分解
A等于U∑V＾T
那么对于任何一个向量
Ax的长度
就等于U∑V^T乘以x的长度
那U是一个正交矩阵
它保持这个向量∑V＾Tx的长度
所以这个的长度是等于
∑V＾Tx的长度
那∑这个矩阵呢
是一个m×n的矩阵
从几何意义上我们知道
它在做伸缩
我们取出
最大的那个伸缩的比例sigma_1
所以∑V＾Tx这个向量的长度
要小于等于sigma_1去乘以V＾TX
这个向量的长度
那又因为V的转置
是一个正交矩阵
所以V^Tx这个向量的长度
和x的向量长度是相等的
于是它等于sigma_1乘以x的长度
那特别地
我们把x是取成A的特征向量
也就是说我们如果有
Ax等于lambda x
那Ax这个向量的长度
就等于lambda的绝对值
乘以x的长度
所以根据刚才的分析
左手边这个Ax的长度
一定小于等于sigma_1
去乘以x的长度
那因此我们就有sigma_1要大于等于
lambda的绝对值
特别地sigma_1要比
特征值的绝对值的最大值
要来得大
那我们再取特殊的向量x
我们把它取成1 0 … 0
这个向量
那Ax表示的是A的第一个列向量
利用刚才的关系
Ax的长度一定要小于等于sigma_1
乘以x的长度
那x这个向量的长度是1
所以这边是等于sigma_1
而左手边Ax它表示的是
A的第一列向量
它的长度是分量a_1^2
一直加到a_n1^2
再去开根号
那它要来得比第一列的
任何一个分量的绝对值要
来得要大
所以a_i1的绝对值
要小于等于Ax的长度
那小于等于sigma_1
这样我们证明了
这个矩阵的第一列里头的
任何的一个元素的绝对值
要小于等于最大的奇异值
那同理我们可以证明
这个矩阵的任何一个
元素的绝对值要小于等于
矩阵A的最大奇异值
这是奇异值与特征值
之间的关系
那奇异值这个名词的来历
是怎么样的呢
我们看一下奇异值与奇异矩阵
我们说矩阵A列满秩
我们一定有A的秩
是等于它的列数等于n
那A的秩又等于A的转置
乘以A的秩
那也就是说A的转置乘以A
这个n阶矩阵
它是一个满秩阵
那它一定是一个可逆矩阵
那它的特征值一定都是非零的
我们又知道它的特征值
一定都是非负的
所以它一定都是大于零的
所以A的转置乘以A的特征值
sigma_1^2大于0
sigma_n^2大于0
它一定有n个正特征值
而我们的奇异值就是sigma_1到sigma_n
矩阵A列满秩
等价于A的奇异值均非0
特别地
如果A是一个方阵的话
它非奇异 也就是说满秩
那等价于A的奇异值都是非零的
矩阵的奇异值比特征值
多一个优点
它说非零奇异值的个数
恰好是矩阵的秩
我们秩是等于r
它的非零奇异值的个数也是r
而矩阵的非零特征值的个数
一般要比秩来得小
比如我们的幂零矩阵
那它没有非零特征值
而这个幂零矩阵
它的秩是等于1的
所以奇异值它比这个特征值
从这个角度上它有优越性
我们通常用奇异值的个数
可以来计算矩阵的秩
这节我们讨论了
矩阵的奇异值分解
以及奇异值分解的几何意义
和简单的应用
矩阵的奇异值分解是线性代数应用中
最重要的一类矩阵分解
大家将来还会遇到更多的应用实例
请大家好好体会
-1.1 实对称矩阵A正定的充要条件
-1.2 典型例题
--1.2 典型例题
-1.3 半正定矩阵及其判别条件
-1.4 二次型
--1.4 二次型
-1.5* 有心二次曲线(central conic)
-1.6* 三维空间中的二次曲面-6类基本的二次曲面
-1.7 二次型的分类
-1.8 矩阵的合同
-1.9* 惯性定理的证明
-1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
--1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
-1.11* 正（负）定矩阵在函数极值问题中的应用
-第一讲：正定矩阵--课后习题
-2.1 引言
--2.1 引言
-2.2 相似矩阵的性质
-2.3 Jordan标准形
-2.4 定理的证明
-2.5 Jordan标准形的应用
-第二讲：相似矩阵--课后习题
-3.1 引言
--3.1 引言
-3.2 奇异值分解(Singular Value Decomposition)
--3.2 奇异值分解(Singular Value Decomposition)
-3.3 例题
--3.3 例题
-3.4 奇异值分解的应用
-第三讲：奇异值分解--课后习题
-4.1 线性变换的定义和性质
-4.2 线性变换的运算
-4.3 线性变换的矩阵表示
-4.4 线性变换与矩阵之间的关系
-第四讲：线性变换 I--课后习题
-5.1 恒同变换与基变换
-5.2 图像压缩——基变换的应用
-5.3 线性变换在不同基下的矩阵
-5.4 矩阵分解与基变换
-5.5 线性变换的核与像
-5.6 不变子空间
-5.7* 幂零变换
-5.8* Jordan标准形
-第五讲：线性变换 II--课后习题
-6.1 伪逆
--6.1 伪逆
-6.2 Moore – Penrose 伪逆
-6.3 最小二乘法
-第六讲：伪逆--课后习题
-7.1 简介
--7.1 简介
-7.2 弹簧模型
--7.2 弹簧模型
-7.3 变量的线性关系
-7.4 刚度矩阵
--7.4 刚度矩阵
-7.5 从离散到连续
-第七讲：工程中的矩阵--课后习题
-8.1 简介
--8.1 简介
-8.2 图和矩阵
--8.2 图和矩阵
-8.3 网络和加权Laplacian矩阵
-8.4 关联矩阵的四个基本子空间
-8.5 注记
--8.5 注记
-第八讲：图与网络--课后习题
-9.1 问题引入
--9.1 问题引入
-9.2 Markov矩阵
-9.3 正Markov矩阵
-9.4 正矩阵
-第九讲：Markov矩阵和正矩阵--课后习题
-10.1 引言
--10.1 引言
-10.2 内积空间
-10.3 傅里叶级数
-10.4 投影
--10.4 投影
-10.5 关于Fourier变换的注记
-第十讲：Fourier级数--课后习题
-11.1 引言
--11.1 引言
-11.2 平移
--11.2 平移
-11.3 伸缩
--11.3 伸缩
-11.4 旋转
--11.4 旋转
-11.5 投影和反射
-第十一讲：计算机图像--课后习题
-12.1 引言
--12.1 引言
-12.2 复矩阵
--12.2 复矩阵
-12.3 复正规阵
-12.4 离散Fourier变换
-12.5 快速Fourier变换
-第十二讲：复数与复矩阵--课后习题
-结课寄语
--结课寄语
