当前课程知识点：线性代数(2) > 第三讲：奇异值分解 > 3.3 例题 > 3.3 例题
我们接下来来看一道
关于奇异值分解的简单例题
给定一个矩阵A
求它的奇异值分解
这个矩阵A是3乘以2的矩阵
我们要求它的奇异值分解
根据刚才的分析过程
我们先来看
实对称矩阵A的转置
乘以A的特征值和特征向量
那这里很容易计算得
A的转置乘以A
是一个2乘2的矩阵
2 -1 -1 2
那么容易算出来
它的特征多项式lambda-1
lambda-3
因此特征值是3 1
我们取大的特征值3
作为sigma_1的平方
小的特征值1作为sigma_2的平方
那么矩阵A的奇异值
就是\sqrt{3}, 1
那么相应于特征值
3和1的单位特征向量
容易求出来
分别是1/\sqrt{2} ( 1, -1)
1/\sqrt{2} ( 1 , 1)
那3乘3的实对称矩阵
A乘以A的转置它有三个特征值
它的非零特征值是刚才的3和1
然后再添第三个特征值是0
那么也容易计算出来属于
这三个特征值的单位特征向量
分别是u_1 u_2 u_3
其中u_1和u_2是奇异向量
它们是Av_1去做单位化
也就是Av_1去除以它的长度sigma_1
Av_2去除以它的长度sigma_2得到的
那u_3呢
一方面你可以去求解
AA^Tx = 0
解这个方程得到
也可以由实对称矩阵AA^T
它属于不同特征值
3, 1, 0的特征向量
彼此是正交的
那我们已经求出来u_1和u_2
然后求
跟u_1, u_2都正交的单位向量
这样也可以把u_3求出来
那不管怎么说
现在我们有了v_1和v_2
u_1, u_2, u_3
那么我们把它们作为列向量
可以得到2阶的正交矩阵V
和3阶的正交矩阵U
又由矩阵的奇异值分别是
\sqrt{3}和1
可以得到我们的3乘2的矩阵∑, 这样我们就得到了
A的奇异值分解
A等于U∑V＾T
接下来我们来看一下
奇异值分解的几何意义
给定一个矩阵A: 3 -4 5 0
是一个2乘2的矩阵
我们说线性变换x变到Ax
它能够把
二维平面上的单位圆周
映成二维平面中的一个椭圆
那么这个单位圆周呢
是二维平面上
满足x＾2加y＾2等于1的
这样的点(x,y)
我们来看一下
先来看这个矩阵A的奇异值分解
和刚才一样
我们来看A＾TA
那这个2乘2的实对称矩阵
变成34 -12 -12 16
那容易求得它的特征值
是40和10
我们把大的这个叫sigma_1的平方
小的特征值10
叫做sigma_2的平方
从而知道这个矩阵A
它的奇异值是\sqrt{40}和\sqrt{10}
好, 相应于
这两个特征值的单位特征向量
容易求出来v_1
1/\sqrt{5} (2 , -1)
v_2, 1/\sqrt{5} (1 , 2)
那AA＾T的特征值
因为AA＾T是一个2乘2的矩阵
它的特征值也是40 10
属于它们的单位特征向量呢
用Av_1去除以sigma_1得到u_1
Av_2除以sigma_2得到u_2
这样我们有了v_1 v_2和u_1 u_2
用它作为列向量
构成矩阵V和矩阵U
而∑呢
这个2乘2的矩阵
现在由sigma_1, sigma_2作为对角元构成
是2倍的根号下10和根号下10
好 我们就有了A的奇异值分解
A等于U∑V＾T
那我们有了A的奇异值分解之后
我们来看一下
矩阵A在单位圆周S^1上的作用
是怎么样的
我们说可以分成三步
第一步呢
首先这是我们的单位圆周
我们上面有v_1 v_2两个向量
是A的奇异向量
是V的两个列向量
由于A是等于U∑V^T的
那么原来的线性变换呢
x变成Ax
那我们就可以写成是
U∑V^T乘以x
那第一步
把单位圆周上的每一个点
去左乘以V的转置
那么这个相当于是对这些点
作了一个旋转
因为V的转置是一个正交变换
那特别地
向量v_1和v_2变成了向量(1 , 0)
和(0 , 1)
因为v_1 v_2不是别的
就是V这个矩阵的列向量
那么乘以V的转置之后
变成单位向量e_1和e_2
那在第二步是作伸缩
由∑给决定的伸缩
特别地呢
向量e_1 变成sigma_1e_1
e_2变成sigma_2e_2
那第三步
再左乘以正交矩阵U
这是再次旋转
特别地 sigma_1e_1这个向量
变成了sigma_1u_1
sigma_2e_2这个向量呢
变成了sigma_2u_2
从而原来的单位圆周
变成了椭圆
一般来说
设秩为r的m×n的矩阵A
它有SVD
A=U∑V＾T
那么x变到Ax
这是从R＾n变到R＾m的一个
线性变换
它可以看成是下面三步的复合
第一步呢
从x变到V的转置乘以x
这是R＾n中的旋转
第二步呢
R＾n中的向量 V^Tx
它的前r个分量在做伸缩
伸缩比例是sigma_1到sigma_r
那其余的分量变成0
这是左乘∑这个m×n的矩阵
给我们的效果
那第三步
由于∑V^Tx
已经到了R＾m里头
那么它再在R＾m中作旋转
从∑V＾TX变到U∑V＾TX
U是m阶的一个正交矩阵
它给的效果是在作旋转
那这就是我们的Ax
所以从x变到Ax的效果是旋转, 伸缩
再作旋转
这是SVD的几何意义
-1.1 实对称矩阵A正定的充要条件
-1.2 典型例题
--1.2 典型例题
-1.3 半正定矩阵及其判别条件
-1.4 二次型
--1.4 二次型
-1.5* 有心二次曲线(central conic)
-1.6* 三维空间中的二次曲面-6类基本的二次曲面
-1.7 二次型的分类
-1.8 矩阵的合同
-1.9* 惯性定理的证明
-1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
--1.10 惯性定理的应用 —— 实对称矩阵的特征值与主元符号
-1.11* 正（负）定矩阵在函数极值问题中的应用
-第一讲：正定矩阵--课后习题
-2.1 引言
--2.1 引言
-2.2 相似矩阵的性质
-2.3 Jordan标准形
-2.4 定理的证明
-2.5 Jordan标准形的应用
-第二讲：相似矩阵--课后习题
-3.1 引言
--3.1 引言
-3.2 奇异值分解(Singular Value Decomposition)
--3.2 奇异值分解(Singular Value Decomposition)
-3.3 例题
--3.3 例题
-3.4 奇异值分解的应用
-第三讲：奇异值分解--课后习题
-4.1 线性变换的定义和性质
-4.2 线性变换的运算
-4.3 线性变换的矩阵表示
-4.4 线性变换与矩阵之间的关系
-第四讲：线性变换 I--课后习题
-5.1 恒同变换与基变换
-5.2 图像压缩——基变换的应用
-5.3 线性变换在不同基下的矩阵
-5.4 矩阵分解与基变换
-5.5 线性变换的核与像
-5.6 不变子空间
-5.7* 幂零变换
-5.8* Jordan标准形
-第五讲：线性变换 II--课后习题
-6.1 伪逆
--6.1 伪逆
-6.2 Moore – Penrose 伪逆
-6.3 最小二乘法
-第六讲：伪逆--课后习题
-7.1 简介
--7.1 简介
-7.2 弹簧模型
--7.2 弹簧模型
-7.3 变量的线性关系
-7.4 刚度矩阵
--7.4 刚度矩阵
-7.5 从离散到连续
-第七讲：工程中的矩阵--课后习题
-8.1 简介
--8.1 简介
-8.2 图和矩阵
--8.2 图和矩阵
-8.3 网络和加权Laplacian矩阵
-8.4 关联矩阵的四个基本子空间
-8.5 注记
--8.5 注记
-第八讲：图与网络--课后习题
-9.1 问题引入
--9.1 问题引入
-9.2 Markov矩阵
-9.3 正Markov矩阵
-9.4 正矩阵
-第九讲：Markov矩阵和正矩阵--课后习题
-10.1 引言
--10.1 引言
-10.2 内积空间
-10.3 傅里叶级数
-10.4 投影
--10.4 投影
-10.5 关于Fourier变换的注记
-第十讲：Fourier级数--课后习题
-11.1 引言
--11.1 引言
-11.2 平移
--11.2 平移
-11.3 伸缩
--11.3 伸缩
-11.4 旋转
--11.4 旋转
-11.5 投影和反射
-第十一讲：计算机图像--课后习题
-12.1 引言
--12.1 引言
-12.2 复矩阵
--12.2 复矩阵
-12.3 复正规阵
-12.4 离散Fourier变换
-12.5 快速Fourier变换
-第十二讲：复数与复矩阵--课后习题
-结课寄语
--结课寄语
