3.7.1 K-L变换学习视频在线视频

同学们好，这节课呢，我们介绍图像K-L变换

图像K-L变换呢，也称为图像的矢量变换或者是主分量变换

那它主要是基于图像统计特性的变换

因为基于图像的统计特性，所以这个K-L变换常处理的图像

一般是一组序列图像

K-L变换的特点呢，就是它能够充分去除相关性

把有用的信息集中到数目较少的主成分中

主要用于图像压缩、图像旋转或者是特征提取信息融合等等

假设有一副N*N的图像在信道中传输了L次

或者是一个物体形成了L幅不同时刻的图片，就会得到L帧图像

那么这个图像我们用集合的形式来表示

表示成f(m,n)等于{f1(m,n)，f2(m,n)，...，fL(m,n)}

那么，里边的每一个元素代表的是一个图像

那由于成像过程中或者是传输过程中受到噪声或者干扰的影响

图像中不可避免的包含了一些随机成分

则需要对图像进行统计其特性，计算图像序列的一个相关性

要计算他的相关性的话，我们就需要先把图像用向量来表示

而之前我们说过，图像是一个二维的

如何把它转化成向量呢，我们从这儿来看

对图像集合中的每一个样本fi(m,n)

我们可以用按列展开的形式表示成一个N^2的fi

这样的话，这个时候，fi就是一个列向量了

我们以个64*64的，这样一个图像为例

fi是一个64*64的图像，那么它就是有64行64列

我们怎么把它展开成一个列向量呢，我们这样来做

第一列呢，我们放在这不动

第二列呢，我们把它接在第一列的下边

也就是把这个fi64放在i65的上面吧这个接在下面，然后依次排下去

然后再把第三列放到第二列的下面，一直接下去

这样的话，最终就可以得到这样一个向量

这个向量的排列就是原来这个图像呢，每一列然后按照列展开得到的

有了图像的向量表示呢，我们就可以分析它的统计参数了

那图像的统计参数，我们常见的就是协方差矩阵了

这个向量的协方差矩阵，我们可以定义为

Cf等于f减去mf乘一个f减去mf的转置

然后在对它去求一个期望

那这里边的mf呢，是f的均值,也是它一个期望均值

那么有了这个概念呢，我们就看

对于这样L帧的这个图像组成的集合中，如何去求它的mf和cf呢

因为这个是一个L帧的图像，我们就可以用这个

L帧的图像序列去近似它的均值和协方差矩阵

这时候，均值向量mf呢就可以约等于L分之一fi的求和

就是把i从1到L的求和，那Cf就约等于L分之一 i从1到L求和里边

是fi减去mf乘一个fi减去mf的转置

就是利用这个，每一个图像协方差矩阵求和之后再求均值

来去求得这L帧图像的协方差矩阵

那么求得了之后呢，我们就可以看出来

其实这个均值向量呢，应该是一个N方维的列向量

因为我们刚才把一个N*N的图像拉成一个列向量了

那Cf应该是，一个N^2*N^2维的这样一个矩阵

要对这个矩阵分析，常用的方法是去看它的特征值和特征向量

那我们可以借助于之前线性代数中学的

求特征值特征向量的方法来对这个协方差矩阵进行分析

首先，我们看它的特征值

对于一个N^2*N^2维的矩阵Cf

有N^2的标量λi，然后i是从1到N^2的

使得这个Cf减去个λi 求行列式等于零

这个地方的λi就是它的特征值

有了这个特征值之后呢我们去求它的特征向量

求特征向量之前呢，我们要对这个特征值进行重排

使得这个特征λ1到λN^2,是按从大到小的顺序排列

排列之后，然后我们再去求它的特征向量

我们假设bi是这样的一个向量

那bi是满足，Cf*bi=λi *bi

那么这时候，我们知道bi就是λi所对应的特征向量了

可以看出来，因为Cf是一个N^2*N^2的

特征向量也得到了N^2个特征值

因为Cf是一个N^2*N^2的这样一个矩阵

所以我们就可以得到N^2个特征值λi 和N^2个特征向量

那对于这个N^2的特征向量呢

因为是我们求的是一个实的对称的方阵

所以，这N^2个特征向量bi呢，就构成了一个完备的正交向量集

有了这个概念之后，我们接下来看离散K-L变换及其它的性质

首先来看一下离散K-L变换的定义

那我们之前已经求了这个特征向量bi

然后我们对这个特征向量bi进行归一化

就得到了K-L变换的变换矩阵A

因为ai是bi归一化之后的结果，bi是一个完备正交集的话

那么，ai组成的这个集合肯定也是一个完备正交集

然后我们用一个矩阵的形式来表示出来

就是用A表示，A等于这样一个矩阵

它的第一项呢，是a1的转置，其实这是一个列向量

然后我们要把它转成行向量

第二个也是一个列向量，把它转成一个行向量

这样的话就得到了一个，N^2*N^2的正交矩阵

有了这个正交矩阵我们就可以定义K-L变换

那上面这个地方是对bi进行归一化的这个过程

这个时候就可以得到离散K-L变换的变换形式

g=A*（f-mf），这个变换是一个什么意义呢？

就相当于对这个图像f去了均值，然后再将去均值之后的这个结果呢

投影到这个矩阵A组成的一个完备正交集上

接下来我们看一下离散K-L变换的性质

因为A是一个正交矩阵，因为b是一个完备正交

所以A是一个正交矩阵，那么离散K-L变换是由A来生成的

所以K-L变换也是一个正交变换

但是这个跟我们之前讲的图像的变换的方法不一样

这个跟我们之前讲的图像的变化有一个区别的地方

就是这个二维的K-L变换核是不可分离的

那既然它的变换核是不可分离的话

那么，它的变换也是一个不可分离的变换

接下来，我们给出K-L变换的反变换的公式

f就等于A的转置，乘以g加上mf

这可以由我们刚才的这个正变换，可以推导得出

那么离散的K-L变换就可以表示成g=A*（f-mf）

我们再来回头看一下这个变换矩阵A

它是一个N^2*N^2的这样一个正交矩阵

我们刚才给大家一个例子，

我们经常处理的人脸图像，最小的话是64*64的

那么这个N^2就等于4096了，4096*4096这是一个非常大的矩阵

如果我们要对这矩阵去处理的话，这个计算量和存储方面是非常大的

那么为了减少计算量或者是降低计算量的话

我们需要对它进行做进一步的处理

所谓的主分量表示其实就是把我们能量比较集中的几个分量给抽出来

也就是对我们刚才的这个变换矩阵这里面的这个A

我们提取它能量较为集中的几个主成分来得到图像的主分量表示

K-L变换还有一个特点就是这个矩阵A它是按特征值λ的大小进行排列

得到的这个特征向量所组成的这个变换矩阵

所以它得到的这个矩阵它的能量主要集中于特征值大的这种系数中

那其实在我们这个矩阵A里边来看的话

它是主要是集中在特征值较大的前k个分量里边

这时候，我们就可以用前K个分量来近似去表示这个f

然后丢掉相应的特征值较小的这种成分

这时候对图像的质量影响不会太大，但是计算量却大大的减小

我们选前k个分量比较大的这个特征向量组成的矩阵A

我们记为Ak，那么它就对应的是能量比较大的前k个特征值

我们用这个来去做变换，将原来的K-L变换进行稍微的变化

就是gk=Ak*（f-mf）

那么这时候可以由K维的向量gk代替原来的N^2维的向量g

那么这种式子是用主分量的形式代替原来的整个分量

所以称为主分量表示

那gk相对于g的话，他的维数减少了N^2-k维

这个时候在做反变换就得到了原图像降维后图像的重建

就是f^等于Ak的转制乘gk加上mf

那可以证明f和f^之间的均方误差跟它的特征值有关

也就是说，跟你去掉了几个特征值选取了几个特征值是有关系的

如果我们选了前k个特征值的话

那么，这个时候重建之后的图像f^和原图像这个均方误差就等于

这个Σi从0到N^2 λi的求和,减去Σi从1到k λi的求和

这其实就是说是，最终就等于i从k加1到N^2个λi

就是说你丢掉了多少，那么它所对应的均方误差就是多少

如果这个时候我们k选取的是等于N^2的话，那这时候误差就等于零

重建后的图像就和原始图像是相等的

那k小于N^2的时候，相当于我选取了前k个特征向量

这个时候离散K-L变换的结果是最佳的，它误差是最小的

如果图像的降维重建，可以使均方误差降至最小

因此，K-L变换也称为主分量变换

下面我们有一个实验，给大家展示一下K-L变换的结果

下图中是利用了不同的k个最大的特征值

对应的特征向量来进行重建图像的结果

a是前8个特征向量得到的重建结果

这个地方还有点模糊

然后我们选取了前16个的时候就可以把人的这个图形大概可以看出来

虽然K-L变换可以取得一定的效果

比如说当k取到一定的值的时候，就可以对原图像进行很好的重建

但是它的计算量非常大，它需要进行特征值特征向量的分解

这个分解过程中呢，分解的计算量是跟这个矩阵的大小相关的

如果是一个N^2的矩阵的话，它的svd分解

或者说是它的特征值特征向量分解需要到N^2的三次方

所以这个计算量是非常大的，这也是它的一个缺点

K-L变换的另外一个缺点呢，是因为它是不可分离的

所以它不能转换成两个一维的来进行运算

那这章呢，我们一共讲了几种图像变换的方法

包括离散傅立叶变换、离散余弦变换、离散沃尔什-哈达玛变换

还有K-L变换，那么这几种方法我们把它再回顾一下

离散傅立叶变换我们知道它因为是复数预算

所以它比较难以实现计算量比较大

离散余弦变换和离散傅立叶变换相对来说它的计算量变小

它的误差也接近于K-L变换

但是因为它的计算过程中还有余弦函数，也就是三角函数

这个计算量还是比较大的

沃尔什-哈达玛变换的计算量是比较小的，而且计算比较简单

但是它的误差比较大

K-L变换的计算是最复杂它的，误差是最小的

我们可以从这个图中可以看出来，它的误差的对比

K-L变换和余弦变换它的误差基本上是类似的

所以它的这个误差是在最下面这条线

沃尔什-哈达玛变换的误差是比较大，傅立叶变换的误差是居中

但它的计算量比较大，这就是我们这一章讲的几种图像变换的方法

那这节课就到这儿，谢谢大家