3.7基于压缩感知字典学习的超分方法在线视频

同学们大家好

在第5节和第6节

已经给大家介绍了

基于压缩感知的

超分辨率方法的一些基础知识

包括什么是压缩感知理论

以及压缩感知和超分辨率之间的

联系

那么这第7节

我就给大家简单介绍一种

基于压缩感知字典学习的超分方法

这节课我们主要讲三部分内容

第一部分是基于压缩感知的字典学习

第二部分是基于字典学习的超分辨率方法

第三部分我们将实验结果

进行一个展示

首先我们已经知道了

什么是压缩感知理论

也知道了我们用压缩感知理论

对信号进行处理

实际上就是用一个

M×N维的扁矩阵

跟信号进行相乘

也就是一个测量过程

那么我们首先来研究一下

图像在测量域

与频域相关度的一个线性关系

首先我们来研究一下

图像在频域方面的特征

对于图像X我们首先将它分成

N个不同的小块

而对于每一个图像子块

我们又将它记为一个N乘以1维

的列向量

对每一个块

我们进行随机投影

随机投影的矩阵为

而这里我们采用的基为DCT基

从而我们就得到了

信号在频域的一个表示方法

在得到频域表示之后

我们来计算

随机样本之间的协方差

就得到了Cz

经过一系列的推导

我们就可以得到CZ最后是等于N/1的ZZT的

那么我们接下来再看一下信号

在测量域的一个特征

在测量域

首先我们的Y在这里

表示的是

对像素域第i个图像块Xi进行

随机测量之后

得到的测量值

我们由这所有样本值

构成的一个随机向量

就是样本向量

而在测量域

我们研究

对于Y的一个协方差

最后得到一个协方差矩阵CY

而这里的CY

我们经过一系列的推导

最后我们可以得到

CY就等于M/1的ZATAZT也就是说

我们 CY就代表了

我们图像

在测量域的一个特征

刚刚我们看到了我们的图像

在频域的一个相关度特征

而在这里我们又得到了图像

在测量域的一个特征

我们可以将两者进行一个比较

看他们之间是不是有关系的

我们可以看到

我们从测量域对图像进行提取特征

得到的CY和我们从频域

对图像提取特征的CZ两者之间

是具有一个近似的线性关系的

而他们的方差也存在一个线性关系

它们的方差的线性倍数是n/m的平方

也就是说我们频域信号的

样本矩阵的互协方差

正比于测量值样本矩阵的协方差

进而也就说明

我们的图像

在测量域的相关性

与在频域的相关性

是成近似的线性关系的

那么得到了这个关系

我们就可以

从测量域来分析一个信号

而不用去它原始的像素域

或者频域来分析信号

好处是什么呢

我们之前讲

压缩感知理论的时候

提过了我们的测量值个数

它的维度

是M维

而原始信号的维度是N维的

而M是远小于N的

所以我们从测量域

来分析信号的时候

我们需要去分析的数据量

显著的减少

它的分析速度也显著的快于

在像素域和频域去分析信号

在这里我们将 CY的一个方差

作为一个特征点

然后我们对它进行一个阈值的

判断

当它小于一个经验值T1的时候

我们就将它判断为平滑快

而当我们的这个CY的方差

在T1和T2之间

中等大小的时候

我们可以将它判定为纹理块

如果它大于一个经验值

T2的时候

我们就可以将它判定为边缘快

测量域协方差的

方差越小

就说明各个子块的相关性比较均匀

而方差越大就表明了图像块

之间的差异比较大

在频域上的分布变化比较剧烈

那么右边就是我们对原始的这一幅图像

一个婴儿的头像

我们进行了一个分块

根据我们在测量域特征

进行分类之后

可以将它分为平滑块

和纹理块以及边缘块

大家可以看到

我们的平滑块

相邻像素之间变化是比较小的

而我们的纹理块

主要是我们

原始图像当中的

一些细节信息

最后的边缘块

其实就相当于一个显著图

就是我们图像的边缘

部分将它提取出来

在对一幅图像的

子块进行分类之后

我们再在分类的基础之上

对每一类图像块

分别训练一个稀疏字典

我们训练稀疏字典的过程

主要是用到了KSVD的字典训练

也就是说我们对于一幅图像

将它分为平滑块

纹理块

和边缘块之后

我们又对每一类子块

进行了字典训练

最后得到的是三类字典

分别是平滑字典

纹理字典以及边缘字典

那么我们看一下

我们的字典训练的结果

我们的上一行

是用到了DCT还有KSVD字典训练

我们的第二行

就是用这种基于分类块

然后训练分类字典的结果

大家可以看到

这三类字典

它的信息比较丰富

也就是比之前的DCT

和KSVD更加复杂

这说明什么呢

这就说明

我们的这种分类字典训练

最后能够

有更多的细节信息保留

也就进而说明

用这种分类字典

对图像块进行表示的话

我们的表示系数是更稀疏的

表示系数更稀疏

也就意味着我们用

压缩感知重构方法

进行重构的时候

最后能够得到更加精确的重构结果

这个就是我们进行字典

分类训练的一个整体框图

首先我们在测量域中

对样本数据库中的图像块进行分类

然后 将同一类图像块

放在一个训练集合当中

训练出这种类别的冗余字典

也就是我们的稀疏字典

或者又称为超完备字典

对于待重构的低分辨率图像

我们选择最契合的字典

对它进行重构

以改善我们的高分图像的质量

同时用到了稀疏字典

分类字典的基础之上

我们也引入了

图像的相似性

进而在图像得到超分结果时候

能够更多的保留图像

本身的一些细节信息

图像相似性分为两类

第一类是图像的自相似性

自相似性就是说

我们在图像当中

对于已知的两个像素点

另外一个像素点

我们可以将它表示为

这两个像素点的一个加权和

这就是我们这里提到的

图像的自相似性

它的公式就如我们右边公式

同时我们对于不同尺度的图像之间

也具有相似性

大家可以看右边的这一幅图

这是一幅经典的

自相似性文章里边的一个图

我们可以看到

这个图像里边

最左边

它的尺度是比较大的

最右边是尺度最小的

而我们在这三幅图里边

总能找到相似的

或者是图像大小一致的

那一个小块

也就是说

我们在高分图像当中的一个块

我们可以用低分图像当中的块

来进行表示

这个就是我们图像不同尺度之间

也是具有相似性的

在寻找相似快的时候

我们会采用一种变步长的搜索方法

在目标图像块的相邻区域

我们会用一种螺旋式的搜索

而对于非邻区域

我们就会增加它的步长

这种方法

可以充分挖掘

图像当中的类似信息

那么基于我们的分类字典学习

以及我们将图像的自相似性

和不同尺度的

图像相似性加进去之后

我们可以构造一种

基于图像

自相似性与分类字典的一个

超分辨率方法的框图

这个框图就是我们的

基于压缩感知的字典学习的

超分方法的一个流程图

在构造了这个方法之后

我们就要对它进行验证

首先我们要看一下

我们的主观视觉方面的质量

这个也是从我们的

标准测试集当中

选取的几幅图像

我们可以看到

用我们的基于压缩感知的

分类字典学习的超分方法

最后获取的高分图像

也就是最后一个

它具有

更加细腻的细节

以及更加清晰的纹理信息

同时我们也要对它的客观质量

进行一个比较

我们主要将它与Bicubic

还有一个经典的算法

YSL进行对比

对比之后

我们可以得到

对于压缩感知

超分辨率方法来说

它最后的PSNR值

以及SSIM值

都是较其他方法

有比较明显的提升的

也就是说我们算法的性能

是比其他算法更优的

这个是我们对一个

测试图像

进行的一个测试结果

我们可以看到

用这种基于压缩感知分类字典

学习的SR方法

得到的鸟嘴嘴尖

最下面的三角形处更加锐利

而嘴角的轮廓

它就更加的自然

这是咱们的主观效果

这个是对经典的Lena图像

进行了一个测试

我们可以看到

相对来说

用这种基于压缩感知字典学习的方法

帽檐边缘更加的清晰

而且没有明显的锯齿效应

最后我们也选取了

刑侦现勘图像当中的鞋印图像

对它进行了一个超分辨率重构

分别与SCSR方法

进行对比

最后我们可以得到

用这种基于压缩感知字典

学习的方法

重构出来的效果也是比较好的

拍之前的客观质量

我们在之前的表格当中

已经有了展示

这就是我这节课所要讲的

基于压缩感知的超分辨率方法

所有内容已经讲完

谢谢大家