当前课程知识点：刑侦视频图像处理 > 第3章 图像超分辨率重建技术 > 3.7基于压缩感知字典学习的超分方法 > 3.7基于压缩感知字典学习的超分方法
同学们大家好
在第5节和第6节
已经给大家介绍了
基于压缩感知的
超分辨率方法的一些基础知识
包括什么是压缩感知理论
以及压缩感知和超分辨率之间的
联系
那么这第7节
我就给大家简单介绍一种
基于压缩感知字典学习的超分方法
这节课我们主要讲三部分内容
第一部分是基于压缩感知的字典学习
第二部分是基于字典学习的超分辨率方法
第三部分我们将实验结果
进行一个展示
首先我们已经知道了
什么是压缩感知理论
也知道了我们用压缩感知理论
对信号进行处理
实际上就是用一个
M×N维的扁矩阵
跟信号进行相乘
也就是一个测量过程
那么我们首先来研究一下
图像在测量域
与频域相关度的一个线性关系
首先我们来研究一下
图像在频域方面的特征
对于图像X我们首先将它分成
N个不同的小块
而对于每一个图像子块
我们又将它记为一个N乘以1维
的列向量
对每一个块
我们进行随机投影
随机投影的矩阵为
而这里我们采用的基为DCT基
从而我们就得到了
信号在频域的一个表示方法
在得到频域表示之后
我们来计算
随机样本之间的协方差
就得到了Cz
经过一系列的推导
我们就可以得到CZ最后是等于N/1的ZZT的
那么我们接下来再看一下信号
在测量域的一个特征
在测量域
首先我们的Y在这里
表示的是
对像素域第i个图像块Xi进行
随机测量之后
得到的测量值
我们由这所有样本值
构成的一个随机向量
就是样本向量
而在测量域
我们研究
对于Y的一个协方差
最后得到一个协方差矩阵CY
而这里的CY
我们经过一系列的推导
最后我们可以得到
CY就等于M/1的ZATAZT也就是说
我们 CY就代表了
我们图像
在测量域的一个特征
刚刚我们看到了我们的图像
在频域的一个相关度特征
而在这里我们又得到了图像
在测量域的一个特征
我们可以将两者进行一个比较
看他们之间是不是有关系的
我们可以看到
我们从测量域对图像进行提取特征
得到的CY和我们从频域
对图像提取特征的CZ两者之间
是具有一个近似的线性关系的
而他们的方差也存在一个线性关系
它们的方差的线性倍数是n/m的平方
也就是说我们频域信号的
样本矩阵的互协方差
正比于测量值样本矩阵的协方差
进而也就说明
我们的图像
在测量域的相关性
与在频域的相关性
是成近似的线性关系的
那么得到了这个关系
我们就可以
从测量域来分析一个信号
而不用去它原始的像素域
或者频域来分析信号
好处是什么呢
我们之前讲
压缩感知理论的时候
提过了我们的测量值个数
它的维度
是M维
而原始信号的维度是N维的
而M是远小于N的
所以我们从测量域
来分析信号的时候
我们需要去分析的数据量
显著的减少
它的分析速度也显著的快于
在像素域和频域去分析信号
在这里我们将 CY的一个方差
作为一个特征点
然后我们对它进行一个阈值的
判断
当它小于一个经验值T1的时候
我们就将它判断为平滑快
而当我们的这个CY的方差
在T1和T2之间
中等大小的时候
我们可以将它判定为纹理块
如果它大于一个经验值
T2的时候
我们就可以将它判定为边缘快
测量域协方差的
方差越小
就说明各个子块的相关性比较均匀
而方差越大就表明了图像块
之间的差异比较大
在频域上的分布变化比较剧烈
那么右边就是我们对原始的这一幅图像
一个婴儿的头像
我们进行了一个分块
根据我们在测量域特征
进行分类之后
可以将它分为平滑块
和纹理块以及边缘块
大家可以看到
我们的平滑块
相邻像素之间变化是比较小的
而我们的纹理块
主要是我们
原始图像当中的
一些细节信息
最后的边缘块
其实就相当于一个显著图
就是我们图像的边缘
部分将它提取出来
在对一幅图像的
子块进行分类之后
我们再在分类的基础之上
对每一类图像块
分别训练一个稀疏字典
我们训练稀疏字典的过程
主要是用到了KSVD的字典训练
也就是说我们对于一幅图像
将它分为平滑块
纹理块
和边缘块之后
我们又对每一类子块
进行了字典训练
最后得到的是三类字典
分别是平滑字典
纹理字典以及边缘字典
那么我们看一下
我们的字典训练的结果
我们的上一行
是用到了DCT还有KSVD字典训练
我们的第二行
就是用这种基于分类块
然后训练分类字典的结果
大家可以看到
这三类字典
它的信息比较丰富
也就是比之前的DCT
和KSVD更加复杂
这说明什么呢
这就说明
我们的这种分类字典训练
最后能够
有更多的细节信息保留
也就进而说明
用这种分类字典
对图像块进行表示的话
我们的表示系数是更稀疏的
表示系数更稀疏
也就意味着我们用
压缩感知重构方法
进行重构的时候
最后能够得到更加精确的重构结果
这个就是我们进行字典
分类训练的一个整体框图
首先我们在测量域中
对样本数据库中的图像块进行分类
然后 将同一类图像块
放在一个训练集合当中
训练出这种类别的冗余字典
也就是我们的稀疏字典
或者又称为超完备字典
对于待重构的低分辨率图像
我们选择最契合的字典
对它进行重构
以改善我们的高分图像的质量
同时用到了稀疏字典
分类字典的基础之上
我们也引入了
图像的相似性
进而在图像得到超分结果时候
能够更多的保留图像
本身的一些细节信息
图像相似性分为两类
第一类是图像的自相似性
自相似性就是说
我们在图像当中
对于已知的两个像素点
另外一个像素点
我们可以将它表示为
这两个像素点的一个加权和
这就是我们这里提到的
图像的自相似性
它的公式就如我们右边公式
同时我们对于不同尺度的图像之间
也具有相似性
大家可以看右边的这一幅图
这是一幅经典的
自相似性文章里边的一个图
我们可以看到
这个图像里边
最左边
它的尺度是比较大的
最右边是尺度最小的
而我们在这三幅图里边
总能找到相似的
或者是图像大小一致的
那一个小块
也就是说
我们在高分图像当中的一个块
我们可以用低分图像当中的块
来进行表示
这个就是我们图像不同尺度之间
也是具有相似性的
在寻找相似快的时候
我们会采用一种变步长的搜索方法
在目标图像块的相邻区域
我们会用一种螺旋式的搜索
而对于非邻区域
我们就会增加它的步长
这种方法
可以充分挖掘
图像当中的类似信息
那么基于我们的分类字典学习
以及我们将图像的自相似性
和不同尺度的
图像相似性加进去之后
我们可以构造一种
基于图像
自相似性与分类字典的一个
超分辨率方法的框图
这个框图就是我们的
基于压缩感知的字典学习的
超分方法的一个流程图
在构造了这个方法之后
我们就要对它进行验证
首先我们要看一下
我们的主观视觉方面的质量
这个也是从我们的
标准测试集当中
选取的几幅图像
我们可以看到
用我们的基于压缩感知的
分类字典学习的超分方法
最后获取的高分图像
也就是最后一个
它具有
更加细腻的细节
以及更加清晰的纹理信息
同时我们也要对它的客观质量
进行一个比较
我们主要将它与Bicubic
还有一个经典的算法
YSL进行对比
对比之后
我们可以得到
对于压缩感知
超分辨率方法来说
它最后的PSNR值
以及SSIM值
都是较其他方法
有比较明显的提升的
也就是说我们算法的性能
是比其他算法更优的
这个是我们对一个
测试图像
进行的一个测试结果
我们可以看到
用这种基于压缩感知分类字典
学习的SR方法
得到的鸟嘴嘴尖
最下面的三角形处更加锐利
而嘴角的轮廓
它就更加的自然
这是咱们的主观效果
这个是对经典的Lena图像
进行了一个测试
我们可以看到
相对来说
用这种基于压缩感知字典学习的方法
帽檐边缘更加的清晰
而且没有明显的锯齿效应
最后我们也选取了
刑侦现勘图像当中的鞋印图像
对它进行了一个超分辨率重构
分别与SCSR方法
进行对比
最后我们可以得到
用这种基于压缩感知字典
学习的方法
重构出来的效果也是比较好的
拍之前的客观质量
我们在之前的表格当中
已经有了展示
这就是我这节课所要讲的
基于压缩感知的超分辨率方法
所有内容已经讲完
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
