当前课程知识点：刑侦视频图像处理 > 第3章 图像超分辨率重建技术 > 3.6压缩感知与超分辨率重建 > 3.6压缩感知与超分辨率重建
同学们大家好
上节课
我给大家介绍了
超分辨率的一些基础知识
那么这节课我们就讲一下
压缩感知与超分辨率重建的关系
这节课我们主要讲两部分内容
首先第一部分
我们介绍一下
压缩感知理论是什么
第二部分
我们介绍一下
压缩感知与超分辨率之间的联系
首先我们来讲一下
压缩感知理论
这是框图
是我们传统的信号
采集的一个过程
就是要经过采样压缩传输
到接收端之后
我们需要一个解压过程
而在传统的信号传输过程当中
我们会丢弃掉
大于80%的采样系数
而采集端的运算量非常大
接收端的运算量相对较小
主要是在传输的过程当中
我们的压缩过程
会把我们采到的
很多采样值
去掉了
这样就很大程度上
浪费了一些资源
而我们的图像和视频
与传统的文字语音
有着很大的区别
它主要有大数据量
强相关性
以及高冗余性的特征
而传统信号采样压缩方法
对图像处理
就不那么理想了
因为它会丢弃掉太多的采样值
那么我们就思考
是否有一种方法
能够同步的进行压缩采样
不用丢弃掉我们已经得到的采样值呢
这就是我们压缩感知提出的初衷
在2006年得Donoho
提出了压缩感知理论
压缩感知
英文为compressed sensing
或者compressive sampling
简称为CS
后面的讲述当中
我们都以CS来代表压缩感知理论
首先压缩感知理论
是由这4个人
最先提出并进行了一系列的
研究论证的
Donoho、Candes、
以及陶哲轩等人
他们提出的就是说
我们是否可以直接去测量
我们需要的那一部分信息
而不用丢掉采样值进行压缩
这个就是我们
压缩感知的一个
信号传输的框图
我们直接对信号进行一个测量
而测量过程
我们是用一个随机举证
与这个信号进行相乘
这个随机矩阵式M×N维的
N是远大于M的
所以他是一个扁矩阵
在我们对这个信号
进行相乘之后
得到的是一个M维的向量
它远小于N维
然后再进行传输
传输之后在接收端
我们只需要通过
简单的压缩感知
重构算法
就能够恢复 N维的原始信号
当然我们应用压缩感知理论
也是有条件的
就是我们的信号
是稀疏的或者是可压缩的
同时我们的测量矩阵和稀疏基
是满足一个约束等距性质的
就如我们右边的框里所示
这就是约束等举性质
或者也称为测量矩阵
和稀疏基之间的一个不相关性
在这里我们记
采样率MR=M÷N
首先我们来解释一下
什么是信号的稀疏性
比如说对于一个一维的信号
如果这个信号里边的
非零值的个数
是小于等于r的
那么我们就称
X信号是r-稀疏信号
而这个r它是远小于它信号
本身的元素个数的
可压缩性是什么意思呢
可压缩性就是说
如果我们的信号
不能严格的满足稀疏性
而我们将这个信号
在某一个
基上面进行表示
最后得到的系数是稀疏的
那么我们就称
这个信号是具有可压缩性的
所以具有这两个性质的信号
我们都可以采用
压缩感知理论进行处理
在重构端
我们来介绍一下
我们从测量得到的测量值信号Y
来恢复X的一个过程
他的数学模型
就如我们最上面的这一个框图所示
Y就是我们的M维的测量值
它的维度M是远小于N的
而N就是我们原始的
信号的维度
至于这里的
x是原始信号
Ψx就是指我们将信号x在一个
稀疏基Ψ上
进行表示得到的一个系数
它是稀疏的
我们的重构过程
从Y=f
f就是我们的稀疏表示系数
从这个里边
来重构出
我们的原始信号x
这里的Φ是指
M×N为的测量矩阵
其中M远小于N
而这里的Ψ就是指的稀疏基
它代表的是一个变换基
或者我们也称为字典
测量过程Φf在感知设备上进行获取
在获取f的同时
我们的维度
也进行了一个压缩
刚刚我们也说过了
重构的过程
那么重构的目标就是
从我们的测量值y当中
恢复出来x
方法主要是用到了
我们的一个优化理论
然后给它一个约束条件
而它能够
高精度进行重构的一个条件
就是满足RIP性质
也就是约束等距性质
等价于测量矩阵
与稀疏基不相关
满足这种不相关性质的
有高斯矩阵
哈达玛等一些随机矩阵
我们常用的就是
高斯矩阵
和部分哈达玛矩阵
压缩感知理论
有如下几个特点
它能够同时实现对信号的采样
和压缩过程
同时我们的随机测量值的个数
是远小于传统采样方法的采样值的
最后在信号满足稀疏性
或者可压缩性的时候
我们可以对这个信号
进行精确重构
那么讲了这么多
压缩感知理论的概念和理论推导
现在需要看一下压缩感知理论
和超分辨率有什么关系
我们为什么可以
将压缩感知理论
用到超分辨率当中
首先我们看一下
这是超分辨率一个降质模型
也就是从一个高维图像
到一个低维图像的过程
在上节课我们也讲过
采集图像的设备传感器尺寸
以及采集场所的不良条件
还有采集设备的
运动传输过程当中
产生的噪声
都会使得我们接收到的图像
比原始的高分图像的维度低了很多
而我们也无法从当中
获取到一些细节信息
这个是我们上节课讲过的
一个图像的降质模型
从左边到右边
就是从我们原始的高分图像
到低分图像的一个降质过程
大家可以看到
高分图像是高维的
而低分图像它的维度
显著的减小
那么我们将它与压缩感知理论
联系一下
是否就是意味着
我们在这里的高分图像X就对应
了我们在压缩感知当中的
高维信号X
而我们经过测量得到的测量值Y
它的维度远小于X
它就可以对应于
我们被降采样过后的
低分辨率图像Y
所以在这里
我们就将压缩感知理论与超分辨率
进行了联系
也就是说
我们的超分辨率
是从一个低维信号
恢复一个高维信号
而我们的压缩感知理论
同样是一从一个低维信号
恢复出高维信号的欠定问题
这与压缩感知理论中的
重构问题
一一对应
测量值就对应了低分辨率图像
而原信号就对应于高分图像
因而我们可以将
压缩感知理论
应用于
图像超分辨率
而在这里我们主要用到的是
基于字典学习的
超分辨率重构方法
这个字典学习
在压缩感知当中
就是稀疏基
也就是我们的稀疏字典
又称过完备字典
在我们之前讲过的
基于学习的超分辨率里边
就对应于
基于稀疏编码的超分辨率方法
那么这是一个简单的
基于字典学习的超分辨率的框图
首先我们通过外部的训练样本
进行一个分块
得到了样本块
分别有
低分辨率样本块
和高分辨率样本块
然后我们通过这些样本块
对进行一个字典训练
就得到了低分图像块的字典
和高分图像块的字典
而对于我们输入的一幅
待超分的低分图像来说
我们就根据得到的一个字典
然后对我们的低分图像块
进行一个恢复
得到对应的高分图像
从而就可以进一步
得到我们的整幅高分图像
好
以上就是我们第6节讲到的
基于压缩感知
与超分辨率方法联系的一节课
内容已经讲完
下节课我们就讲一种
具体的
基于压缩感知的算法
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题