3.6压缩感知与超分辨率重建在线视频

同学们大家好

上节课

我给大家介绍了

超分辨率的一些基础知识

那么这节课我们就讲一下

压缩感知与超分辨率重建的关系

这节课我们主要讲两部分内容

首先第一部分

我们介绍一下

压缩感知理论是什么

第二部分

我们介绍一下

压缩感知与超分辨率之间的联系

首先我们来讲一下

压缩感知理论

这是框图

是我们传统的信号

采集的一个过程

就是要经过采样压缩传输

到接收端之后

我们需要一个解压过程

而在传统的信号传输过程当中

我们会丢弃掉

大于80%的采样系数

而采集端的运算量非常大

接收端的运算量相对较小

主要是在传输的过程当中

我们的压缩过程

会把我们采到的

很多采样值

去掉了

这样就很大程度上

浪费了一些资源

而我们的图像和视频

与传统的文字语音

有着很大的区别

它主要有大数据量

强相关性

以及高冗余性的特征

而传统信号采样压缩方法

对图像处理

就不那么理想了

因为它会丢弃掉太多的采样值

那么我们就思考

是否有一种方法

能够同步的进行压缩采样

不用丢弃掉我们已经得到的采样值呢

这就是我们压缩感知提出的初衷

在2006年得Donoho

提出了压缩感知理论

压缩感知

英文为compressed sensing

或者compressive sampling

简称为CS

后面的讲述当中

我们都以CS来代表压缩感知理论

首先压缩感知理论

是由这4个人

最先提出并进行了一系列的

研究论证的

Donoho、Candes、

以及陶哲轩等人

他们提出的就是说

我们是否可以直接去测量

我们需要的那一部分信息

而不用丢掉采样值进行压缩

这个就是我们

压缩感知的一个

信号传输的框图

我们直接对信号进行一个测量

而测量过程

我们是用一个随机举证

与这个信号进行相乘

这个随机矩阵式M×N维的

N是远大于M的

所以他是一个扁矩阵

在我们对这个信号

进行相乘之后

得到的是一个M维的向量

它远小于N维

然后再进行传输

传输之后在接收端

我们只需要通过

简单的压缩感知

重构算法

就能够恢复 N维的原始信号

当然我们应用压缩感知理论

也是有条件的

就是我们的信号

是稀疏的或者是可压缩的

同时我们的测量矩阵和稀疏基

是满足一个约束等距性质的

就如我们右边的框里所示

这就是约束等举性质

或者也称为测量矩阵

和稀疏基之间的一个不相关性

在这里我们记

采样率MR=M÷N

首先我们来解释一下

什么是信号的稀疏性

比如说对于一个一维的信号

如果这个信号里边的

非零值的个数

是小于等于r的

那么我们就称

X信号是r-稀疏信号

而这个r它是远小于它信号

本身的元素个数的

可压缩性是什么意思呢

可压缩性就是说

如果我们的信号

不能严格的满足稀疏性

而我们将这个信号

在某一个

基上面进行表示

最后得到的系数是稀疏的

那么我们就称

这个信号是具有可压缩性的

所以具有这两个性质的信号

我们都可以采用

压缩感知理论进行处理

在重构端

我们来介绍一下

我们从测量得到的测量值信号Y

来恢复X的一个过程

他的数学模型

就如我们最上面的这一个框图所示

Y就是我们的M维的测量值

它的维度M是远小于N的

而N就是我们原始的

信号的维度

至于这里的

x是原始信号

Ψx就是指我们将信号x在一个

稀疏基Ψ上

进行表示得到的一个系数

它是稀疏的

我们的重构过程

从Y=f

f就是我们的稀疏表示系数

从这个里边

来重构出

我们的原始信号x

这里的Φ是指

M×N为的测量矩阵

其中M远小于N

而这里的Ψ就是指的稀疏基

它代表的是一个变换基

或者我们也称为字典

测量过程Φf在感知设备上进行获取

在获取f的同时

我们的维度

也进行了一个压缩

刚刚我们也说过了

重构的过程

那么重构的目标就是

从我们的测量值y当中

恢复出来x

方法主要是用到了

我们的一个优化理论

然后给它一个约束条件

而它能够

高精度进行重构的一个条件

就是满足RIP性质

也就是约束等距性质

等价于测量矩阵

与稀疏基不相关

满足这种不相关性质的

有高斯矩阵

哈达玛等一些随机矩阵

我们常用的就是

高斯矩阵

和部分哈达玛矩阵

压缩感知理论

有如下几个特点

它能够同时实现对信号的采样

和压缩过程

同时我们的随机测量值的个数

是远小于传统采样方法的采样值的

最后在信号满足稀疏性

或者可压缩性的时候

我们可以对这个信号

进行精确重构

那么讲了这么多

压缩感知理论的概念和理论推导

现在需要看一下压缩感知理论

和超分辨率有什么关系

我们为什么可以

将压缩感知理论

用到超分辨率当中

首先我们看一下

这是超分辨率一个降质模型

也就是从一个高维图像

到一个低维图像的过程

在上节课我们也讲过

采集图像的设备传感器尺寸

以及采集场所的不良条件

还有采集设备的

运动传输过程当中

产生的噪声

都会使得我们接收到的图像

比原始的高分图像的维度低了很多

而我们也无法从当中

获取到一些细节信息

这个是我们上节课讲过的

一个图像的降质模型

从左边到右边

就是从我们原始的高分图像

到低分图像的一个降质过程

大家可以看到

高分图像是高维的

而低分图像它的维度

显著的减小

那么我们将它与压缩感知理论

联系一下

是否就是意味着

我们在这里的高分图像X就对应

了我们在压缩感知当中的

高维信号X

而我们经过测量得到的测量值Y

它的维度远小于X

它就可以对应于

我们被降采样过后的

低分辨率图像Y

所以在这里

我们就将压缩感知理论与超分辨率

进行了联系

也就是说

我们的超分辨率

是从一个低维信号

恢复一个高维信号

而我们的压缩感知理论

同样是一从一个低维信号

恢复出高维信号的欠定问题

这与压缩感知理论中的

重构问题

一一对应

测量值就对应了低分辨率图像

而原信号就对应于高分图像

因而我们可以将

压缩感知理论

应用于

图像超分辨率

而在这里我们主要用到的是

基于字典学习的

超分辨率重构方法

这个字典学习

在压缩感知当中

就是稀疏基

也就是我们的稀疏字典

又称过完备字典

在我们之前讲过的

基于学习的超分辨率里边

就对应于

基于稀疏编码的超分辨率方法

那么这是一个简单的

基于字典学习的超分辨率的框图

首先我们通过外部的训练样本

进行一个分块

得到了样本块

分别有

低分辨率样本块

和高分辨率样本块

然后我们通过这些样本块

对进行一个字典训练

就得到了低分图像块的字典

和高分图像块的字典

而对于我们输入的一幅

待超分的低分图像来说

我们就根据得到的一个字典

然后对我们的低分图像块

进行一个恢复

得到对应的高分图像

从而就可以进一步

得到我们的整幅高分图像

好

以上就是我们第6节讲到的

基于压缩感知

与超分辨率方法联系的一节课

内容已经讲完

下节课我们就讲一种

具体的

基于压缩感知的算法