3.5基础知识介绍在线视频

同学们大家好，

前几节课

毕老师已经给大家介绍了

一些超分辨率重建的基础概念。

那么在此基础上，

由我开始讲

第5节及后续部分。

我们主要是讲述一些

基于学习的超分辨率方法

首先这一节课

我们也进行一些

基础知识的介绍和回顾

具体来说就包括以下的三部分

首先我们进行一下

简单的背景介绍

第二部分

我们回顾一下

超分辨率的概念

第三部分

我们介绍一下

常用的超分辨率方法

首先我们来进行一下

相关的背景介绍

随着信息化时代的来临

咱们近10年的通信方式

已经发生了巨大的改变

之前我们的通信

主要是通过语音电话

文字短消息的形式来进行

而现在我们也看到了

我们更多的是通过图像的传输

以及我们视频通话

来进行进行通信

同时在除了通信以外的其他方面

图像、多媒体通信

也具有着广泛的应用

比如说我们的远程医疗

远程医疗

也就意味着我们的病人

没有必要

本人去到医院

让医生来观察

我们可以有一个微小的芯片

植入到病人体内

而医生就可以通过远程视频

调取这个芯片

所获取到的数据

来分析这个病人的病情是怎么样

很具体地

有针对性地

去关注他的病灶

从而给出一些诊断信息

同时在现阶段

用到比较多的是在线教学

这个也是很大程度上

用到了我们的多媒体通信

给我们的老师和学生

都带来了很大的便利

在我们的智能交通方面

我们的多媒体

也是应用比较广泛的

我们通过在道路上

进行摄像头的架设

可以从整体上

去控制我们的道路交通情况

去疏通我们的交通拥塞

同时在我们的行政领域

也可以通过一些图像处理

视频处理的手段

去获取我们想要的信息

从而能够帮助我们的公安系统

更快的去侦破一些案件

多媒体通信给我们的生活

以及工作

带来很大便利的同时

也会有一些问题存在

我们现在的传输带宽是有限的

而我们又希望

获得的是高清的图像

因为高清晰度的图像

对我们从图像当中

获取一些关键信息

是至关重要的

那么我们如何保证

图像的质量问题

这就是一个需要

我们下很大力气

去解决去研究的问题

从这幅图大家可以看到

左边的是我们原始的高分辨率图片

而经过一系列的变形模糊

以及下采样过程

我们最后接收到的

却是右边的这一幅分辨率比较低的图像

大家可以看到

左边这幅图像

我们可以看到

它角落里的一些

微小的东西

一些细节的信息

而在右边那些角落的东西

还有一些细小的细节

已经很难发现了

所以这也就是我们

要进行超分辨率研究的意义

我们需要从右边的低分图像

恢复到左边的高分图像

从而能够获取到一些关键的信息

那么

我们影响图像分辨率的因素

是哪些呢

采集环境肯定是会影响的

而成像设备

也会对分辨率

造成很大的影响

同时在传输当中的

传输带宽限制

也会很大程度的去降低图像的分辨率

具体来说包括大气扰动

气流波动天气原因

成像设备传感器尺寸问题

会影响到

以及不同的CMOS质量

还有系统噪声

物体移动

以及我们的带宽限制

都是造成我们图像分辨率降低的

因素

那么到底什么是超分辨率呢

之前毕老师已经给大家介绍过

我在这里再给大家回顾一下

简单来说

我们的图像超分辨率

就是Super-Resolution

简称SR

它可以视为

图像降质的一个逆问题

下面的这个框图

就是我们一个图像降质的流程图

在获取图像的过程当中

由于成像设备自身的限制

加上外部各种因素的干扰

导致实际获取到的图像

发生几何形变模糊等变化

分辨率不能满足应用需求

那么我们的从框图当中可以看到

通过这一系列的降质

包括运动以及模糊过程下采样过程

我们最终得到的图像

是低分辨率的图像

我们的超分辨率

就是需要从低分图像

恢复出高分图像

我们将刚刚降质过程框图

用数学形式公式化来表示

下面的式子

Y=DHFX+n

在这里

Y就是低分辨率图像

X就是高分辨率图像

也称为HR图像

D就表示下采样过程

H是模糊矩阵

F是形变矩阵

如果K>=2的时候

就是已知多幅亚像素位移的

低分辨率图像

来生成高分图像

若K=1

就是用单幅图像

来恢复高分图像

那么我们可以将上面这个式子

简化为下面的Y=MX+Ni

我们用来提高图像超分辨率方法

有哪几类呢

从软件或硬件角度来分

我们分为软件方法和硬件方法

硬件方法就是提高我们的设备的

单元感光面积

这种方法在成本上不容易实现

不能被广泛采用

因而我们更多的采用软件方法来实现

通过输入的低分辨率图像

通过机器学习优化理论

概率等数学工具

来达到我们从低分图像

恢复到高分图像的目的

那么我们用文字来描述一下

什么是超分辨率呢

首先就是将图像

在低分辨率网格空间中的像素点

在高分辨率空间中重新表示

算法的原理

主要是通过约束条件

求解重构的一个病态问题

也就是欠定的逆问题

同时我们根据输入信号源的不同

可以将超分辨率

分为图像超分技术

和视频超分技术

视频序列它本身就有着

更加丰富的冗余信息

序列前后帧提供的冗余信息

就成为了

视频SR技术研究的关键问题

视频超分算法

在提取帧内容与信息的过程

可以利用图像超分辨率算法中的

一些关键技术

也就是说

我们的视频超分技术

是以图像超分技术为基础的

而更多的会加入一些帧内冗余信息

接下来我们介绍一下

我们的超分辨率方法

经常用到的测试集

因为我们要去验证

我们构造出来的超分算法

是不是有效的

就要通过对一些标准测试图像的实验

来验证我们的算法性能

那么我们常用到的几种数据集

有以下三种

第一种Set5

这是包括5幅图像的一个数据集

还有Set14

这个数据集是包括了14幅图像

它的内容就更加丰富

包括了人以及植物动物等

还有一个BSDS

之所以叫BSDS

在这里

数据库有BSD100

BSD200等等

它里边的图像就更加丰富

有各种场景的图片

而且有各种不同分辨率的图片

供大家来测试

那么

讲过了我们的测试集

就需要讲一下

我们怎么去评价

我们的算法是不是有效

是不是比别人的算法更优

在这一块

主要包括两种评价

首先是主观评价

主观评价主要是根据人眼

观察图像的直观感受进行评价

因为不同个体

对同一幅图的认知

是有所不同的

所以这种评价方式

是受人类主观因素影响比较多的

会导致个体的差异性

我们的客观评价

是通过某种计算方式

来判断结果图像与原图像的相似性

因此来评估

我们重构算法的好坏

常用到的指标有峰值信噪比

也就是PSNR

还有图像的结构相似准则SSIM

首先我们来看一下

峰值信噪比的公式

峰值性造比的大小

有两幅图像

严格意义的误差

决定它的算法

如下面的两个式子

所表示

其中X是高分图象

Y为重构的高分图像

在这里我们需要求到的是

我们重构出来的高分图像

与原始的高分图像X之间的一个误差

但是这个PSNR

我们并没有考虑

人眼对图像的主观感知

有时候PSNR值很高的重构效果

可能人眼的主观效果并不理想

因此我们也要将视觉效果考虑进去

在这里我们就需要加入

结构相似度的评价指标

结构相似度是基于图像结构

信息降质模型

提出的一个判断准则

它通过对比两幅图像的亮度对比度

和一些结构信息的因素

来计算两幅图像的相似程度

咱们的计算公式

就如下面的式子所示

同样的X也是表示

原始的高分图像

Y则表示

我们恢复出来的高分图像

其他的指μX为X的像素均值

μY则为Y的像素均值

后面的则表示X和Y的协方差

它的取值范围

是在0~1之间进行取值

接下来我们第三部分

来介绍一下

常用到的超分辨率方法

常用的超分辨率方法

从这个概念被提出来之后

主要有以下的三种方法

第一种方法是插值法

这种插值法在图像放大因子

比较大的时候

它的效果不理想

不能够获取它的一些细节信息

但是计算比较简单

复杂度比较低

所以有时候也会被用到

第二种是基于重建的超分辨率方法

通过对图像降质模型的描述

以解方程的形式

来获取我们的高分辨率图像

这种方法较插值法效果好一些

但是也有不足之处

那么我们现在最常用的

是基于学习的超分辨率方法

下面我们具体看一下

基于学习的超分辨率方法的模型

首先我们看一下这个图

上面的框里边

对应的是

一系列的低分图像

和高分图像

这是我们已知的图像

那么我们来去分析

这些已知的低分图像

和高分图像之间的

一个映射关系

最后会得到一个数学的模型

也就是我们会求出来

映射关系是怎么样的

那么对于一幅

输入的待超分的低分图像

我们就根据映射关系

可以直接将这幅低分图像

恢复成高分图像

换句话说

我们基于学习的方法

是假设高分图像

与低分图像的特征空间

存在着某种对应的关系

而通过模型学习

两者之间的对应关系

对输入的低分图像

就使用学习到的映射关系

就可以重建出

我们未知的高分图像

而基于学习的方法

主要包括

基于例子的方法

邻域插值

以及支持向量回归

还有稀疏表示的方法

我们在后面几节要讲到的

基于压缩感知的超分方法

主要就是基于稀疏表示的一种方法

基于学习的方法

往往能恢复出比较细的纹理

但是因为很多高频信息

是通过外部训练学习的

结果图可能存在不真实的细节

在目前的研究当中

我们的众多学者

主要是聚焦于基于学习的方法

针对不同的应用

基于插值的方法

和基于重构的

也有着一些优点

也会被学者在一些简单

要求比较低的场合进行应用

以上就是我们这一节

关于超分辨率基础知识的一个

简单介绍

好 同学们再见