3.1图像超分辨率重建技术概述在线视频

各位同学大家好

这一节开始我们学习

图像超分辨率重建

这一节我们先来讲一讲

图像超分辨率重建技术概述

本节主要讲两部分内容

一

超分辨率重建的基本概念

二 观测模型

图像分辨率泛指

成像或显示系统对细节的

分辨能力

代表图像中存储的信息量

一般情况下

图像分辨率越高

图像中包含的细节越多

信息量也越大

图像分辨率分为空间分辨率

幅度分辨率和显示分辨率

这些分辨率的大小

都直接影响着图像的质量

空间分辨率是

每英寸图像内有多少个像素点

分辨率的单位为ppi

通常叫做像素每英寸

空间分辨率取决于采样过程

采样间隔的大小

直接决定了图像的空间分辨率

一般来说，图像越清晰

图像的分辨率越高

则采样间隔越小

幅度分辨率取决于量化过程

用于表示描述一个像素

所需的比特数

对于均匀量化来说

量化级数越多

则幅度分辨率越高。

常见的有8bit 16bit

32bit或64bit等

一幅8bit彩色图像

能表现二的八次方

也就是256个灰度级别

显示分辨率由显示器的性能来决定

它是指显示屏上能够

显示出的像素数目

例如显示分辨率为640*480

表示显示屏分为480行

每行640个像素

整个显示屏

包含了307200个显像点

屏幕能够显示的像素越多

说明显示设备的分辨率越高

显示的图像质量也就越高

只有当显示分辨率

大于等于空间分辨率

和幅度分辨率时

显示的图像才不会失真

图像空间分辨率和

幅度分辨率的变化

会对图像质量产生直接的影响

图像的质量一般随图像空间分辨率

幅度分辨率的增加而增加

图像超分辨率重建是一种

利用信号处理方法

由一帧或多帧低分辨率

的观测图像来获取高分辨率图像

或图像序列的技术

在国内外的一些文献中

也有将超分辨率重建

称为分辨率增强或

超分辨率复原技术

这一过程的实质是

增加重建图像的高频成分

和消除低分辨率成像过程中

产生的退化

其中通过多幅观测图像

重建高分辨率图像

简称为多帧图像超分辨率重建

或者称为图像序列超分辨率重建

而通过一幅观测图像

重建高分辨率图像

称为单帧图像超分辨率重建

多帧图像超分辨率重建利用

的是多帧图像之间的互补信息

通过在更高分辨率的网格中

进行信息融合

从而得到细节更多

分辨率更高的图像

单帧图像超分辨率重建

则是利用先验知识

重建高分辨率的图像

根据先验知识的种类

获取途径和使用方式

单帧图像超分辨率重建方法

可分为基于插值的方法

基于正则化的方法和

基于学习的方法等

目前绝大多数超分辨率重建

都是指空间分辨率重建

但也有部分研究将之扩展到

时间分辨率甚至光谱分辨率的层级

需要注意的是

图像超分辨率重建中

分辨率的高低并不等同于

像素数量的多少

例如

一个通过插值放大了四倍的图像

并不表示

它包含的细节增加了多少

图像超分辨率重建

关注的是恢复图像中

丢失的细节及高频信息

概括而言

按算法的输入输出不同的类型

组合超分辨率问题

可以分为几类子问题

输入为低分辨率图像

或者是

视频输出为单帧高分辨率图像

的超分辨率问题

我们把它称为基于重建的

超分辨率问题

输入与输出均为图像序列的

超分辨率问题

称为视频超分辨率问题

输入与输出均为单帧图像的

超分辨率问题称为

单帧图像超分辨率问题

也称为SISR问题

根据是否依赖训练样本

单帧图像超分辨率问题

又可以分为无样本的

增强边缘的超分辨率问题

和有训练样本的基于学习的

超分辨率问题两种

对于输入为单帧低分辨率图像

输出为图像序列的问题

由于其缺失的信息量太多

研究的实际意义不大

几乎没有相关的研究

基于学习的超分辨率算法

需要先构造低分辨率和

高分辨率图像样本库

通过学习样本库

得到低分辨率图像和

高分辨率图像的内在联系

从而指导图像超分辨率重建

基于学习的算法是

目前图像超分辨率处理领域中

研究较为热的一类方法

图像形成过程中

存在大气扰动、物体运动

散焦和噪声干扰等影响

图像超分辨率重建

首先需要分析这些因素

从而建立符合实际的

图像观测模型

Elad建立了高分辨率图像和

低分辨率图像之间的观测模型

高分辨率实际场景

经过了大气模糊、运动位移

镜头模糊、下采样和噪声干扰

从而产生了低分辨率场景图像

如公式一所示

F（x，y）是高分辨率现实场景

hk atm和hk cam分别表示

获取第k帧对应的大气模糊

和相机模糊的系统函数

Mk是对应第k帧图像的

位移运动函数

双*表示二维卷积

向下的箭头表示下采样

Vk(x,y)表示获取第k帧时的噪声

Gk(x,y)是带有模糊和噪声的

第k帧低分辨率图像

若只考虑单帧图像超分辨率重建问题

这时由于我们只观测到

一幅低分辨率图像

故无需考虑各帧之间的运动位移

单帧图像的观测模型

可以描述为公式二

公式三是其矩阵描述形式

F为高分辨率图像

D为下采样矩阵

Hcam和Hatm分别为相机模糊

和大气模糊矩阵

v表示噪声 g为低分辨率图像

若不考虑大气模糊

公式三可以简化为公式四

其中d和h分别表示

生成g所对应的下采样矩阵

和模糊矩阵

通过上述对观测模型的分析

我们知道

图像超分辨率重建问题的数学本质

是一个不适定逆问题的求解

什么是不适定逆问题呢

我们一般将低分辨率观测图像的

获取看成是一个正问题

即低分辨率观测图像是系统输出

而待重建的高分辨率目标图像

是系统的输入

那么重建高分辨率图像的过程

就是逆问题求解

另外

Hadamard给出了设定问题的定义

他说

对于任何输入数据

适定问题必须满足三个条件

一解存在 二解唯一 三解稳定

与此对应

不满足其中任何一个条件的问题

即称为不适定问题

图像超分辨率重建是

不适定问题有两方面的一个解释

一从物理方面

低分辨率观测图像获取过程中

成像系统相当于低通滤波器

使得图像中的高频细节丢失

而超分辨率重建的目标

就是估计出丢失的高频细节

但是对于低分辨率观测图像

其对应的高分辨率图像不是唯一的

因此 重建结果可以不唯一

即不能满足适定问题的解唯一条件

二 从数学方面

低分辨率观测图像获取过程中

经过了模糊

从数学方面分析

模糊过程导致问题是病态的

病态问题的解不稳定

违反了适定问题的解稳定条件

为了解决这个问题

超分辨率重建算法需要

结合图像的一些先验知识

对重建结果进行约束

从而恢复出图像获取时

丢失的高频信息

重建出最优的高分辨率图像

好

这一节课我们讲了

超分辨率重建的基本概念

以及它的观测模型

这一节我们就讲到这里

谢谢大家