当前课程知识点：刑侦视频图像处理 > 第3章 图像超分辨率重建技术 > 3.1图像超分辨率重建技术概述 > 3.1图像超分辨率重建技术概述
各位同学大家好
这一节开始我们学习
图像超分辨率重建
这一节我们先来讲一讲
图像超分辨率重建技术概述
本节主要讲两部分内容
一
超分辨率重建的基本概念
二 观测模型
图像分辨率泛指
成像或显示系统对细节的
分辨能力
代表图像中存储的信息量
一般情况下
图像分辨率越高
图像中包含的细节越多
信息量也越大
图像分辨率分为空间分辨率
幅度分辨率和显示分辨率
这些分辨率的大小
都直接影响着图像的质量
空间分辨率是
每英寸图像内有多少个像素点
分辨率的单位为ppi
通常叫做像素每英寸
空间分辨率取决于采样过程
采样间隔的大小
直接决定了图像的空间分辨率
一般来说，图像越清晰
图像的分辨率越高
则采样间隔越小
幅度分辨率取决于量化过程
用于表示描述一个像素
所需的比特数
对于均匀量化来说
量化级数越多
则幅度分辨率越高。
常见的有8bit 16bit
32bit或64bit等
一幅8bit彩色图像
能表现二的八次方
也就是256个灰度级别
显示分辨率由显示器的性能来决定
它是指显示屏上能够
显示出的像素数目
例如显示分辨率为640*480
表示显示屏分为480行
每行640个像素
整个显示屏
包含了307200个显像点
屏幕能够显示的像素越多
说明显示设备的分辨率越高
显示的图像质量也就越高
只有当显示分辨率
大于等于空间分辨率
和幅度分辨率时
显示的图像才不会失真
图像空间分辨率和
幅度分辨率的变化
会对图像质量产生直接的影响
图像的质量一般随图像空间分辨率
幅度分辨率的增加而增加
图像超分辨率重建是一种
利用信号处理方法
由一帧或多帧低分辨率
的观测图像来获取高分辨率图像
或图像序列的技术
在国内外的一些文献中
也有将超分辨率重建
称为分辨率增强或
超分辨率复原技术
这一过程的实质是
增加重建图像的高频成分
和消除低分辨率成像过程中
产生的退化
其中通过多幅观测图像
重建高分辨率图像
简称为多帧图像超分辨率重建
或者称为图像序列超分辨率重建
而通过一幅观测图像
重建高分辨率图像
称为单帧图像超分辨率重建
多帧图像超分辨率重建利用
的是多帧图像之间的互补信息
通过在更高分辨率的网格中
进行信息融合
从而得到细节更多
分辨率更高的图像
单帧图像超分辨率重建
则是利用先验知识
重建高分辨率的图像
根据先验知识的种类
获取途径和使用方式
单帧图像超分辨率重建方法
可分为基于插值的方法
基于正则化的方法和
基于学习的方法等
目前绝大多数超分辨率重建
都是指空间分辨率重建
但也有部分研究将之扩展到
时间分辨率甚至光谱分辨率的层级
需要注意的是
图像超分辨率重建中
分辨率的高低并不等同于
像素数量的多少
例如
一个通过插值放大了四倍的图像
并不表示
它包含的细节增加了多少
图像超分辨率重建
关注的是恢复图像中
丢失的细节及高频信息
概括而言
按算法的输入输出不同的类型
组合超分辨率问题
可以分为几类子问题
输入为低分辨率图像
或者是
视频输出为单帧高分辨率图像
的超分辨率问题
我们把它称为基于重建的
超分辨率问题
输入与输出均为图像序列的
超分辨率问题
称为视频超分辨率问题
输入与输出均为单帧图像的
超分辨率问题称为
单帧图像超分辨率问题
也称为SISR问题
根据是否依赖训练样本
单帧图像超分辨率问题
又可以分为无样本的
增强边缘的超分辨率问题
和有训练样本的基于学习的
超分辨率问题两种
对于输入为单帧低分辨率图像
输出为图像序列的问题
由于其缺失的信息量太多
研究的实际意义不大
几乎没有相关的研究
基于学习的超分辨率算法
需要先构造低分辨率和
高分辨率图像样本库
通过学习样本库
得到低分辨率图像和
高分辨率图像的内在联系
从而指导图像超分辨率重建
基于学习的算法是
目前图像超分辨率处理领域中
研究较为热的一类方法
图像形成过程中
存在大气扰动、物体运动
散焦和噪声干扰等影响
图像超分辨率重建
首先需要分析这些因素
从而建立符合实际的
图像观测模型
Elad建立了高分辨率图像和
低分辨率图像之间的观测模型
高分辨率实际场景
经过了大气模糊、运动位移
镜头模糊、下采样和噪声干扰
从而产生了低分辨率场景图像
如公式一所示
F（x，y）是高分辨率现实场景
hk atm和hk cam分别表示
获取第k帧对应的大气模糊
和相机模糊的系统函数
Mk是对应第k帧图像的
位移运动函数
双*表示二维卷积
向下的箭头表示下采样
Vk(x,y)表示获取第k帧时的噪声
Gk(x,y)是带有模糊和噪声的
第k帧低分辨率图像
若只考虑单帧图像超分辨率重建问题
这时由于我们只观测到
一幅低分辨率图像
故无需考虑各帧之间的运动位移
单帧图像的观测模型
可以描述为公式二
公式三是其矩阵描述形式
F为高分辨率图像
D为下采样矩阵
Hcam和Hatm分别为相机模糊
和大气模糊矩阵
v表示噪声 g为低分辨率图像
若不考虑大气模糊
公式三可以简化为公式四
其中d和h分别表示
生成g所对应的下采样矩阵
和模糊矩阵
通过上述对观测模型的分析
我们知道
图像超分辨率重建问题的数学本质
是一个不适定逆问题的求解
什么是不适定逆问题呢
我们一般将低分辨率观测图像的
获取看成是一个正问题
即低分辨率观测图像是系统输出
而待重建的高分辨率目标图像
是系统的输入
那么重建高分辨率图像的过程
就是逆问题求解
另外
Hadamard给出了设定问题的定义
他说
对于任何输入数据
适定问题必须满足三个条件
一解存在 二解唯一 三解稳定
与此对应
不满足其中任何一个条件的问题
即称为不适定问题
图像超分辨率重建是
不适定问题有两方面的一个解释
一从物理方面
低分辨率观测图像获取过程中
成像系统相当于低通滤波器
使得图像中的高频细节丢失
而超分辨率重建的目标
就是估计出丢失的高频细节
但是对于低分辨率观测图像
其对应的高分辨率图像不是唯一的
因此 重建结果可以不唯一
即不能满足适定问题的解唯一条件
二 从数学方面
低分辨率观测图像获取过程中
经过了模糊
从数学方面分析
模糊过程导致问题是病态的
病态问题的解不稳定
违反了适定问题的解稳定条件
为了解决这个问题
超分辨率重建算法需要
结合图像的一些先验知识
对重建结果进行约束
从而恢复出图像获取时
丢失的高频信息
重建出最优的高分辨率图像
好
这一节课我们讲了
超分辨率重建的基本概念
以及它的观测模型
这一节我们就讲到这里
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
