当前课程知识点：刑侦视频图像处理 > 第3章 图像超分辨率重建技术 > 3.5基础知识介绍 > 3.5基础知识介绍
同学们大家好，
前几节课
毕老师已经给大家介绍了
一些超分辨率重建的基础概念。
那么在此基础上，
由我开始讲
第5节及后续部分。
我们主要是讲述一些
基于学习的超分辨率方法
首先这一节课
我们也进行一些
基础知识的介绍和回顾
具体来说就包括以下的三部分
首先我们进行一下
简单的背景介绍
第二部分
我们回顾一下
超分辨率的概念
第三部分
我们介绍一下
常用的超分辨率方法
首先我们来进行一下
相关的背景介绍
随着信息化时代的来临
咱们近10年的通信方式
已经发生了巨大的改变
之前我们的通信
主要是通过语音电话
文字短消息的形式来进行
而现在我们也看到了
我们更多的是通过图像的传输
以及我们视频通话
来进行进行通信
同时在除了通信以外的其他方面
图像、多媒体通信
也具有着广泛的应用
比如说我们的远程医疗
远程医疗
也就意味着我们的病人
没有必要
本人去到医院
让医生来观察
我们可以有一个微小的芯片
植入到病人体内
而医生就可以通过远程视频
调取这个芯片
所获取到的数据
来分析这个病人的病情是怎么样
很具体地
有针对性地
去关注他的病灶
从而给出一些诊断信息
同时在现阶段
用到比较多的是在线教学
这个也是很大程度上
用到了我们的多媒体通信
给我们的老师和学生
都带来了很大的便利
在我们的智能交通方面
我们的多媒体
也是应用比较广泛的
我们通过在道路上
进行摄像头的架设
可以从整体上
去控制我们的道路交通情况
去疏通我们的交通拥塞
同时在我们的行政领域
也可以通过一些图像处理
视频处理的手段
去获取我们想要的信息
从而能够帮助我们的公安系统
更快的去侦破一些案件
多媒体通信给我们的生活
以及工作
带来很大便利的同时
也会有一些问题存在
我们现在的传输带宽是有限的
而我们又希望
获得的是高清的图像
因为高清晰度的图像
对我们从图像当中
获取一些关键信息
是至关重要的
那么我们如何保证
图像的质量问题
这就是一个需要
我们下很大力气
去解决去研究的问题
从这幅图大家可以看到
左边的是我们原始的高分辨率图片
而经过一系列的变形模糊
以及下采样过程
我们最后接收到的
却是右边的这一幅分辨率比较低的图像
大家可以看到
左边这幅图像
我们可以看到
它角落里的一些
微小的东西
一些细节的信息
而在右边那些角落的东西
还有一些细小的细节
已经很难发现了
所以这也就是我们
要进行超分辨率研究的意义
我们需要从右边的低分图像
恢复到左边的高分图像
从而能够获取到一些关键的信息
那么
我们影响图像分辨率的因素
是哪些呢
采集环境肯定是会影响的
而成像设备
也会对分辨率
造成很大的影响
同时在传输当中的
传输带宽限制
也会很大程度的去降低图像的分辨率
具体来说包括大气扰动
气流波动天气原因
成像设备传感器尺寸问题
会影响到
以及不同的CMOS质量
还有系统噪声
物体移动
以及我们的带宽限制
都是造成我们图像分辨率降低的
因素
那么到底什么是超分辨率呢
之前毕老师已经给大家介绍过
我在这里再给大家回顾一下
简单来说
我们的图像超分辨率
就是Super-Resolution
简称SR
它可以视为
图像降质的一个逆问题
下面的这个框图
就是我们一个图像降质的流程图
在获取图像的过程当中
由于成像设备自身的限制
加上外部各种因素的干扰
导致实际获取到的图像
发生几何形变模糊等变化
分辨率不能满足应用需求
那么我们的从框图当中可以看到
通过这一系列的降质
包括运动以及模糊过程下采样过程
我们最终得到的图像
是低分辨率的图像
我们的超分辨率
就是需要从低分图像
恢复出高分图像
我们将刚刚降质过程框图
用数学形式公式化来表示
下面的式子
Y=DHFX+n
在这里
Y就是低分辨率图像
X就是高分辨率图像
也称为HR图像
D就表示下采样过程
H是模糊矩阵
F是形变矩阵
如果K>=2的时候
就是已知多幅亚像素位移的
低分辨率图像
来生成高分图像
若K=1
就是用单幅图像
来恢复高分图像
那么我们可以将上面这个式子
简化为下面的Y=MX+Ni
我们用来提高图像超分辨率方法
有哪几类呢
从软件或硬件角度来分
我们分为软件方法和硬件方法
硬件方法就是提高我们的设备的
单元感光面积
这种方法在成本上不容易实现
不能被广泛采用
因而我们更多的采用软件方法来实现
通过输入的低分辨率图像
通过机器学习优化理论
概率等数学工具
来达到我们从低分图像
恢复到高分图像的目的
那么我们用文字来描述一下
什么是超分辨率呢
首先就是将图像
在低分辨率网格空间中的像素点
在高分辨率空间中重新表示
算法的原理
主要是通过约束条件
求解重构的一个病态问题
也就是欠定的逆问题
同时我们根据输入信号源的不同
可以将超分辨率
分为图像超分技术
和视频超分技术
视频序列它本身就有着
更加丰富的冗余信息
序列前后帧提供的冗余信息
就成为了
视频SR技术研究的关键问题
视频超分算法
在提取帧内容与信息的过程
可以利用图像超分辨率算法中的
一些关键技术
也就是说
我们的视频超分技术
是以图像超分技术为基础的
而更多的会加入一些帧内冗余信息
接下来我们介绍一下
我们的超分辨率方法
经常用到的测试集
因为我们要去验证
我们构造出来的超分算法
是不是有效的
就要通过对一些标准测试图像的实验
来验证我们的算法性能
那么我们常用到的几种数据集
有以下三种
第一种Set5
这是包括5幅图像的一个数据集
还有Set14
这个数据集是包括了14幅图像
它的内容就更加丰富
包括了人以及植物动物等
还有一个BSDS
之所以叫BSDS
在这里
数据库有BSD100
BSD200等等
它里边的图像就更加丰富
有各种场景的图片
而且有各种不同分辨率的图片
供大家来测试
那么
讲过了我们的测试集
就需要讲一下
我们怎么去评价
我们的算法是不是有效
是不是比别人的算法更优
在这一块
主要包括两种评价
首先是主观评价
主观评价主要是根据人眼
观察图像的直观感受进行评价
因为不同个体
对同一幅图的认知
是有所不同的
所以这种评价方式
是受人类主观因素影响比较多的
会导致个体的差异性
我们的客观评价
是通过某种计算方式
来判断结果图像与原图像的相似性
因此来评估
我们重构算法的好坏
常用到的指标有峰值信噪比
也就是PSNR
还有图像的结构相似准则SSIM
首先我们来看一下
峰值信噪比的公式
峰值性造比的大小
有两幅图像
严格意义的误差
决定它的算法
如下面的两个式子
所表示
其中X是高分图象
Y为重构的高分图像
在这里我们需要求到的是
我们重构出来的高分图像
与原始的高分图像X之间的一个误差
但是这个PSNR
我们并没有考虑
人眼对图像的主观感知
有时候PSNR值很高的重构效果
可能人眼的主观效果并不理想
因此我们也要将视觉效果考虑进去
在这里我们就需要加入
结构相似度的评价指标
结构相似度是基于图像结构
信息降质模型
提出的一个判断准则
它通过对比两幅图像的亮度对比度
和一些结构信息的因素
来计算两幅图像的相似程度
咱们的计算公式
就如下面的式子所示
同样的X也是表示
原始的高分图像
Y则表示
我们恢复出来的高分图像
其他的指μX为X的像素均值
μY则为Y的像素均值
后面的则表示X和Y的协方差
它的取值范围
是在0~1之间进行取值
接下来我们第三部分
来介绍一下
常用到的超分辨率方法
常用的超分辨率方法
从这个概念被提出来之后
主要有以下的三种方法
第一种方法是插值法
这种插值法在图像放大因子
比较大的时候
它的效果不理想
不能够获取它的一些细节信息
但是计算比较简单
复杂度比较低
所以有时候也会被用到
第二种是基于重建的超分辨率方法
通过对图像降质模型的描述
以解方程的形式
来获取我们的高分辨率图像
这种方法较插值法效果好一些
但是也有不足之处
那么我们现在最常用的
是基于学习的超分辨率方法
下面我们具体看一下
基于学习的超分辨率方法的模型
首先我们看一下这个图
上面的框里边
对应的是
一系列的低分图像
和高分图像
这是我们已知的图像
那么我们来去分析
这些已知的低分图像
和高分图像之间的
一个映射关系
最后会得到一个数学的模型
也就是我们会求出来
映射关系是怎么样的
那么对于一幅
输入的待超分的低分图像
我们就根据映射关系
可以直接将这幅低分图像
恢复成高分图像
换句话说
我们基于学习的方法
是假设高分图像
与低分图像的特征空间
存在着某种对应的关系
而通过模型学习
两者之间的对应关系
对输入的低分图像
就使用学习到的映射关系
就可以重建出
我们未知的高分图像
而基于学习的方法
主要包括
基于例子的方法
邻域插值
以及支持向量回归
还有稀疏表示的方法
我们在后面几节要讲到的
基于压缩感知的超分方法
主要就是基于稀疏表示的一种方法
基于学习的方法
往往能恢复出比较细的纹理
但是因为很多高频信息
是通过外部训练学习的
结果图可能存在不真实的细节
在目前的研究当中
我们的众多学者
主要是聚焦于基于学习的方法
针对不同的应用
基于插值的方法
和基于重构的
也有着一些优点
也会被学者在一些简单
要求比较低的场合进行应用
以上就是我们这一节
关于超分辨率基础知识的一个
简单介绍
好 同学们再见
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
