当前课程知识点：刑侦视频图像处理 > 第3章 图像超分辨率重建技术 > 3.2基于插值的图像超分辨率重建 > 3.2基于插值的图像超分辨率重建
同学们大家好
这一节我们学习
基于插值的图像超分辨率重建
我们的主要内容分为三部分
最近邻插值
双线性插值和双三次插值算法
图像插值是在基本模型框架下
从低分辨率图像
生成高分辨率图像的过程
用于恢复图像中所丢失的信息
最常用的图像插值方法有
最近邻插值，双线性插值
双立方差值以及其他高阶方法
最近邻插值和双线性插值算法
重建后的图像很容易出现锯齿现象
所以重建的图片质量不好
因此一般只在对图像质量
要求不高的场合下采用
双线性插值和双立方差值
实质上是低通滤波器
在增强图像平滑效果的同时
丢失了许多高频信息
而在刑侦应用中
往往图像的细节信息
才是非常重要的线索
因此在刑侦领域的应用中
需要考虑如何在保证平滑效果的
同时尽可能的保留细节信息
最近邻插值
是最简单的一种插值方法
不需要计算
在待求像素的四邻域当中
将距离待求像素最近的
像素灰度值赋给待求像素
假设原始图像尺寸为(M,N)
M是src,Nsrc
目标图像尺寸为Mdst和Ndst
则目标位置(xdst,ydst)对应
原图像的坐标(xsrc,ysrc)
可以由公式一得出
例如
将一个3x3的矩阵插值为4x4的矩阵
目标像素点为(4,1)的位置
在原图中的坐标
可由公式一计算得到
其值最后为(3,1)
因此像素点(4,1)所插入的值
为原图中像素点(3,1)的像素值122
另一个例子
目标像素点(1,3)的位置
在原始图像中坐标最后为(1,2)
因此像素点(1,3)所插入的值
为原图中像素点(1,2)的像素值30
以此类推
可以计算出目标图像
所有位置的像素值
最近邻插值算法计算量非常小
但可能会造成
插值生成的图像灰度上的不连续
在灰度变化的地方
可能出现明显的锯齿状
双线性插值又称为双线性内插
在数学上双线性插值是有
两个变量的插值函数的线性插值扩展
其核心思想是在
两个方向分别进行一次线性插值
其算法原理如图所示
假设已知函数f
在Q11,Q12,Q21,Q22四个点的值
现在想得到未知函数f在点p的值
首先需要在x方向上进行线性插值
由公式二可以得到fr1和fr2两个值
然后再在y方向进行线性插值
由公式三可以得到fp的值
这样就得到所要的结果f(x,y)
将公式二代入公式三中
整理可得公式四
但是公式四中
需要知道四个Q点的绝对位置
如果选择了Q点不同
则计算公式就不同
公式就不唯一
计算起来也相对麻烦
那么怎么才能标准化和简化计算呢
这就需要归一化
如果选择一个坐标系统
使得f的四个已知点的坐标
分别为(0,0),(0,1),(1,0)和(1,1)
那么差值公式就可以
简化为公式五
或者用矩阵的形式进行表示
表示为公式六 例如
例如
还是将刚才的3x3的矩阵
插值为4x4的矩阵
我们定义像素点的位置表示为xy
也就是说 x表示行数
y表示列数
那么(0，0)点的像素值是255
(0,1)点的像素值就是30
(1,0)点的像素值为100
以此类推
在matlab当中
为了使两个图像的几何中心重合
目标图像的每个像素之间
都是等间隔的
并且都和两边有一定的边距
因此
在计算对应的坐标的时候
将公式一改为了公式七
行和列都加入了0.5像素的修正
目标像素点
也就是绿色的点(2,3)
的位置在原图中的坐标
应用公式七
我们就可以计算出得到(0.625，1.375)
水平方向上可以得到
R1的位置是(0.625,1)
R2的位置是(0.625,2)
在这里需要提醒大家的是
在matlab当中
起始位置的坐标为(1,1)
因此在使用上述公式
进行计算的时候
应减一以后再代入公式计算
带入公式二和公式三
或者是公式五
我们就可以得到
蓝色的像素点的位置
fr1等于61.25，fr2等于8.25
绿色目标像素点的值fp最后为41.375
双线性插值能有效地
克服最近邻插值的马赛克现象
但是得到的高分辨率图像
在边缘等细节上仍是比较模糊的
双三次插值是
一种更加复杂的差值方式
它能创造出
比双线性插值更平滑的图像边缘
双三次插值方法
通常运用在一些图像处理软件
打印机驱动程序和数码相机当中
对原图像或原图像的
某个区域进行放大
双三次插值又称为立方卷积插值
该方法利用
以采样点为中心的
4x4邻域的16个已知像素点的
灰度值作为参考
然后在水平和垂直方向上
分别进行三阶插值
最后得到待插值像素点的灰度值
假设以粉色(i,j)为中心点
则黑点是原图像中相邻的16个像素
现在要求解位于以上16个像素点
邻域的红色星点(i+s,j+z)的像素值
双三次插值算法
首先在水平方向上求出像素点
(i+s,j-1),(i+s,j),(i+s,j+1)以及(i+s,j+2)的值
然后再根据上面求出的水平方向上
的四个像素值再求解出垂直方向上
的像素点，(i+s,j+z)的值
对于位置(i+s,j+z)的像素的灰度值
s代表行数偏差
z代表列数偏差
s和z都是不大于一的正浮点数
可以用公式九进行计算
其中rx是卷积内插公式
表示为公式十
不同的公式加权值不同
从而插值出的效果也不相同
由于双三次插值法不仅考虑到
四个直接相邻点的灰度值
而且考虑到各相邻像素间
灰度值的变化的影响
因此可以得到更接近
高分辨率图像的放大效果
但由此也导致了
运算量的急剧增加的弊端
双三次插值在图像放大过程
可以保留更多的图像细节
放大以后的图像带有反锯齿的功能
好
这一节我们就讲了
最常用的三种插值方法
这一节课的内容我们就讲到这里
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题