3.2基于插值的图像超分辨率重建在线视频

同学们大家好

这一节我们学习

基于插值的图像超分辨率重建

我们的主要内容分为三部分

最近邻插值

双线性插值和双三次插值算法

图像插值是在基本模型框架下

从低分辨率图像

生成高分辨率图像的过程

用于恢复图像中所丢失的信息

最常用的图像插值方法有

最近邻插值，双线性插值

双立方差值以及其他高阶方法

最近邻插值和双线性插值算法

重建后的图像很容易出现锯齿现象

所以重建的图片质量不好

因此一般只在对图像质量

要求不高的场合下采用

双线性插值和双立方差值

实质上是低通滤波器

在增强图像平滑效果的同时

丢失了许多高频信息

而在刑侦应用中

往往图像的细节信息

才是非常重要的线索

因此在刑侦领域的应用中

需要考虑如何在保证平滑效果的

同时尽可能的保留细节信息

最近邻插值

是最简单的一种插值方法

不需要计算

在待求像素的四邻域当中

将距离待求像素最近的

像素灰度值赋给待求像素

假设原始图像尺寸为(M,N)

M是src,Nsrc

目标图像尺寸为Mdst和Ndst

则目标位置(xdst,ydst)对应

原图像的坐标(xsrc,ysrc)

可以由公式一得出

例如

将一个3x3的矩阵插值为4x4的矩阵

目标像素点为(4,1)的位置

在原图中的坐标

可由公式一计算得到

其值最后为(3,1)

因此像素点(4,1)所插入的值

为原图中像素点(3,1)的像素值122

另一个例子

目标像素点(1,3)的位置

在原始图像中坐标最后为(1,2)

因此像素点(1,3)所插入的值

为原图中像素点(1,2)的像素值30

以此类推

可以计算出目标图像

所有位置的像素值

最近邻插值算法计算量非常小

但可能会造成

插值生成的图像灰度上的不连续

在灰度变化的地方

可能出现明显的锯齿状

双线性插值又称为双线性内插

在数学上双线性插值是有

两个变量的插值函数的线性插值扩展

其核心思想是在

两个方向分别进行一次线性插值

其算法原理如图所示

假设已知函数f

在Q11,Q12,Q21,Q22四个点的值

现在想得到未知函数f在点p的值

首先需要在x方向上进行线性插值

由公式二可以得到fr1和fr2两个值

然后再在y方向进行线性插值

由公式三可以得到fp的值

这样就得到所要的结果f(x,y)

将公式二代入公式三中

整理可得公式四

但是公式四中

需要知道四个Q点的绝对位置

如果选择了Q点不同

则计算公式就不同

公式就不唯一

计算起来也相对麻烦

那么怎么才能标准化和简化计算呢

这就需要归一化

如果选择一个坐标系统

使得f的四个已知点的坐标

分别为(0,0),(0,1),(1,0)和(1,1)

那么差值公式就可以

简化为公式五

或者用矩阵的形式进行表示

表示为公式六 例如

例如

还是将刚才的3x3的矩阵

插值为4x4的矩阵

我们定义像素点的位置表示为xy

也就是说 x表示行数

y表示列数

那么(0，0)点的像素值是255

(0,1)点的像素值就是30

(1,0)点的像素值为100

以此类推

在matlab当中

为了使两个图像的几何中心重合

目标图像的每个像素之间

都是等间隔的

并且都和两边有一定的边距

因此

在计算对应的坐标的时候

将公式一改为了公式七

行和列都加入了0.5像素的修正

目标像素点

也就是绿色的点(2,3)

的位置在原图中的坐标

应用公式七

我们就可以计算出得到(0.625，1.375)

水平方向上可以得到

R1的位置是(0.625,1)

R2的位置是(0.625,2)

在这里需要提醒大家的是

在matlab当中

起始位置的坐标为(1,1)

因此在使用上述公式

进行计算的时候

应减一以后再代入公式计算

带入公式二和公式三

或者是公式五

我们就可以得到

蓝色的像素点的位置

fr1等于61.25，fr2等于8.25

绿色目标像素点的值fp最后为41.375

双线性插值能有效地

克服最近邻插值的马赛克现象

但是得到的高分辨率图像

在边缘等细节上仍是比较模糊的

双三次插值是

一种更加复杂的差值方式

它能创造出

比双线性插值更平滑的图像边缘

双三次插值方法

通常运用在一些图像处理软件

打印机驱动程序和数码相机当中

对原图像或原图像的

某个区域进行放大

双三次插值又称为立方卷积插值

该方法利用

以采样点为中心的

4x4邻域的16个已知像素点的

灰度值作为参考

然后在水平和垂直方向上

分别进行三阶插值

最后得到待插值像素点的灰度值

假设以粉色(i,j)为中心点

则黑点是原图像中相邻的16个像素

现在要求解位于以上16个像素点

邻域的红色星点(i+s,j+z)的像素值

双三次插值算法

首先在水平方向上求出像素点

(i+s,j-1),(i+s,j),(i+s,j+1)以及(i+s,j+2)的值

然后再根据上面求出的水平方向上

的四个像素值再求解出垂直方向上

的像素点，(i+s,j+z)的值

对于位置(i+s,j+z)的像素的灰度值

s代表行数偏差

z代表列数偏差

s和z都是不大于一的正浮点数

可以用公式九进行计算

其中rx是卷积内插公式

表示为公式十

不同的公式加权值不同

从而插值出的效果也不相同

由于双三次插值法不仅考虑到

四个直接相邻点的灰度值

而且考虑到各相邻像素间

灰度值的变化的影响

因此可以得到更接近

高分辨率图像的放大效果

但由此也导致了

运算量的急剧增加的弊端

双三次插值在图像放大过程

可以保留更多的图像细节

放大以后的图像带有反锯齿的功能

好

这一节我们就讲了

最常用的三种插值方法

这一节课的内容我们就讲到这里

谢谢大家