4.3HDR图像获取—多曝光融合在线视频

同学们大家好

这一节我们来看一下

HDR图像获取

其中一种算法多曝光融合

主要内容包括

1 HDR图像获取方式分类

2 图像域的合成

这里图像域的合成

包括空间域合成

变换域合成

首先我们来看

HDR图像的获取方式分类

目前来获取高动态范围图像的方式

主要是基于软件合成的方法

也就是说

我们用普通的相机来拍摄出

多幅不同曝光的

低动态范围图像

然后利用这些图像的

冗余性和互补性

经过配准以后

再用相关的算法

在短时间内

几乎是实时的，这样一个效果

在短时间内

能够生成效果较好的HDR图像

这个方法

不仅可以用普通的图像采集设备

随意的拍摄自己感兴趣的

自然界中的场景

而且它所需要的成本比较低

可以更好的和实际应用需求结合起来

当前合成 hdr图像的方式

主要是分为两种

一种是

辐射域的亮度合成

一种是

图像域的亮度合成

在辐射域的亮度合成中

我们首先要计算相机的

相机响应曲线

然后计算权重图谱

然后进行合成

这时候合成的图像是

Hdr的图像

是高动态范围的图像

如果我们在对接普通的显示设备

所以这里要经过一个环节

色调映射 这么一个环节

然后就可以进行

在普通显示设备上显示了

而右侧的这一类算法

是图像域合成

它的算法比左侧的要简单一些

当多曝光图像获取之后

就可以计算它的权重

可以计算它的权重

权重计算好了之后

我们就可以合成图像

这时候合成的图像

它在本质上仍然是

8bit的图像

所以这时候

我们可以直接对接显示设备

不用再经过色调映射

这么一个环节

我们从这里

再强化一下

辐射域融合与空间域融合的区别

在辐射域融合的算法中

输入的是多张LDR图像

中间我合成了HDR

然后为了显示

仍然需要把它

再转化成LDR图像

是这样一个流程

而在空间域融合算法中

我的输入是多张LDR图像

经过一定的算法处理

我的输出仍然是LDR图像

在空间域融合的算法流程中间

没有生成HDR

接下来我们重点讲一下

图像域的合成方法

图像域合成方法

它的实质

我们要保留着多张LDR图像组里的

每一张中曝光最优部分

来直接合成一张图像

合成的图像

我们让它

需要保留场景的细节信息

同时它就损失了

一部分场景的动态范围

在这个算法中

不需要计算相机的响应曲线

而是直接对相同位置的像素

进行加权平均

来获得最终的HDR图像

那么每张图像

所对应的权重图谱

就决定了最终的感知特性

本质上来合成这张HDR图像

相当于HDR图像

经过色调映射后的 LDR图像

第二是图像与合成

图像域合成它分为空间域合成和

变化域合成

这里根据融合算法的不同

分为空间域合成

和变换域融合算法

算法流程如图所示

输入的是

多张的LDR图像

它可以通过变换域融合

也可以通过空间域融合

我们经过融合之后

得到了一个融合图像

也就是我们所要的

具有高动态范围场景的

一幅质量比较好的图像

我们通常也称为是HDR图像

在合成算法中

我们要考虑有没有运动目标

现在我们假设

在输入的这个图像序列中

是没有运动目标的

也就是说

图像中所有的物体

和目标都是静止的

接下来详细看一下

空间域合成HDR图像的算法

这里主要是对多曝光图像序列

基于一定的融合算子

融合策略

来生成HDR图像

合成后的图像

能够捕获实际场景中

更宽动态范围场景中的

这种物体的细节

它的算法流程如图所示

输入多张LDR图像

我们把多张 LDR图像他们的

R分量和G分量、B分量

分别提取出来

然后对每个分量

分别提取它的质量测度

用质量测度来确定

到底哪一块区域质量好

哪一块质量差

质量好的部分

我们给它较大的权重

质量差的部分

给它较小的权重

这样我们用权重系数

对初始的输入图像

进行加权融合

就得到了

融合后的图像

这时候融合的图像

在融合的过程中

会有一些

人工效应

会带来一些不衔接的地方

我们再需要进行平滑

这一部分

最后我们就输出了

高动态范围的图像

平滑的环节

可以对权重系数进行平滑

也可以对融合后的图像

经过平滑环节

然后再输出

这是做的一组仿真实验

我们选取了不同曝光的LDR图像

是用佳能相机拍摄的

它们的曝光时间是不相同的

相机的感光度相同

这样我们输入的是

4幅不同曝光的图像

接下来第二行是对应的

我们用一定的算法

所获取的图像的权重系数

每个像素

我们都对应有一个权重系数

从权重系数上我们也可以看到

在第一行中

细节比较丰富的部分

那么在第二行的权重系数中

就对应较大的数值

第一行中细节较差的部分

比如第三幅天空处那是全曝光

过曝光的情况

所对应的权重系数

全部都是0

这一部分我们是不要的

基于这种方式

我们用第二行的权重系数

对第一行的

不同曝光的图像

进行加权平均

我们就得到了最终的融合图像

可以看出最终的融合图像

相比较于

第一行的4幅图像

它的质量都更好

不仅把蓝天白云

比较亮处的

场景拍摄清晰了

而且把门帘窗户处

比较暗处的信息

也能够拍摄清晰

另外还有一种算法

是在变换域进行合成图像

这里我们以小波变换为例

用小波变换

来合成HDR图像

它的合成流程

这样多幅图像输进来之后

我们先对每幅图像

进行小波变换

小波变换之后

分别得到了

它的低频信息和高频信息

然后对不同图像的低频信息

选用一种融合策略进行融合

对不同图像的高频信息

同样用另一种策略进行融合

这样我们在小波域

对图像完成了融合的处理

接下来再进行逆变换

得到空间域的图像

大体流程是这样的

我们看一组实验

在这组实验中

我们在空间域的融合

是基于这样一种方式

我们采用

基于区域的均方差

和基于区域的均方差最大的

高频融合准则

进行了验证

左边这4幅图是输入的

不同曝光的图像序列

右侧是我们在小波域

进行融合之后的结果

从实验中也可以看出

融合后的结果

相比于前4幅图像

它的质量有明显提升

第3个问题我们要说明一下

如果拍摄的多曝光图像序列中

有运动目标

就如图所示输入的4幅图中

我们是有

人物

这种运动目标的

如果还采用刚才的方式进行融合

就会出现

后面的结果

在融合图像中

这个人物是重影出现的

这也称为是“鬼影”

或者是称为“伪影”

所以对于有运动目标的情况

我们需要用其他的算法

在对这种情况

对这种“伪影”进行去除

这又是一个专门的研究课题

好

这节课我们的主要内容

就讲到这个地方

谢谢大家