当前课程知识点：刑侦视频图像处理 > 第4章 高动态范围（HDR)成像技术 > 4.3HDR图像获取—多曝光融合 > 4.3HDR图像获取—多曝光融合
同学们大家好
这一节我们来看一下
HDR图像获取
其中一种算法多曝光融合
主要内容包括
1 HDR图像获取方式分类
2 图像域的合成
这里图像域的合成
包括空间域合成
变换域合成
首先我们来看
HDR图像的获取方式分类
目前来获取高动态范围图像的方式
主要是基于软件合成的方法
也就是说
我们用普通的相机来拍摄出
多幅不同曝光的
低动态范围图像
然后利用这些图像的
冗余性和互补性
经过配准以后
再用相关的算法
在短时间内
几乎是实时的，这样一个效果
在短时间内
能够生成效果较好的HDR图像
这个方法
不仅可以用普通的图像采集设备
随意的拍摄自己感兴趣的
自然界中的场景
而且它所需要的成本比较低
可以更好的和实际应用需求结合起来
当前合成 hdr图像的方式
主要是分为两种
一种是
辐射域的亮度合成
一种是
图像域的亮度合成
在辐射域的亮度合成中
我们首先要计算相机的
相机响应曲线
然后计算权重图谱
然后进行合成
这时候合成的图像是
Hdr的图像
是高动态范围的图像
如果我们在对接普通的显示设备
所以这里要经过一个环节
色调映射 这么一个环节
然后就可以进行
在普通显示设备上显示了
而右侧的这一类算法
是图像域合成
它的算法比左侧的要简单一些
当多曝光图像获取之后
就可以计算它的权重
可以计算它的权重
权重计算好了之后
我们就可以合成图像
这时候合成的图像
它在本质上仍然是
8bit的图像
所以这时候
我们可以直接对接显示设备
不用再经过色调映射
这么一个环节
我们从这里
再强化一下
辐射域融合与空间域融合的区别
在辐射域融合的算法中
输入的是多张LDR图像
中间我合成了HDR
然后为了显示
仍然需要把它
再转化成LDR图像
是这样一个流程
而在空间域融合算法中
我的输入是多张LDR图像
经过一定的算法处理
我的输出仍然是LDR图像
在空间域融合的算法流程中间
没有生成HDR
接下来我们重点讲一下
图像域的合成方法
图像域合成方法
它的实质
我们要保留着多张LDR图像组里的
每一张中曝光最优部分
来直接合成一张图像
合成的图像
我们让它
需要保留场景的细节信息
同时它就损失了
一部分场景的动态范围
在这个算法中
不需要计算相机的响应曲线
而是直接对相同位置的像素
进行加权平均
来获得最终的HDR图像
那么每张图像
所对应的权重图谱
就决定了最终的感知特性
本质上来合成这张HDR图像
相当于HDR图像
经过色调映射后的 LDR图像
第二是图像与合成
图像域合成它分为空间域合成和
变化域合成
这里根据融合算法的不同
分为空间域合成
和变换域融合算法
算法流程如图所示
输入的是
多张的LDR图像
它可以通过变换域融合
也可以通过空间域融合
我们经过融合之后
得到了一个融合图像
也就是我们所要的
具有高动态范围场景的
一幅质量比较好的图像
我们通常也称为是HDR图像
在合成算法中
我们要考虑有没有运动目标
现在我们假设
在输入的这个图像序列中
是没有运动目标的
也就是说
图像中所有的物体
和目标都是静止的
接下来详细看一下
空间域合成HDR图像的算法
这里主要是对多曝光图像序列
基于一定的融合算子
融合策略
来生成HDR图像
合成后的图像
能够捕获实际场景中
更宽动态范围场景中的
这种物体的细节
它的算法流程如图所示
输入多张LDR图像
我们把多张 LDR图像他们的
R分量和G分量、B分量
分别提取出来
然后对每个分量
分别提取它的质量测度
用质量测度来确定
到底哪一块区域质量好
哪一块质量差
质量好的部分
我们给它较大的权重
质量差的部分
给它较小的权重
这样我们用权重系数
对初始的输入图像
进行加权融合
就得到了
融合后的图像
这时候融合的图像
在融合的过程中
会有一些
人工效应
会带来一些不衔接的地方
我们再需要进行平滑
这一部分
最后我们就输出了
高动态范围的图像
平滑的环节
可以对权重系数进行平滑
也可以对融合后的图像
经过平滑环节
然后再输出
这是做的一组仿真实验
我们选取了不同曝光的LDR图像
是用佳能相机拍摄的
它们的曝光时间是不相同的
相机的感光度相同
这样我们输入的是
4幅不同曝光的图像
接下来第二行是对应的
我们用一定的算法
所获取的图像的权重系数
每个像素
我们都对应有一个权重系数
从权重系数上我们也可以看到
在第一行中
细节比较丰富的部分
那么在第二行的权重系数中
就对应较大的数值
第一行中细节较差的部分
比如第三幅天空处那是全曝光
过曝光的情况
所对应的权重系数
全部都是0
这一部分我们是不要的
基于这种方式
我们用第二行的权重系数
对第一行的
不同曝光的图像
进行加权平均
我们就得到了最终的融合图像
可以看出最终的融合图像
相比较于
第一行的4幅图像
它的质量都更好
不仅把蓝天白云
比较亮处的
场景拍摄清晰了
而且把门帘窗户处
比较暗处的信息
也能够拍摄清晰
另外还有一种算法
是在变换域进行合成图像
这里我们以小波变换为例
用小波变换
来合成HDR图像
它的合成流程
这样多幅图像输进来之后
我们先对每幅图像
进行小波变换
小波变换之后
分别得到了
它的低频信息和高频信息
然后对不同图像的低频信息
选用一种融合策略进行融合
对不同图像的高频信息
同样用另一种策略进行融合
这样我们在小波域
对图像完成了融合的处理
接下来再进行逆变换
得到空间域的图像
大体流程是这样的
我们看一组实验
在这组实验中
我们在空间域的融合
是基于这样一种方式
我们采用
基于区域的均方差
和基于区域的均方差最大的
高频融合准则
进行了验证
左边这4幅图是输入的
不同曝光的图像序列
右侧是我们在小波域
进行融合之后的结果
从实验中也可以看出
融合后的结果
相比于前4幅图像
它的质量有明显提升
第3个问题我们要说明一下
如果拍摄的多曝光图像序列中
有运动目标
就如图所示输入的4幅图中
我们是有
人物
这种运动目标的
如果还采用刚才的方式进行融合
就会出现
后面的结果
在融合图像中
这个人物是重影出现的
这也称为是“鬼影”
或者是称为“伪影”
所以对于有运动目标的情况
我们需要用其他的算法
在对这种情况
对这种“伪影”进行去除
这又是一个专门的研究课题
好
这节课我们的主要内容
就讲到这个地方
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
