当前课程知识点：刑侦视频图像处理 > 第2章 视频图像清晰化处理技术 > 2.2 光照不良图像增强处理（下） > 2.2 光照不良图像增强处理（下）
同学们大家好
我们现在继续学习
刑侦图像处理里面
光照不良图像增强处理技术
我们简单的回顾一下
在上一节的课里面
我们提到说目前
对于光照不良图像增强的方法
可以分为三类
第一类是Retinex模型类方法
第二类是直方图均衡化类的方法
第三类是基于深度学习类的方法
今天这节课
我们和大家一起来学习Retinex模型
以及它在光照不良图像
增强处理中的应用
大家都知道
一幅给定的图像
我们根据光照反射成像模型
可以把它分解成为光照图像
和反射图像两个分量
那么它的原理框图如下面所示
所以大家可以看到
说任何一个物体
我们能看到它
是因为它反射了入射光
它的反射的入射光
到达了我们观察者
我这样的话我们就能成像
所以我们说
我们把我们获取到的图像S(x,y)
可以它表示成为
反射分量R(x,y)和光照分量L(x,y)的乘积的形式
这就是我们著名的光照反射成像模型
他也是Retinex模型的基础
那么根据我们光照-反射成像模型
以我们这幅图为例
那么S(x,y)就是我们实际获取拍摄到的图像
它实际上我们可以看作
它是由光照图象L(x,y)
和反射图像R(x,y)的乘积构成的
所以我们也看到
这幅图里面
它是这样式的一个样
那么我们说三个分量
都如这个图所示
那么在光照-反射成像模型里
我们知道
我们的图像I(x,y)他是等于L(x,y)
和R(x,y)的乘积的形式
那么I(x,y)实际是什么呢
它实际上就是我们获取图像的强度信息
我们经常给它称为Intensity
它也就是我们实际上获取到的图像
那么它这里面的光照分量
L(x,y)它实际上对应了外界的光照
它是缓慢变化的部分
那么也是它同时
在图像里面
它对应的是什么？
是一个低频分量
因为它变化缓慢的
那么我们它里面的反射分量R(x,y)
它是一幅反射图像
反射图像是什么呢
通常代表图像里面高频信息
也就是说我们的一个细节层
那么这样是就可以把一幅图像
把它分解成两个部分
那么我们后来
也是分别对两个部分进行处理
得到我们增强之后的结果
那么如何分解一幅图像
在分解图像的时候
我们就涉及到了Retinex法
大家都知道
我们说一幅图像
可以看作是光照分量
和反射分量的乘积的形式
这里面的光照分量
对应的是什么
是它的低频的部分
而反射分量
它对应的是一个高频部分
我们现实生活拍的只有一幅图像
我们怎么样能把这一幅图像
给它分解成为光照分量和反射分量
相机本身没有这个功能
怎么办
我们通常是对原始图像做一个高斯滤波
然后滤波之后的结果
得到的就是我们图像分解后的结果
因为高斯滤波函数是个低通滤波器
那么得到的结果
它的低频部分
那么低频部分把用原始的图像
怎么办
除去低频部分
剩下的就是高频部分
也就是我们的反射分量
这就是我们最朴素的一个思想
那么Retinex模型的方法
也就是从这个思想来出发
对图像做增强的
目前Retinex方法
它常用的有两大类
第一类就是我们单尺度的Retinex
我们叫Single Scale Retinex （SSR）
还有一类
就是我们多尺度的Retinex
就是Multi-scale Retinex （MSR）
这是Retinex模型里面最常用的两种方法
那么这两种方法
优点是什么呢
它很好的把图像分解成为
高频分量和低频分量
而且还能对图像做增强处理
那么能改善低照度图像的质量
对于其他的光照不良的图像
也有非常好的处理效果
但是它的缺点也是有的
比如说它会造成光晕现象
在我们后续的学习的过程中
我们会学习到
那么大家在想
Retinex模型里面
无论是它的单尺度的Retinex
还是多尺度Retinex
它基本原理是什么样的呢
我们一起来学习一下
首先我们先看一下
单尺度Retinex算法
单尺度的Retinex算法
我们说一幅图像
可以分解成为高频分量
和低频分量的乘积的形式
那么这是在我们空间域
如果我们把这个表达式
给它两边
我给他全取Log
给它转化到对数域
会出现什么现象
空间域的乘法对应了对数域的加法
那么这样之后
我们把这个式子做变换
我们就可以把他的光照分量
Ri(x,y)它就等于原来的
原始图像I(x,y)的一个Log值
再减去了本来应该是我们R(x,y)那部分
我们光照分量
那么我们也说光照分量
相机又不会直接给你怎么办
我们是通过高斯滤波得到的
就是我们后边这个式子
Log倍的F(x,y)卷积上
Ii(x,y)从这个式子
我们也可以把这个式子再改写
右边的部分
我们说对数域的一个减法
两个对数相减同底的对数相减
可以看做什么
他们除的形式
我们做个变换
我们说
图像的反射分量 Ri(x,y)还可以写成
LogIi(x,y)比上F(x,y)再卷积上Ii(x,y)的除法的形式
那么大家再来看到
用一个滤波器F(x,y)对于我Ii(x,y)做卷积
我们给它记为
就是我们Ii(x,y)的估计值
这个里面的Ii(x,y)是什么呢
它就是我们在成像的过程中
每一个谱段所获取的图像
比如说
我们最常用的一个图像的色彩空间是什么
是 RGB色彩空间
那么这里面Ii(x,y)就分别对应了R通道 G通道和B通道
三个不同的波段所成的图像
那么这里I (x,y)本来他可以
称为是Retinex的输出
那也就是图像的一个反射分量
在整个的求解图像的
反射分量的过程中
我们需要对图像做低通滤波
用什么做实现的
就用我们后面高斯滤波器
来实现的高斯滤波器F(x,y)
后面等于K倍的
e的负的c平方分之x平方加y的平方
这是一个非常典型的高速滤波器
前面这个系数K是什么呢
它是一个归一化系数
它由后面这个式子来决定
也就是说它代表着
如果把F(x,y)在整个积分平面dx dy上它的和为1
这里面c是什么呢
c是一个非常重要的高斯环绕的尺度因子
也就是我们所说的尺度Scale
我们说单尺度的Retinex
和多尺度Retinex
针对c而言的
你用一个c值
那么它是单尺度的
如果你用了多个c值
那么就是多尺度的
好了
上面这个式子
就是我们Retinex输出
也就是通过Retinex模型
怎么样把一幅图像的
反射分量给它提取出来
用什么方法提取出来的
大家再回想一下
是利用高斯滤波的方法提出来的
那么我们大家来看一下我下面这个图
利用我们单尺度的Retinex方法
用不同的高斯因子c做处理得到的结果
现在这幅图是原始图像
然后我们用一个c=15
对图像做处理之后
它的结果如这幅图所示
大家看有什么变化
是不是亮度整体提升了
细节也凸显出来了
所以这是我们c我们再看
这个是c=80
来我们处理之后的结果
这个和上面有什么好处呢
是不是对比度有没有显著的提升
我们再看
这个是c=250之后的一个结果
在这个图里来讲的话
我们看虽然我们这个图
它处理之后的一个量度
不如c=15
但是我们它的对比度和细节
得到了显著的提升
我们只管感觉什么
是不是他的细节更好了
那么我们再来看
从c=15 80~250
不同的尺度因子
他处理的结果是各有侧重的
有的是侧重于亮度提升
有时侧重于对比度的提升
我们从这个图
我们再把三个尺度因子
处理之后的结果
放在一起来比对一下
就会发现
不同的尺度因子
确实是有不同的处理的效果
那么我们再举一组例子
这是一幅核磁共振的图像
然后我们这是用c=15处理
之后的结果
这是c=80处理之后的结果
这个是c=250处理之后的结果
所以我们来看一下
那么我们说有什么感受
你会发现
每一种不同的尺度因子
他所处理之后的结果是各有侧重
各有所长
那么我们把一组图像
把它们放在一起
三个不同的尺度因子处理的结果
看在这个图里
大家尤其要观察这个图里面最上边
我们组织表皮部分在c=15的时候
看得很清楚上边
但是到了c=250度会发现
最上面的人体表皮这部分
是不是已经看不清楚了
但c=250和c=15有什么优点呢
它的对比度会更好
所以我们就看出来了
不同的尺度因子
具有不同的处理结果
再看尺度因子
从小到大的过程中
我们会发现小的尺度因子
它的动态范围压缩效果好
那么大的尺子因子有什么好处
它的对比度提升的效果好
我们说取不同的尺度因子
就会它做一种均衡
那么我们如果要
既要它的动态范围
压缩的效果好
也让他的对比度
或者整体的细节变得更好
怎么办
因为我们就从单尺度Retinex
就是取一个尺度因子
想到什么
多个不同的尺度因子
相结合的形式
也就是我们多尺度的Retinex
那么多尺度Retinex
它的算法原理
如这个图所示
在这个里面同样
我们还以这个图像
反射分量的一个输出为例
这里记作Rmsri
我们输出里面第i个波段
通俗讲是什么
就是你R 或者G
或者B的某一个通道
它处理之后的结果
不再是单一的一个尺度因子的结果了
而是什么
我们大家看N从1~N我们取了什么
我们一个 倍的不同的尺度因子
处理之后结果的加权之后的加和的形式
那就这个式子所示
上面这个式子里面
N是无尺度因子的数量
你用了几个尺度因子
我们 是什么呢
它是每一个尺度因子所对应的一个权系数
根据我们经验值
我们通常而言
一般尺度因子都会取3
就是取3个尺度因子
这个时候
我们对于每一个尺度因子
它所得到的一个SSR的值
都赋予相同的权重
所以我们 =1/3
那么当然了
我们最常用的
对经验值而言
最常用的一个尺度因子的值
c分别等于15、80和250这样的取值
对于绝大部分图像而言
它都会取得最好的效果
那么大家也都知道
多尺度的Retinex算法
它实际上是什么
因为它能够做在
不同的尺度因子之间
做一种很好的均衡
换句话说回来
他怎么办
他就能博采众长
能取不同的尺度因子下的结果的优点
降低它的缺点
所以正是因为这个
多尺度的Retinex算法
比单尺度入Retinex算法有什么
有更好的动态范围压缩
和色调保持之间的一种均衡
那么处理之后的效果也更好
我们下面这幅图
最左边是原始图像
是不是光照不良
那么中间这幅图像是什么
它是我们用了单个尺度因子的
比如说 c=250
最右边图像是什么呢
是用了多尺度Retinex的结果
那么最右侧多尺度Retinex的结果
和中间的单尺度
Retinex结果相比较
大家看有什么好处
是不是动态范围压缩特征保持
效果取得最好的均衡
那么大家再来看一下
这是对于一些彩色图像而言
我们看一下它的处理前后的结果
最左边这一列是原始的输入图像
他们都是光照不良的图像
那么中间这一列
是我用单尺度Retinex算法
处理之后的结果
最右边这一列是
是我用多尺度的Retinex算法处理的结果
这比较一下做中间和最右这两个
两列就是两种不同算法的处理的结果
可以看出什么呢
我们可以看到多尺度的算法
总体而言它的处理效果
会比单尺度的Retinex算法
处理效果要好一些
好了
以上内容就是我们今天讲的
光照不良图像增强方法里面
非常典型的Retinex模型的方法
对于图像做增强处理它的原理
以及它的一些结果好
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
