2.2 光照不良图像增强处理（下）在线视频

同学们大家好

我们现在继续学习

刑侦图像处理里面

光照不良图像增强处理技术

我们简单的回顾一下

在上一节的课里面

我们提到说目前

对于光照不良图像增强的方法

可以分为三类

第一类是Retinex模型类方法

第二类是直方图均衡化类的方法

第三类是基于深度学习类的方法

今天这节课

我们和大家一起来学习Retinex模型

以及它在光照不良图像

增强处理中的应用

大家都知道

一幅给定的图像

我们根据光照反射成像模型

可以把它分解成为光照图像

和反射图像两个分量

那么它的原理框图如下面所示

所以大家可以看到

说任何一个物体

我们能看到它

是因为它反射了入射光

它的反射的入射光

到达了我们观察者

我这样的话我们就能成像

所以我们说

我们把我们获取到的图像S(x,y)

可以它表示成为

反射分量R(x,y)和光照分量L(x,y)的乘积的形式

这就是我们著名的光照反射成像模型

他也是Retinex模型的基础

那么根据我们光照-反射成像模型

以我们这幅图为例

那么S(x,y)就是我们实际获取拍摄到的图像

它实际上我们可以看作

它是由光照图象L(x,y)

和反射图像R(x,y)的乘积构成的

所以我们也看到

这幅图里面

它是这样式的一个样

那么我们说三个分量

都如这个图所示

那么在光照-反射成像模型里

我们知道

我们的图像I(x,y)他是等于L(x,y)

和R(x,y)的乘积的形式

那么I(x,y)实际是什么呢

它实际上就是我们获取图像的强度信息

我们经常给它称为Intensity

它也就是我们实际上获取到的图像

那么它这里面的光照分量

L(x,y)它实际上对应了外界的光照

它是缓慢变化的部分

那么也是它同时

在图像里面

它对应的是什么？

是一个低频分量

因为它变化缓慢的

那么我们它里面的反射分量R(x,y)

它是一幅反射图像

反射图像是什么呢

通常代表图像里面高频信息

也就是说我们的一个细节层

那么这样是就可以把一幅图像

把它分解成两个部分

那么我们后来

也是分别对两个部分进行处理

得到我们增强之后的结果

那么如何分解一幅图像

在分解图像的时候

我们就涉及到了Retinex法

大家都知道

我们说一幅图像

可以看作是光照分量

和反射分量的乘积的形式

这里面的光照分量

对应的是什么

是它的低频的部分

而反射分量

它对应的是一个高频部分

我们现实生活拍的只有一幅图像

我们怎么样能把这一幅图像

给它分解成为光照分量和反射分量

相机本身没有这个功能

怎么办

我们通常是对原始图像做一个高斯滤波

然后滤波之后的结果

得到的就是我们图像分解后的结果

因为高斯滤波函数是个低通滤波器

那么得到的结果

它的低频部分

那么低频部分把用原始的图像

怎么办

除去低频部分

剩下的就是高频部分

也就是我们的反射分量

这就是我们最朴素的一个思想

那么Retinex模型的方法

也就是从这个思想来出发

对图像做增强的

目前Retinex方法

它常用的有两大类

第一类就是我们单尺度的Retinex

我们叫Single Scale Retinex （SSR）

还有一类

就是我们多尺度的Retinex

就是Multi-scale Retinex （MSR）

这是Retinex模型里面最常用的两种方法

那么这两种方法

优点是什么呢

它很好的把图像分解成为

高频分量和低频分量

而且还能对图像做增强处理

那么能改善低照度图像的质量

对于其他的光照不良的图像

也有非常好的处理效果

但是它的缺点也是有的

比如说它会造成光晕现象

在我们后续的学习的过程中

我们会学习到

那么大家在想

Retinex模型里面

无论是它的单尺度的Retinex

还是多尺度Retinex

它基本原理是什么样的呢

我们一起来学习一下

首先我们先看一下

单尺度Retinex算法

单尺度的Retinex算法

我们说一幅图像

可以分解成为高频分量

和低频分量的乘积的形式

那么这是在我们空间域

如果我们把这个表达式

给它两边

我给他全取Log

给它转化到对数域

会出现什么现象

空间域的乘法对应了对数域的加法

那么这样之后

我们把这个式子做变换

我们就可以把他的光照分量

Ri(x,y)它就等于原来的

原始图像I(x,y)的一个Log值

再减去了本来应该是我们R(x,y)那部分

我们光照分量

那么我们也说光照分量

相机又不会直接给你怎么办

我们是通过高斯滤波得到的

就是我们后边这个式子

Log倍的F(x,y)卷积上

Ii(x,y)从这个式子

我们也可以把这个式子再改写

右边的部分

我们说对数域的一个减法

两个对数相减同底的对数相减

可以看做什么

他们除的形式

我们做个变换

我们说

图像的反射分量 Ri(x,y)还可以写成

LogIi(x,y)比上F(x,y)再卷积上Ii(x,y)的除法的形式

那么大家再来看到

用一个滤波器F(x,y)对于我Ii(x,y)做卷积

我们给它记为

就是我们Ii(x,y)的估计值

这个里面的Ii(x,y)是什么呢

它就是我们在成像的过程中

每一个谱段所获取的图像

比如说

我们最常用的一个图像的色彩空间是什么

是 RGB色彩空间

那么这里面Ii(x,y)就分别对应了R通道 G通道和B通道

三个不同的波段所成的图像

那么这里I (x,y)本来他可以

称为是Retinex的输出

那也就是图像的一个反射分量

在整个的求解图像的

反射分量的过程中

我们需要对图像做低通滤波

用什么做实现的

就用我们后面高斯滤波器

来实现的高斯滤波器F(x,y)

后面等于K倍的

e的负的c平方分之x平方加y的平方

这是一个非常典型的高速滤波器

前面这个系数K是什么呢

它是一个归一化系数

它由后面这个式子来决定

也就是说它代表着

如果把F(x,y)在整个积分平面dx dy上它的和为1

这里面c是什么呢

c是一个非常重要的高斯环绕的尺度因子

也就是我们所说的尺度Scale

我们说单尺度的Retinex

和多尺度Retinex

针对c而言的

你用一个c值

那么它是单尺度的

如果你用了多个c值

那么就是多尺度的

好了

上面这个式子

就是我们Retinex输出

也就是通过Retinex模型

怎么样把一幅图像的

反射分量给它提取出来

用什么方法提取出来的

大家再回想一下

是利用高斯滤波的方法提出来的

那么我们大家来看一下我下面这个图

利用我们单尺度的Retinex方法

用不同的高斯因子c做处理得到的结果

现在这幅图是原始图像

然后我们用一个c=15

对图像做处理之后

它的结果如这幅图所示

大家看有什么变化

是不是亮度整体提升了

细节也凸显出来了

所以这是我们c我们再看

这个是c=80

来我们处理之后的结果

这个和上面有什么好处呢

是不是对比度有没有显著的提升

我们再看

这个是c=250之后的一个结果

在这个图里来讲的话

我们看虽然我们这个图

它处理之后的一个量度

不如c=15

但是我们它的对比度和细节

得到了显著的提升

我们只管感觉什么

是不是他的细节更好了

那么我们再来看

从c=15 80~250

不同的尺度因子

他处理的结果是各有侧重的

有的是侧重于亮度提升

有时侧重于对比度的提升

我们从这个图

我们再把三个尺度因子

处理之后的结果

放在一起来比对一下

就会发现

不同的尺度因子

确实是有不同的处理的效果

那么我们再举一组例子

这是一幅核磁共振的图像

然后我们这是用c=15处理

之后的结果

这是c=80处理之后的结果

这个是c=250处理之后的结果

所以我们来看一下

那么我们说有什么感受

你会发现

每一种不同的尺度因子

他所处理之后的结果是各有侧重

各有所长

那么我们把一组图像

把它们放在一起

三个不同的尺度因子处理的结果

看在这个图里

大家尤其要观察这个图里面最上边

我们组织表皮部分在c=15的时候

看得很清楚上边

但是到了c=250度会发现

最上面的人体表皮这部分

是不是已经看不清楚了

但c=250和c=15有什么优点呢

它的对比度会更好

所以我们就看出来了

不同的尺度因子

具有不同的处理结果

再看尺度因子

从小到大的过程中

我们会发现小的尺度因子

它的动态范围压缩效果好

那么大的尺子因子有什么好处

它的对比度提升的效果好

我们说取不同的尺度因子

就会它做一种均衡

那么我们如果要

既要它的动态范围

压缩的效果好

也让他的对比度

或者整体的细节变得更好

怎么办

因为我们就从单尺度Retinex

就是取一个尺度因子

想到什么

多个不同的尺度因子

相结合的形式

也就是我们多尺度的Retinex

那么多尺度Retinex

它的算法原理

如这个图所示

在这个里面同样

我们还以这个图像

反射分量的一个输出为例

这里记作Rmsri

我们输出里面第i个波段

通俗讲是什么

就是你R 或者G

或者B的某一个通道

它处理之后的结果

不再是单一的一个尺度因子的结果了

而是什么

我们大家看N从1~N我们取了什么

我们一个 倍的不同的尺度因子

处理之后结果的加权之后的加和的形式

那就这个式子所示

上面这个式子里面

N是无尺度因子的数量

你用了几个尺度因子

我们 是什么呢

它是每一个尺度因子所对应的一个权系数

根据我们经验值

我们通常而言

一般尺度因子都会取3

就是取3个尺度因子

这个时候

我们对于每一个尺度因子

它所得到的一个SSR的值

都赋予相同的权重

所以我们 =1/3

那么当然了

我们最常用的

对经验值而言

最常用的一个尺度因子的值

c分别等于15、80和250这样的取值

对于绝大部分图像而言

它都会取得最好的效果

那么大家也都知道

多尺度的Retinex算法

它实际上是什么

因为它能够做在

不同的尺度因子之间

做一种很好的均衡

换句话说回来

他怎么办

他就能博采众长

能取不同的尺度因子下的结果的优点

降低它的缺点

所以正是因为这个

多尺度的Retinex算法

比单尺度入Retinex算法有什么

有更好的动态范围压缩

和色调保持之间的一种均衡

那么处理之后的效果也更好

我们下面这幅图

最左边是原始图像

是不是光照不良

那么中间这幅图像是什么

它是我们用了单个尺度因子的

比如说 c=250

最右边图像是什么呢

是用了多尺度Retinex的结果

那么最右侧多尺度Retinex的结果

和中间的单尺度

Retinex结果相比较

大家看有什么好处

是不是动态范围压缩特征保持

效果取得最好的均衡

那么大家再来看一下

这是对于一些彩色图像而言

我们看一下它的处理前后的结果

最左边这一列是原始的输入图像

他们都是光照不良的图像

那么中间这一列

是我用单尺度Retinex算法

处理之后的结果

最右边这一列是

是我用多尺度的Retinex算法处理的结果

这比较一下做中间和最右这两个

两列就是两种不同算法的处理的结果

可以看出什么呢

我们可以看到多尺度的算法

总体而言它的处理效果

会比单尺度的Retinex算法

处理效果要好一些

好了

以上内容就是我们今天讲的

光照不良图像增强方法里面

非常典型的Retinex模型的方法

对于图像做增强处理它的原理

以及它的一些结果好

谢谢大家