6.4 基于小波变换的图像融合在线视频

我们来学习小波图像融合

小波变换（Wavelet transform, WT）

是一种新兴的数学分析方法

是近年来在图像处理中

受到十分重视的新技术

图像压缩特征检测

以及纹理分析的许多新方法

如多分辨率分析金字塔算法等

都最终归于小波变换的范畴中

本小节先介绍小波变换的基础知识

然后介绍小波变换图像融合的

基本理论和方法

首先我们简单地介绍一下

小波变换的基本原理

长久以来

傅立叶分析是信号数据处理的有力工具

待别是在频谱分析领域

无处不用到傅立叶分析

FT或FFT时域信号处理中

既有优点也有缺点

其优点是频域的分辩率高

缺点是在频域丢失了时间信息

而在时域又丢失了频率信息

另外傅里叶分析比较适于平稳信号

由于傅立叶变换反映的是

信号或函数的整体特征

而有些实际问题中

需要关心的却是

信号在局部范围中的特征

于是

为了弥补傅立叶变换这方面的不足

有人提出了窗口傅立叶变换的概念

Dennis Gabor于1946年

引入短时傅里叶变换（Short-time Fourier Transform）

短时傅里叶变换的基本思想是

把信号划分成许多小的时间间隔

用傅里叶变换分析每个时间间隔

以便确定该时间间隔存在的频率

短时傅立叶变换

确实可以反映函数

在窗口内部分的频率特性

因而能在一些需要研究信号的

局部性质的问题中起一定的作用

但短时博立叶变换窗口的尺寸

和形状与频率无关

而是固定不变的

这与高频信号的分辨率

应比低频信号高

频率愈高窗口应愈小等要求不符

因而窗口傅立叶变换

同样也显示出一些不足

为此它未能得到广泛应用与发展

为了克服上述缺陷

使用有限宽度基函数

进行变换的方法逐步发展起来了

这些基函数不仅在频率上

而且在位置上是变化的

它们是有限宽度的波

被称为小波(Wavelet)

基于它们的变换被称为小波变换

看图

显示了小波变换的时间尺度划分示意图

横轴是时间

纵轴是尺度

小波变换是对实际信号的时频局部化

其时频局部化是与频率高低密切相关的

在频率高的区域

时频局部化程度也高

这就是小波的变尺度特性

对于遥感图像来说

小波变换较好地解决了

二维空间和频率分辨率的矛盾

它巧妙地利用了非均匀分布的分辨率

在低频段用高的频率分辨率

和低的空间分辨率

在高频段则采用低的频率分辨率

和高的空间分辨率

1989年

Mallat在小波变换多分辨率分析理论

与图像处理的应用研究中

受到塔式算法的启发

提出了信号的塔式多分辨率分析

与重构的快速算法称为Mallat算法

本小节

只介绍二维数字图像的小波分解结果

不介绍其具体算法

感兴趣的读者可以参考相应的书籍

看图

原图f(x, y)经过第一层小波分解后

可以表示为由低低频（LL）

高低频（HL）

低高频（LH）

和高高频（HH）分量组成的

四个不同频段子图像（图（b））

同时它们的空间分辨率

降为原图像的1/2

对于第一层分解结果的低低频段图像

还可以进行下一层小波分解

结果表示在图（c）和图（d）中

也就是第二层分解

和第三层分解结果图像

这里展示的是遥感图像小波变换示例

原图是SPOT全色图像

我们看看

将其进行小波分解后的结果图像

这里展示的就是小波分解后的结果图像

左上角是低低频图像

它承接了原图像的亮度和纹理特征

但是图像像元的行列数

已经减少到原来的一半了

图像得到了压缩

其它的低高频高低频图像

分别在水平和垂直方向

显示了原图像纹理特征

这里展示了遥感图像的

多级离散小波变换

和逆离散小波变换的效果图像

图中SPOT遥感图像

根据Mallat算法分解为由低低频

高低频低高频和高高频分量

组成的四个不同频段子图像

其低低频段的图像的

空间分辨率降低到原来的一半

但它承袭了原始SPOT图像的

亮度和纹理特征

地物类型表达清晰可辨

反过来

利用小波分解得到的

四个子图像进行小波重构（逆离散小波变换）

依然可以

恢复和原始图像效果等同的效果

在上图基础上

对低低频段的子图像

继续进行第二级小波分解

效果如图展示

可以看出

在进行二级小波分解后

小波重构依然可以恢复原始图像的效果

低低频段子图像

具有不同空间分辨率层次上的图像亮度和纹理特征

对低低频段的子图像

继续进行第三级小波分解

在进行三级小波分解后

小波重构

依然可以恢复原始图像的效果

低低频段子图像

具有不同空间分辨率层次上的

图像亮度和纹理特征

我们继续对子图像进行第四级小波分解

我们可以看到

小波重构

依然可以恢复原始图像的效果

低低频段子图像

具有不同空间分辨率

对低低频段的子图像

继续进行第五级小波分解

在进行五级小波分解后

小波重构依然可以

恢复原始图像的效果

低低频段子图像

具有不同空间分辨率层次上的

图像亮度和纹理特征

这个图像相对于原图

得到了明显的图像压缩

这个低低频图像还可以继续分解！

小波变换的另外一个重要的应用是

图像压缩

它的特点是压缩比高

压缩速度快

压缩后能保持信号与图像的特征不变

基于小波分析的压缩方法很多

比较成功的有小波包最优基方法

小波域纹理模型方法

小波变换零树压缩

小波变换向量压缩等

我们来学习小波图像融合

小波图像融合的原理是什么呢？

与人眼视网膜在不同频带上

分别以不同算子

进行处理的原理相似

小波变换将源图像

分解得到一系列频率通道中

利用分解后的树结构

对不同分解层

不同频带分别进行融合处理

可有效地将来自不同图像的

细节融合在一起

以两幅源图像为例

图像融合过程可以表示为

在这个图上面 处理步骤主要包括三步

①源图AB分别进行小波变换（DWT）

得到分解后的子图像（小波系数矩阵）

②通过融合规则

将子图像不同特征分量进行处理

得到融合后的子图像（融合的小波系数矩阵）

③对融合后的子图像

进行逆变换（IDWT）

得到融合结果图像

由于小波变换具有多分辨等特点

原图像经过小波变换后

可以得到不同分辨率

不同频段的子图像

在这些子图像层次上

可以有效地将特征明显的图像

和分辨率高的图像融合在一起

因而小波变换可以在

图像融合领域发挥其积极作用

很明显

融合规则在融合处理中扮演了

一个重要的角色

在确定融合图像的每一个小波系数时

必须确定哪个源图的

小波系数对融合有利

这个信息将保留在融合决策图中

融合决策图的大小和源图的大小一致

融合决策图的每个值是源图的索引

它可以为相应的小波系数

提供较多的信息

这样就可以确定每个小波系数

这里展示了高分辨率图像和

多光谱图像融合决策示意图

在这个演示中

我们采用的是高分辨率图像的高频信息

包括高低频低高频和高高频信息

而多光谱图像我们使用的是低低频信息

通过融合决策和逆小波变换

得到优势互补的融合结果图像

我们来看看小波融合的处理流程

以全色图像和多光谱图像之间的

金字塔形小波融合为例

介绍其具体步骤

1.以高空间分辨率的全色图像为参考

对多光谱图像进行精确配准

2.将高空间分辨率的全色图像

多光谱图像（其中的一个波段）

分别进行小波变换

得到各个不同小波分解层次下的低低频

高低频低高频和

高高频分量（LLHLLHHH）

小波分解的层数应视原图像的特征而设定

3.采用高空间分辨率的

全色图像小波分解后的HL

LHHH 分量和多光谱图像

小波分解后的LL分量进行组合

4.将重新组合后的数据进行小波重构

生成融合结果图像

5.依次对多光谱图像的其他波段

进行小波融合

生成融合结果图像

最后将所有单个融合图像

组合成一个多波段融合结果图像

在实际应用中

我们也将小波变换和IHS变换

PCA等综合应用于图像融合

如图所示 具体的处理流程为

采用IHS变换进行光谱信息转换

先对多光谱图像进行IHS变换

然后利用高分辨率图像和

I分量进行小波融合

经IHS逆变换得到融合后的结果图像

这里展示的是小波图像融合示例

使用的原始数据是

北京昆明湖周边资源一号卫星影像

多光谱图像

另外全色图像是SPOT卫星全色图像

这里展示的是不同融合法的初步比较

左上是原多光谱图像

右上是小波融合结果图像

左下是IHS融合结果

右下是PCA融合结果

初步分析

不同融合方法的结果图像存在较大的差异

定性评价可以得出初步结论

更进一步的融合结果精度评价

需要开展定量分析