6.3VLAD特征编码在线视频

各位同学大家好

今天我们来一起学习

图像检索技术的第三个内容VLAD特征编码

这一部分内容包含三个知识点

第一是BoW特征的不足

第二是VLD特征的编码的方法

第三个是相似度比较

首先第一部分是BOW特征的不足

我们知道BOW特征的编码的策略是这样的

它把局部特征的个数累加到聚类中心上去

然后形成对图像的一个描述

这样编码的方式的话 它是一种硬编码

所以他对于信息损失比较严重

第二是它的精度如果要求高的话

它必须字典比较大 如果字典比较小的话

编码的误差就会特别明显

为了避免这样的一个不足

后面提出了一个VLAD的特征编码

它是一种基于特征差分的统计信息

其核心思想是汇聚或者说是累加

他通过汇聚或累加的这种方式

把这种误差给弥补过来

它特点是通过统计图像中

所有的特征与视觉单词之间的差分的和

尽可能将硬编码所导致丢失的损失给找回来

然后 VLAD方法它的基本的算法的流程是这样的

首先利用K-Means聚类去生成字典

这个就跟BoW是一样的

第二步它将每张图片里面的所有的特征

与最近的视觉单词进行差分

并对差分进行累加求和

最后的话它对累加后的VLAD进行一个

PCA降维 使其进行归一化 使它更加稀疏

然后下面我们来讲一下VLAD特征编码的

具体的一个流程

首先第一步它是搜索每个特征最近的视觉单词

对于图像里面的每一个特征

去搜索它的最近的视觉单词

然后它去计算每个特征到最近的视觉单词的差分

相当于是我们对于图像中的所有的特征

它都能跟它最近的一个视觉单词求得一个差分

然后反过来 它以这些视觉单词为基准

把这些所有的差分进行一个累加求和

这样子的话可以保证对于每一幅图像

它最终的VLAD特征编码是唯一的

这个结果就是对于每一幅图像的SIFT特征点

它可以聚合得到VLAD特征

这样的一个VLAD特征

它的维度就是K×128

K指的是图像里面的视觉单词的个数

比如下面两幅图像的VLAD特征编码

我们从图里面可以看出

它们的VLAD特征编码还是比较稀疏的

然后最后一个

我们得到了同样的VIAD特征编码之后

我们怎么去比较两个图的相似性

那就需要相似性度量

我们来看一下常见的相似性度量包含什么

常见的相似度量包含以下典型的几个

第一个是SSIM 这个是结构相似性度量

它是一种全参考的图像质量评价指标

分别从亮度 对比度 结构三个方面

来度量图像的相似性

SSIM它在图像去噪中用的比较多一点

它在图像检索里面几乎不用

第二类是基于互信息的

他是通过计算两个图像里面的互信息

来表示它们之间的相似性

而基于互信息的相似性度量

它在图像或者视频的编码算法中常见

第三类是基于直方图的图像相似性

因为直方图能够描述一幅图像中颜色的全局分布

它是一种比较入门的一个图像相似性度量方法

而且直方图比较直观

就跟我们前面 BoW或者VLAD

它们都是一种典型的

直方图的图像相似性度量方法

然后基于直方图的图像相似性度量方法的话

它们一般通过去计算直方图之间的距离

当然这种距离的话 是根据场景不同的话

它的距离计算方式不同的

典型的我们会用欧式距离 就是欧几里得距离

或者是马氏距离 或者是明可夫斯基地距离

然后是还有一些

我们在识别里面会常用的是余弦相似性距离等等

根据具体的应用场景不同

而选择不同的这样的一个相似性函数

当然在图像检索里面

欧式距离是最被普遍使用的

因为在图像检索里面

我们提取的直方图

它是每一个维度的量纲基本上一是一致的

好的 今天我们学习的VLAD特征

编码的内容就到此为止 谢谢大家