当前课程知识点：刑侦视频图像处理 > 第6章 图像检索技术 > 6.3VLAD特征编码 > 6.3VLAD特征编码
各位同学大家好
今天我们来一起学习
图像检索技术的第三个内容VLAD特征编码
这一部分内容包含三个知识点
第一是BoW特征的不足
第二是VLD特征的编码的方法
第三个是相似度比较
首先第一部分是BOW特征的不足
我们知道BOW特征的编码的策略是这样的
它把局部特征的个数累加到聚类中心上去
然后形成对图像的一个描述
这样编码的方式的话 它是一种硬编码
所以他对于信息损失比较严重
第二是它的精度如果要求高的话
它必须字典比较大 如果字典比较小的话
编码的误差就会特别明显
为了避免这样的一个不足
后面提出了一个VLAD的特征编码
它是一种基于特征差分的统计信息
其核心思想是汇聚或者说是累加
他通过汇聚或累加的这种方式
把这种误差给弥补过来
它特点是通过统计图像中
所有的特征与视觉单词之间的差分的和
尽可能将硬编码所导致丢失的损失给找回来
然后 VLAD方法它的基本的算法的流程是这样的
首先利用K-Means聚类去生成字典
这个就跟BoW是一样的
第二步它将每张图片里面的所有的特征
与最近的视觉单词进行差分
并对差分进行累加求和
最后的话它对累加后的VLAD进行一个
PCA降维 使其进行归一化 使它更加稀疏
然后下面我们来讲一下VLAD特征编码的
具体的一个流程
首先第一步它是搜索每个特征最近的视觉单词
对于图像里面的每一个特征
去搜索它的最近的视觉单词
然后它去计算每个特征到最近的视觉单词的差分
相当于是我们对于图像中的所有的特征
它都能跟它最近的一个视觉单词求得一个差分
然后反过来 它以这些视觉单词为基准
把这些所有的差分进行一个累加求和
这样子的话可以保证对于每一幅图像
它最终的VLAD特征编码是唯一的
这个结果就是对于每一幅图像的SIFT特征点
它可以聚合得到VLAD特征
这样的一个VLAD特征
它的维度就是K×128
K指的是图像里面的视觉单词的个数
比如下面两幅图像的VLAD特征编码
我们从图里面可以看出
它们的VLAD特征编码还是比较稀疏的
然后最后一个
我们得到了同样的VIAD特征编码之后
我们怎么去比较两个图的相似性
那就需要相似性度量
我们来看一下常见的相似性度量包含什么
常见的相似度量包含以下典型的几个
第一个是SSIM 这个是结构相似性度量
它是一种全参考的图像质量评价指标
分别从亮度 对比度 结构三个方面
来度量图像的相似性
SSIM它在图像去噪中用的比较多一点
它在图像检索里面几乎不用
第二类是基于互信息的
他是通过计算两个图像里面的互信息
来表示它们之间的相似性
而基于互信息的相似性度量
它在图像或者视频的编码算法中常见
第三类是基于直方图的图像相似性
因为直方图能够描述一幅图像中颜色的全局分布
它是一种比较入门的一个图像相似性度量方法
而且直方图比较直观
就跟我们前面 BoW或者VLAD
它们都是一种典型的
直方图的图像相似性度量方法
然后基于直方图的图像相似性度量方法的话
它们一般通过去计算直方图之间的距离
当然这种距离的话 是根据场景不同的话
它的距离计算方式不同的
典型的我们会用欧式距离 就是欧几里得距离
或者是马氏距离 或者是明可夫斯基地距离
然后是还有一些
我们在识别里面会常用的是余弦相似性距离等等
根据具体的应用场景不同
而选择不同的这样的一个相似性函数
当然在图像检索里面
欧式距离是最被普遍使用的
因为在图像检索里面
我们提取的直方图
它是每一个维度的量纲基本上一是一致的
好的 今天我们学习的VLAD特征
编码的内容就到此为止 谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
