6.2词袋(BOW)特征描述在线视频

今天我们来学习

刑侦图像检索技术的

第二部分内容

词带特征描述

这一部分内容

主要包含三个知识点

第一是图像的特征提取

第二个是视觉单词的生成

第三是词带模型BOW的基本概念

首先图像特征提取

图像包含很多特征

比如说是最基本的属性特征

颜色直方图 颜色距

还有一类是纹理特征

比如说LBP GLCM

还有小波变换这样的纹理特征

第三类是空间关系特征

比如说是金字塔或者说是分块

第四类是形状特征

形状特征是目前图像特征里面

使用最普遍也是最广泛的一类特征

它包含的细节更丰富

比如说是下面这个图里面

给出了这个形状特征的一些典型的算法

然后在形状特征里面

有一类特征区域特征

里面的一个的SIFT特征

也就是尺度不变特征变换

SIFT它是在计算机视觉里面

目前 应用最为广泛 也最为稳定

也最为普遍的一类特征

SIFT特征是图像的一个局部特征

它对旋转尺度缩放亮度变换都具有不变性

同样它对视角仿射变换噪声也具有一定的稳定性

所以它被广泛使用

一个SIFT的特征的话

它是一个长度1*128维的一个向量

下面这个大雁塔图提取出来了

它里面的SIFT的特征

可以看出 每一个圆圈 都是一个SIFT的特征

所以说一幅图像里面 可以包含成千上万个SIFT特征

然后第二个知识点 就是视觉单词生成

我们知道一个文本的话 是由大量的单词来组成的

而一个单词 它描述的是一个文本语义

比如说下面这一首诗它有很多单词

比如说你 快乐 眉头 人生这样的一个单词来组成

类似的 一个图它是由很多图块组成的

而每个图块其实都可以用一个SIFT的特征来组成

类似的 其实我们就可以理解为

这样的一个图块就类似于我们文本里面的一个单词

我们把这样的图块称之为视觉单词

如果说是我们要去描述一个文档

我们就用很多单词来去把它组成起来

(同样)我们描述一个图

我们也可以用很多视觉单词来组成

所以说视觉单词的话对于描述图像就比较关键了

那么我们怎么去提取这样的一个视觉特征呢

下面就是第三个概念

视觉单词的生成是怎么生成的

视觉单词的生成的话 它一般是用聚类方法来产生的

比如说是这上面的一个图

图里面有好多的这样的一个局部的图像块

我通过聚类方法处理完之后

我们可以发现好多类似的内容

都可以聚集成一簇一簇

那么这么一簇的 他们的中心

就是相当于是我们的一个视觉单词

然后这样的聚类方法也很多

但是最典型的我们用K-Means来做聚类

对吧 K-Means的话是一个无监督的学习方法

它是根据数据的相似性将数据分为分到不同的组内

然后K-Means它使用簇内的均值向量来描述每个簇

我们假设给定样本的集D由X1到Xm组成

我们将这么多的样本分为K个簇

也就是K个类 那么K-means的目的就是

使簇类所有的样本到簇的质心

每一个小的聚集块之间的一个距离(和)最小

写成这样的一个目标函数的话就是

E等于求和的X-ui的这样的一个二范数最小化

然后K-Means的话它是一个迭代的过程

相当于说是 它初始化几个质心

然后对于所有的样本都去计算到质心的最近距离

然后去通过迭代更新使质心发生变化

最终达到质心稳定地到达每一个簇的中心

比如下面这个就是我用仿真的一个数据

三个 有三个视觉单词的这样的一个样本

我们初始化之后 初始化的质心可以是随机的

可以看到它不在簇的中心

我经过 K-Means的迭代更新之后

最终达到稳定 所有的质心都在簇的中心了

然后簇的中心的话

其实就是可以来描述图上的一个视觉单词

下一个概念就是

我们来通过视觉单词怎么去描述图像

这样都引出来一个概念词袋模型

我们也称之为BOW 词袋模型的话

它是指将图像表示成视觉单词的一个统计直方图

我们通过前面的这样的一个处理

我们可以将大量的图像块聚集成一个一个视觉单词

那么对于 女人 的图像

它是由很多图像块组成的

其实这一个图像块

都可以是用一个视觉单词来去描述它

我们把这个图里面的图像块

通过它对应的视觉单词来进行一个直方图的统计

就可以通过视觉单词的直方图来描述图像的内容

我们就相当于是把这个图像最终转化成一个直方图

这样的一个降维处理

对于不同的这样的一个图像

我们得到的直方图是不一样的

比如下面三个例子

分别是妇女 还有一个自行车 还有一个吉他

可以看出它们直方图的不同

是因为他们内容的不同

这样的话 我们通过直方图来去比对

就可以去得到 我们是什么样本

不同内容的图像

它所构成的这样的一个视觉单词的直方图是不同的

好的 今天我们讲的词袋模型就到此为止