12.4真实案件智能串并的实现在线视频

同学们

大家好

今天我们继续讲述

案件的智能串并

这节课

是案件智能串并的第四节课

上一节课

我们分析了实际数据的一些特点

为此提出了

实现案件串并的一些策略和方案

今天

我们就来看一下

真实的实现一个案件串并

所要进行的一些具体的操作

案件的数据化模块

即完成了案件原始现勘数据

处理为计算机可以处理的数据包

案件的现勘数据特点呢

它具有多模态性

场景非常复杂

目标也巨多

所以这种多目标

多模态的问题

是我们将案件数据化

首要要解决的问题

多模态的问题

我们稍后会讲

首先

我们先来解决

多场景

多目标的

一些具体的实施步骤

因为有价值的信息呢

往往是一些异常信息

或者是一些细节信息

因此

串并条件不再是整幅现勘图像

这些宏观信息

固定长度的特征信息

或者是人工标签等等

这些对于我们线索

和发现案件之间的关联

意义其实并不大

那最自然的方法

我们想到的

就是将图像分成多个目标块

从而

就会获得

由细节和小目标信息

组成的多层现勘元素

大家可以注意到

我们称它为现勘元素

替代了之前的现勘图像

为了构建现勘元素库

需要构建现勘视觉小目标库

本项研究呢

我们将采用了区域生成网络

也就是RPN

来实现目标识别

这一方法

它是可以有效地

检测出图像中的细节

和小目标信息的

如图所示

这里利用的就是我们的RPN网络

对我们现勘图像

进行的目标识别和检测

那在本项研究当中呢

我们用到的就是一个

非常经典的方法

这里

也给大家提供了这样一个数据包

有兴趣的同学可以进行下载

处理和实现它的目标提取

那目标检测其实大致上也不难

它分为以下四个步骤

特征提取

候选区域的生成

窗口的分类

以及位置精修等等

从而实现了目标的识别

那这一方法

已经成功地应用到了各个领域当中

如我们上一节课给大家介绍的

人脸目标的识别

所以

这就将为我们小目标库

提供了基本的元素

然后再来看下面的一个结果

这个结果呢

就是我们利用了刚才的RPN网络

在真实的现勘数据库上

目标识别的结果

大家可以看到的是

一幅现勘图像

它经过检测之后

包含了多个目标框

以及它的识别信息

比如这里所示的

一个车牌信息

以及它的位置

以及它具体车牌所含有的识别信息

那我们

就用这些识别信息和小目标块

构成了我们的现勘元素块

那接下来

我们就要解决刚才提到的

细节信息丢失的问题

那图像信息当中的信息

往往都会丢失

原因是什么呢

并不是因为在采集的过程当中

因为分辨率的原因

造成了丢失

往往的原因在于

这个特征提取方法的问题

而且这些特征信息呢

非常容易受到其他异常信息

或者噪声的干扰

为此

我们添加了衍生信息层

衍生信息层呢

是由图像块的属性的标签组成

也就是说

它不光包含了图像信息

还包括了一些分类的标签

那这些标签

它不是由人工录入的

而是由我们的CNN的分类器完成的

为此呢

我们就设计了

这样一个现勘图像的信息树

在小目标块上

针对破案需求

生成的信息层

它具有放大细节的功能

对检索的目的就更加明确

然后再来看

下面我们要解决的问题

刚才提到的我们衍生信息层当中

其实包含的是我们小目标块的属性

那这些属性呢

它其实是一些分类标签

那这里给大家所示的

就是我们的

现勘信息树的图像的表征方法

我们使用了7个分类器

包含了1个目标分类器

1个运动关系分类器

3个属性信息分类器

以及2个细节分类器

将这些分类的标签

存储在我们的衍生信息层当中

也就是说

原来的信息

现在把它们都储存成标签

那么大家可以想象的是

细节信息在图像的像素的分布上

它非常的小

特征长度也非常小

那么

它们这些信息度量的差别也非常小

但是

如果把它们存成标签信息

是不是就起到了一个

细节信息放大的作用呢

那按照上面的两个步骤

是可以完成信息的数据化的

但是

在刑警给我们的真实的

现勘数据库当中

自然光图像

其实只占了20%

还有大量的视频

以及其他模态的数据

例如

案发时段内的X光安检的图像

以及我们要处理的

安检图像当中的细节信息

这些都是我们要亟待解决的

多模态问题

由于我们前面使用的是

训练好的一个VGG16的一个网络

它的训练数据呢

都是我们的自然光数据

对于X光图像

目标识别的结果并不标准

所以

我们提出了一种

色彩有偏的纹理表征方法

它的思想

是利用不同材质

在X光图像当中的颜色分布特征

构造了待检测目标的色彩模板

然后就可以实现对X光当中

目标进行检索的问题

这里显示的

就是一个

我们在X光安检的图像当中

检测手机的一个结果

可以看到的是

我们的算法

如红色曲线所示

它可以达到

识别率在95%以上

这样一个高识别率

那以上呢

就完成了案件的元素化表征

也就是将我们各种模态的数据

提取出目标块

然后再生成它的衍生信息层

这样一个数据包

就构成了我们的现勘元素库

即完成了案件到信息的处理

将这些小目标块的图像层

和具有放大信息的衍生层

组合在一起

大家可以看到的是

这样一个数据包

就组成了整个案件

那么接下来

就是要完成的信息之间的关联

以至于最后生成案件之间的关联

那么

现在要实现

这些数据包之间的关键问题

是什么呢

主要是

它其实是模式识别当中的一个

传统问题

相似度度量

但是由于实际案件中的成像条件

它的变化条件是非常巨大的

没有哪种特征

或者是相似度的准则

适用于这种

变化非常多的这种情况

那深度学习算法

其实很好的回避了这一问题

它无需定义特征

在训练阶段

只需要将相关关系的数据包

输入到卷积神经网络当中

训练网络参数

在测试阶段

将案件的属性包送入对应的

训练好的测试网络当中

就可以得到

两两小目标块的关联程度

由0-1数值来描述

那么

这里给大家所示的

就是一个现勘元素的

关联程度的计算结果

大家可以看到的是

图像的内容

光照条件

以及图像的尺度

是存在非常大的差别的

但是

它们在局部特征上

却有非常高的关联性

利用我们的算法

大家可以看到

无论是车牌的识别

还是这个行人的关联

我们都得到了成功的解决

好了

我们一些细节问题就得到了解决

那由现勘元素

来计算它的关联程度

其实是可以得到

案件之间的关联图层的

因为案件被描述成了元素包

元素包包含了各种信息块的元素

那信息块跟信息块之间的关联程度

是不是就可以形成一个

案件到案件的一个矩阵

我们将这个矩阵称之为关联图层

如这里所示

这个蓝色和黄色所示的矩阵呢

就是我们这里表示的

两两案件的关联图层

最后

我们利用阈值平面进行筛选

筛选的是案件x

与其他案件的串并关系

利用阈值呢

我们可以实现的是串并条件的确定

然后筛选出来

案件x与其他案件的串并关系

以上就是我们的一个仿真结果

大家可以看到的是

案件到案件之间的关联程度的计算

实验数据我们包含了13个真实案件

其中包含的仿真结果

过程呢如图所示

实现的这些案件的串并

确实反映了真实情况

我们现在看到的是

我们基本上实现了

这个理论算法的研发

实现了我们案件的智能串并

但这个只是一个自动化分析工具

应用于实际破案的第一步

那接下来我们要实现的是

数据的云端处理

能够访问到更多的真实案例

构建海量案件数据库

以及开发普通用户

可以操作的用户界面

也就是说

我们从算法到实际应用

还有很长的路要走

所以经过这一节课内容的学习

大家应该能够认识到

串并案的理论

以及串并案实现的前提条件

以及遇到的一些挑战和问题

最终

我们给出了一个

串并案实现的方法和策略

都将为我们实际工程当中

应用这样一个算法

提供了指导

所以这节课就到这里

谢谢大家