当前课程知识点：刑侦视频图像处理 > 第12章 刑侦案件智能串并 > 12.4真实案件智能串并的实现 > 12.4真实案件智能串并的实现
同学们
大家好
今天我们继续讲述
案件的智能串并
这节课
是案件智能串并的第四节课
上一节课
我们分析了实际数据的一些特点
为此提出了
实现案件串并的一些策略和方案
今天
我们就来看一下
真实的实现一个案件串并
所要进行的一些具体的操作
案件的数据化模块
即完成了案件原始现勘数据
处理为计算机可以处理的数据包
案件的现勘数据特点呢
它具有多模态性
场景非常复杂
目标也巨多
所以这种多目标
多模态的问题
是我们将案件数据化
首要要解决的问题
多模态的问题
我们稍后会讲
首先
我们先来解决
多场景
多目标的
一些具体的实施步骤
因为有价值的信息呢
往往是一些异常信息
或者是一些细节信息
因此
串并条件不再是整幅现勘图像
这些宏观信息
固定长度的特征信息
或者是人工标签等等
这些对于我们线索
和发现案件之间的关联
意义其实并不大
那最自然的方法
我们想到的
就是将图像分成多个目标块
从而
就会获得
由细节和小目标信息
组成的多层现勘元素
大家可以注意到
我们称它为现勘元素
替代了之前的现勘图像
为了构建现勘元素库
需要构建现勘视觉小目标库
本项研究呢
我们将采用了区域生成网络
也就是RPN
来实现目标识别
这一方法
它是可以有效地
检测出图像中的细节
和小目标信息的
如图所示
这里利用的就是我们的RPN网络
对我们现勘图像
进行的目标识别和检测
那在本项研究当中呢
我们用到的就是一个
非常经典的方法
这里
也给大家提供了这样一个数据包
有兴趣的同学可以进行下载
处理和实现它的目标提取
那目标检测其实大致上也不难
它分为以下四个步骤
特征提取
候选区域的生成
窗口的分类
以及位置精修等等
从而实现了目标的识别
那这一方法
已经成功地应用到了各个领域当中
如我们上一节课给大家介绍的
人脸目标的识别
所以
这就将为我们小目标库
提供了基本的元素
然后再来看下面的一个结果
这个结果呢
就是我们利用了刚才的RPN网络
在真实的现勘数据库上
目标识别的结果
大家可以看到的是
一幅现勘图像
它经过检测之后
包含了多个目标框
以及它的识别信息
比如这里所示的
一个车牌信息
以及它的位置
以及它具体车牌所含有的识别信息
那我们
就用这些识别信息和小目标块
构成了我们的现勘元素块
那接下来
我们就要解决刚才提到的
细节信息丢失的问题
那图像信息当中的信息
往往都会丢失
原因是什么呢
并不是因为在采集的过程当中
因为分辨率的原因
造成了丢失
往往的原因在于
这个特征提取方法的问题
而且这些特征信息呢
非常容易受到其他异常信息
或者噪声的干扰
为此
我们添加了衍生信息层
衍生信息层呢
是由图像块的属性的标签组成
也就是说
它不光包含了图像信息
还包括了一些分类的标签
那这些标签
它不是由人工录入的
而是由我们的CNN的分类器完成的
为此呢
我们就设计了
这样一个现勘图像的信息树
在小目标块上
针对破案需求
生成的信息层
它具有放大细节的功能
对检索的目的就更加明确
然后再来看
下面我们要解决的问题
刚才提到的我们衍生信息层当中
其实包含的是我们小目标块的属性
那这些属性呢
它其实是一些分类标签
那这里给大家所示的
就是我们的
现勘信息树的图像的表征方法
我们使用了7个分类器
包含了1个目标分类器
1个运动关系分类器
3个属性信息分类器
以及2个细节分类器
将这些分类的标签
存储在我们的衍生信息层当中
也就是说
原来的信息
现在把它们都储存成标签
那么大家可以想象的是
细节信息在图像的像素的分布上
它非常的小
特征长度也非常小
那么
它们这些信息度量的差别也非常小
但是
如果把它们存成标签信息
是不是就起到了一个
细节信息放大的作用呢
那按照上面的两个步骤
是可以完成信息的数据化的
但是
在刑警给我们的真实的
现勘数据库当中
自然光图像
其实只占了20%
还有大量的视频
以及其他模态的数据
例如
案发时段内的X光安检的图像
以及我们要处理的
安检图像当中的细节信息
这些都是我们要亟待解决的
多模态问题
由于我们前面使用的是
训练好的一个VGG16的一个网络
它的训练数据呢
都是我们的自然光数据
对于X光图像
目标识别的结果并不标准
所以
我们提出了一种
色彩有偏的纹理表征方法
它的思想
是利用不同材质
在X光图像当中的颜色分布特征
构造了待检测目标的色彩模板
然后就可以实现对X光当中
目标进行检索的问题
这里显示的
就是一个
我们在X光安检的图像当中
检测手机的一个结果
可以看到的是
我们的算法
如红色曲线所示
它可以达到
识别率在95%以上
这样一个高识别率
那以上呢
就完成了案件的元素化表征
也就是将我们各种模态的数据
提取出目标块
然后再生成它的衍生信息层
这样一个数据包
就构成了我们的现勘元素库
即完成了案件到信息的处理
将这些小目标块的图像层
和具有放大信息的衍生层
组合在一起
大家可以看到的是
这样一个数据包
就组成了整个案件
那么接下来
就是要完成的信息之间的关联
以至于最后生成案件之间的关联
那么
现在要实现
这些数据包之间的关键问题
是什么呢
主要是
它其实是模式识别当中的一个
传统问题
相似度度量
但是由于实际案件中的成像条件
它的变化条件是非常巨大的
没有哪种特征
或者是相似度的准则
适用于这种
变化非常多的这种情况
那深度学习算法
其实很好的回避了这一问题
它无需定义特征
在训练阶段
只需要将相关关系的数据包
输入到卷积神经网络当中
训练网络参数
在测试阶段
将案件的属性包送入对应的
训练好的测试网络当中
就可以得到
两两小目标块的关联程度
由0-1数值来描述
那么
这里给大家所示的
就是一个现勘元素的
关联程度的计算结果
大家可以看到的是
图像的内容
光照条件
以及图像的尺度
是存在非常大的差别的
但是
它们在局部特征上
却有非常高的关联性
利用我们的算法
大家可以看到
无论是车牌的识别
还是这个行人的关联
我们都得到了成功的解决
好了
我们一些细节问题就得到了解决
那由现勘元素
来计算它的关联程度
其实是可以得到
案件之间的关联图层的
因为案件被描述成了元素包
元素包包含了各种信息块的元素
那信息块跟信息块之间的关联程度
是不是就可以形成一个
案件到案件的一个矩阵
我们将这个矩阵称之为关联图层
如这里所示
这个蓝色和黄色所示的矩阵呢
就是我们这里表示的
两两案件的关联图层
最后
我们利用阈值平面进行筛选
筛选的是案件x
与其他案件的串并关系
利用阈值呢
我们可以实现的是串并条件的确定
然后筛选出来
案件x与其他案件的串并关系
以上就是我们的一个仿真结果
大家可以看到的是
案件到案件之间的关联程度的计算
实验数据我们包含了13个真实案件
其中包含的仿真结果
过程呢如图所示
实现的这些案件的串并
确实反映了真实情况
我们现在看到的是
我们基本上实现了
这个理论算法的研发
实现了我们案件的智能串并
但这个只是一个自动化分析工具
应用于实际破案的第一步
那接下来我们要实现的是
数据的云端处理
能够访问到更多的真实案例
构建海量案件数据库
以及开发普通用户
可以操作的用户界面
也就是说
我们从算法到实际应用
还有很长的路要走
所以经过这一节课内容的学习
大家应该能够认识到
串并案的理论
以及串并案实现的前提条件
以及遇到的一些挑战和问题
最终
我们给出了一个
串并案实现的方法和策略
都将为我们实际工程当中
应用这样一个算法
提供了指导
所以这节课就到这里
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
