当前课程知识点：刑侦视频图像处理 > 第8章 视频目标检测与跟踪技术 > 8.1运动目标检测 > 8.1运动目标检测
同学们大家好
今天我们学习运动目标检测
本次课的内容
主要分为两部分
首先我们介绍目标检测的意义
接下来学习常用的目标检测方法
运动目标检测就是要检测视频序列中
是否存在相对于整幅场景图像运动的物体
它是目标分类 目标跟踪
以及目标识别等应用的基础
主要应用在安全监控 视频压缩编码
和交通监测等领域
下面我们给大家列出了
一些常见的应用场景
左边的图里我们要检测行人
所以我们用一个绿色的矩形框
把它框出来了
中间的图是在交通场景中
我们检测运动车辆
第三个图是在天空中
我们要检测正在飞行的飞机
这是比较常见的目标检测应用
目标检测的经常用到的经典方法有哪些呢
有帧间差分法 背景消减法和光流法
首先我们来学习帧间差分法
帧间差分法是用来检测
固定摄像头下的运动物体
用相邻的两帧或者相邻的三帧连续图像
对应相减来获得运动目标
它的运算过程如公式所示
在这个公式里
It代表的是t时刻的图像
Ft代表的是前景图像
T为设定的阈值
我们将t时刻的图像和t-1时刻的图像
对应位置的像素进行相减
当它们的差值的绝对值
超过设定阈值的时候
我们就认为它是前景 是目标
把它置为1
否则认为是背景 设为0
这样的话
我们就得到了一幅二值图像
帧间差分法的优点是计算简单
适用于简单场景以及光线缓慢变化的场景
它的缺点是容易出现双影和空洞现象
运动区域大小与速度有关
下面这个图展示了帧间差分法的结果
在一个室内的监控场景中
这个穿白色T恤的人在不停地移动
那么我们用相邻两帧做差分的方法
可以检测出这个运动目标
最后得到了一个二值图像
大家可以思考一下
什么时候会出现双影
什么时候会出现空洞现象
第二类常用的经典方法是背景消减法
主要应用于背景相对静止的场合
将当前帧和背景模型进行比较
来检测运动目标
在这个公式中
It代表的是t时刻的图像
Bt代表的是t时刻的背景
将它们做差
看差值的绝对值
是否超过了设定的阈值
如果超过设定的阈值
那么就将这个像素置为前景
否则置为背景
背景消减法
它的原理比较简单
但是这里面的关键问题是
如何去建立背景
以及如何对背景进行更新
那么背景建模的方法
通常有四类
一类是直方图法
直方图法是将连续的n帧同一像素点的
灰度直方图来进行统计
将出现次数最多的灰度值
作为该像素点的背景值
这样的话
我们就可以得到背景图像了
平均值法不再是统计直方图
它是将n帧图像同一像素点的灰度值求和
然后取平均值
来作为该像素点的背景值
这样也可以得到背景图像
下面展示了用背景差分法得到
左边这个图代表的是
用平均值法求得的背景图像
中间这幅图代表的是t时刻的图像
然后将它们做差分
就得到了检测的结果
这个车辆是作为一个运动目标出现的
所以我们把它检测出来了
大家观察也会发现
在车辆的上方
也出现了一些白色的点
大家可以思考一下
这些被检测出来的伪目标
它们是什么
第三种背景建模的方法是单高斯模型法
它是假设背景图像中每个像素点的灰度值
服从单高斯分布
这样的话
我们就去建立了背景图像
与它相对应的是混合高斯模型
混合高斯模型
将图像中的每个像素点
按照不同权重的多个高斯分布的
叠加来进行建模
所以里面不是只有一个高斯模型
会有多个
它适用于复杂的动态背景
那么背景建立好了以后
我们可以用差分的方法检测出目标
然而随着时间的推移
背景会发生相应的变化
所以需要实时地对背景进行更新
常用的背景更新方法是
将当前帧的图像与已经求得的背景
进行加权更新
我们会发现
下面这个公式和上面的公式
哪里不一样呢
就在于它的更新是有针对性的
下面这个公式中
当前像素如果是背景
我们会按照权重对它进行加权更新
而当前这个像素点如果是前景
我们会用权重对它进行加权更新
所以这种更新方法会更加有针对性一些
关于高斯混合模型的更新机制
大家可以去查阅下面这篇论文
图4里面给大家展示了
基于高斯混合模型的目标检测结果
使用的是OpenCV和C语言编程实现的
其中图a是原图
图b是采用高斯混合模型以后
得到的目标图像
我们会发现它是一个二值图像
目标是用白色表示的
在图c里我们会发现
它是带阴影检测的
阴影是用灰色表示的
背景消减法的优点是简单易实现
适合实时处理
缺点是容易受背景变化的干扰
接下来我们介绍第三类经典的
目标检测方法叫光流法
光流是用来表征像素点的灰度值
发生变化趋势的瞬时速度场
光流法的原理是给每个像素点
赋予了一个速度向量
构成了运动向量场
根据每个像素点的速度向量特征
就可以对图像中
有无运动目标进行分析
当图像中没有运动物体时
光流向量在整个图像区域中
体现出了一种连续性
图像中有运动目标时
背景和运动物体中存在着相对运动
形成的速度向量并不相同
这样的话
就可以检测出目标了
这一类方法
我们可以把它分为基于梯度
基于匹配、基于能量、基于相位
和基于神经动力学的方法
这一类方法在实际中用的也非常多
图6给大家展示了基于光流法
来进行运动目标检测的实验结果
大家会发现
目标在运动的过程中
实际上它的背景也是在不断发生变化的
不再是固定的某一个场景
所以这种情况下
当背景也在运动发生变化的时候
我们如果再用前面讲到的帧差法
或者是背景消减法
它就已经失效了
然而我们用光流法仍然可以检测出
独立的运动目标来
所以这是它的一个优势
但它的缺点就是算法的复杂度较高
抗噪声性能较差
上面我们介绍的三大类方法都是
传统的检测方法
那么随着深度学习的出现和普及
出现了基于深度学习的目标检测方法
常见的有R-CNN，Fast R-CNN
Faster R-CNN等等一系列方法
那么这些方法的重点
就聚焦于如何去设计
结合应用需求的神经网络
并且去优化这些网络中的参数
它的检测能力通常要比传统的方法高很多
目标检测也面临着许多的问题和挑战
虽然它是一个非常经典的问题
但是仍然有很多学者投入到其中的研究中来
是因为这里面存在着很多问题
还需要我们去解决
首先
当目标和背景极为相似的时候
我们如何去准确的检测出目标
当我们的场景发生变化
光线发生突变或者是渐变的情况下
如何减少光照的影响
准确地检测出目标
当目标中有大量颜色一致区域
或者是背景中有树叶抖动
水面出现涟漪的情况下
如何去减少这些相应的干扰
还有就是目标在运动的过程中
突然停滞
那么会不会把目标也当做背景
影响后面的检测
同时我们还得考虑
去除去除场景中阴影
噪声的干扰
以及相机抖动的干扰
接下来
我们给大家布置今天的思考题
大家下去请调研
目标检测领域中
常用的数据库以及常用的评价指标
我们这次课就到这里了
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题