8.1运动目标检测在线视频

同学们大家好

今天我们学习运动目标检测

本次课的内容

主要分为两部分

首先我们介绍目标检测的意义

接下来学习常用的目标检测方法

运动目标检测就是要检测视频序列中

是否存在相对于整幅场景图像运动的物体

它是目标分类 目标跟踪

以及目标识别等应用的基础

主要应用在安全监控 视频压缩编码

和交通监测等领域

下面我们给大家列出了

一些常见的应用场景

左边的图里我们要检测行人

所以我们用一个绿色的矩形框

把它框出来了

中间的图是在交通场景中

我们检测运动车辆

第三个图是在天空中

我们要检测正在飞行的飞机

这是比较常见的目标检测应用

目标检测的经常用到的经典方法有哪些呢

有帧间差分法 背景消减法和光流法

首先我们来学习帧间差分法

帧间差分法是用来检测

固定摄像头下的运动物体

用相邻的两帧或者相邻的三帧连续图像

对应相减来获得运动目标

它的运算过程如公式所示

在这个公式里

It代表的是t时刻的图像

Ft代表的是前景图像

T为设定的阈值

我们将t时刻的图像和t-1时刻的图像

对应位置的像素进行相减

当它们的差值的绝对值

超过设定阈值的时候

我们就认为它是前景 是目标

把它置为1

否则认为是背景 设为0

这样的话

我们就得到了一幅二值图像

帧间差分法的优点是计算简单

适用于简单场景以及光线缓慢变化的场景

它的缺点是容易出现双影和空洞现象

运动区域大小与速度有关

下面这个图展示了帧间差分法的结果

在一个室内的监控场景中

这个穿白色T恤的人在不停地移动

那么我们用相邻两帧做差分的方法

可以检测出这个运动目标

最后得到了一个二值图像

大家可以思考一下

什么时候会出现双影

什么时候会出现空洞现象

第二类常用的经典方法是背景消减法

主要应用于背景相对静止的场合

将当前帧和背景模型进行比较

来检测运动目标

在这个公式中

It代表的是t时刻的图像

Bt代表的是t时刻的背景

将它们做差

看差值的绝对值

是否超过了设定的阈值

如果超过设定的阈值

那么就将这个像素置为前景

否则置为背景

背景消减法

它的原理比较简单

但是这里面的关键问题是

如何去建立背景

以及如何对背景进行更新

那么背景建模的方法

通常有四类

一类是直方图法

直方图法是将连续的n帧同一像素点的

灰度直方图来进行统计

将出现次数最多的灰度值

作为该像素点的背景值

这样的话

我们就可以得到背景图像了

平均值法不再是统计直方图

它是将n帧图像同一像素点的灰度值求和

然后取平均值

来作为该像素点的背景值

这样也可以得到背景图像

下面展示了用背景差分法得到

左边这个图代表的是

用平均值法求得的背景图像

中间这幅图代表的是t时刻的图像

然后将它们做差分

就得到了检测的结果

这个车辆是作为一个运动目标出现的

所以我们把它检测出来了

大家观察也会发现

在车辆的上方

也出现了一些白色的点

大家可以思考一下

这些被检测出来的伪目标

它们是什么

第三种背景建模的方法是单高斯模型法

它是假设背景图像中每个像素点的灰度值

服从单高斯分布

这样的话

我们就去建立了背景图像

与它相对应的是混合高斯模型

混合高斯模型

将图像中的每个像素点

按照不同权重的多个高斯分布的

叠加来进行建模

所以里面不是只有一个高斯模型

会有多个

它适用于复杂的动态背景

那么背景建立好了以后

我们可以用差分的方法检测出目标

然而随着时间的推移

背景会发生相应的变化

所以需要实时地对背景进行更新

常用的背景更新方法是

将当前帧的图像与已经求得的背景

进行加权更新

我们会发现

下面这个公式和上面的公式

哪里不一样呢

就在于它的更新是有针对性的

下面这个公式中

当前像素如果是背景

我们会按照权重对它进行加权更新

而当前这个像素点如果是前景

我们会用权重对它进行加权更新

所以这种更新方法会更加有针对性一些

关于高斯混合模型的更新机制

大家可以去查阅下面这篇论文

图4里面给大家展示了

基于高斯混合模型的目标检测结果

使用的是OpenCV和C语言编程实现的

其中图a是原图

图b是采用高斯混合模型以后

得到的目标图像

我们会发现它是一个二值图像

目标是用白色表示的

在图c里我们会发现

它是带阴影检测的

阴影是用灰色表示的

背景消减法的优点是简单易实现

适合实时处理

缺点是容易受背景变化的干扰

接下来我们介绍第三类经典的

目标检测方法叫光流法

光流是用来表征像素点的灰度值

发生变化趋势的瞬时速度场

光流法的原理是给每个像素点

赋予了一个速度向量

构成了运动向量场

根据每个像素点的速度向量特征

就可以对图像中

有无运动目标进行分析

当图像中没有运动物体时

光流向量在整个图像区域中

体现出了一种连续性

图像中有运动目标时

背景和运动物体中存在着相对运动

形成的速度向量并不相同

这样的话

就可以检测出目标了

这一类方法

我们可以把它分为基于梯度

基于匹配、基于能量、基于相位

和基于神经动力学的方法

这一类方法在实际中用的也非常多

图6给大家展示了基于光流法

来进行运动目标检测的实验结果

大家会发现

目标在运动的过程中

实际上它的背景也是在不断发生变化的

不再是固定的某一个场景

所以这种情况下

当背景也在运动发生变化的时候

我们如果再用前面讲到的帧差法

或者是背景消减法

它就已经失效了

然而我们用光流法仍然可以检测出

独立的运动目标来

所以这是它的一个优势

但它的缺点就是算法的复杂度较高

抗噪声性能较差

上面我们介绍的三大类方法都是

传统的检测方法

那么随着深度学习的出现和普及

出现了基于深度学习的目标检测方法

常见的有R-CNN，Fast R-CNN

Faster R-CNN等等一系列方法

那么这些方法的重点

就聚焦于如何去设计

结合应用需求的神经网络

并且去优化这些网络中的参数

它的检测能力通常要比传统的方法高很多

目标检测也面临着许多的问题和挑战

虽然它是一个非常经典的问题

但是仍然有很多学者投入到其中的研究中来

是因为这里面存在着很多问题

还需要我们去解决

首先

当目标和背景极为相似的时候

我们如何去准确的检测出目标

当我们的场景发生变化

光线发生突变或者是渐变的情况下

如何减少光照的影响

准确地检测出目标

当目标中有大量颜色一致区域

或者是背景中有树叶抖动

水面出现涟漪的情况下

如何去减少这些相应的干扰

还有就是目标在运动的过程中

突然停滞

那么会不会把目标也当做背景

影响后面的检测

同时我们还得考虑

去除去除场景中阴影

噪声的干扰

以及相机抖动的干扰

接下来

我们给大家布置今天的思考题

大家下去请调研

目标检测领域中

常用的数据库以及常用的评价指标

我们这次课就到这里了

谢谢大家