8.2运动目标跟踪在线视频

同学们 大家好

今天我们学习的内容是

运动目标跟踪

我们主要从两个方面进行学习

首先我们来了解一下

目标跟踪的意义

然后我们了解一下

常用的跟踪方法

目标跟踪是对用户感兴趣的目标

提取特征，建立模型

进而得到每个目标

在每一帧中的位置

为下一步的目标识别、分类

行为理解和分析等应用奠定基础

那么下面我们给出了几个例子

第一个图

给出的是对车辆进行跟踪

我们可以得到车辆的轨迹

进而去分析车辆有没有闯红灯或者逆行

中间的图

给出的是对行人进行跟踪

那么我们可以在监控场景中

跟踪得到这些行人的运动轨迹

特别是在心冠肺炎蔓延的这段时间

我们可以通过

这样一种视频分析方法来得到

某些目标与哪些人进行了相应的接触

第三个图

反映的是我们

锁定相应的目标以后

对他的行动进行相应的跟踪

这样的话

我们可以对某个人的技术

进行相应的分析

对于在体育赛事中

去调整我们相应的技术方案是有帮助的

那么目标跟踪

实际上也面临着相应的挑战

比如目标被严重遮挡

还有光照的改变

在运动的过程中目标变模糊

以及目标在平面内的旋转

还有外观改变

以及相似目标的干扰等等

都为目标跟踪

带来了新的挑战

传统的目标跟踪方法

我们大致可以把它分为

基于主动轮廓的跟踪

基于特征的跟踪

基于区域的跟踪

以及基于模型的跟踪

那么这四大类方法

它们各有优缺点

主动轮廓模型是利用了图像中的

灰度信息以及目标的整体轮廓

几何信息来对目标进行跟踪

它的计算量较大

不能够适应快速目标的跟踪

以及形变较大的这两种情况

基于特征的跟踪

对尺度形变和亮度等变化不太敏感

但是对模糊图像和噪声会稍微敏感一些

基于区域的跟踪

在目标未被遮挡时

跟踪精度较高

但是也有缺点

搜索区域较大的时候

非常浪费时间

不能够适应较大形变和遮挡的情况

第四大类是基于模型的跟踪

它不受观测视角的影响

鲁棒性较强

但是模型更新起来会较为复杂

实时性不高

而在这四大类方法中

基于模型的跟踪方法

已成为目前研究的主流方向之一

基于外观模型的跟踪算法

我们大致可以把它分为两类

一类是产生式方法

一类是判别式方法

产生式方法旨在建立一个相应的目标模型

然后在每一帧中都去搜索

与这个模型最相似的区域

作为跟踪的目标

所以它的目标描述能力会较强一些

通用性更好

判别式的方法

它把跟踪当作分类问题来进行对待

所以它的模型区分能力

会更强一些

但是算法的复杂度会更高

接下来我们看一下

这两大类方法中具体的划分

产生式方法为跟踪目标

建立鲁棒的外观模型

并且在后续帧中

搜索与该模型

具有最小误差的区域作为跟踪目标

它又可以划分为多种方法

首先第一个是产生式混合建模方法

采用由多个分支构成的混合模型

对目标外观进行建模

其中代表的方法就是高斯混合模型

它的优点是原理比较简单

缺点是模型中的分支数目

以及参数的自动选择

成为了这类方法的难点

产生式方法中的第二类方法

是核跟踪方法

它采用核概率密度估计

来构造外观模型

它的缺点是在寻找局部最优解时

容易导致跟踪失败

第三类方法是子空间学习方法

它要利用基模板将跟踪目标

映射到子空间中

进行线性表示

所以这一类方法的关键

就变成了我们如何去寻找这些子空间

以及这些子空间中的基模板如何得到

它的缺点是算法较为复杂

实时性不高

与产生式方法不同的是判别式方法

它把目标跟踪问题

当做了一个分类问题来进行对待

目的是要训练一个分类器

将运动目标从背景中分离出来

首先我们介绍的是

基于SVM的方法

也就是支持向量基的方法

它旨在寻找一个超平面

将正负样本分开

所以我们要训练

这样的一个二类分类器

它的缺点是

长时间的误差累计

会导致模型外观的退化

甚至出现跟踪漂移的现象

判别式方法中的第二类方法是

基于多示例学习的方法

它旨在利用正负包训练一个二类分类器

我们会发现在进行训练的过程中

与我们前面说到的SVM是不一样的

SVM是以正负样本为对象进行训练

而在多示例学习中

它把所有的示例

形成了相应的正负包

每一个包里包含了若干的示例

它训练的粒度要比SVM的大一些

所以它的容错能力也就更强了

但是它的缺点是只用到了目标

在单帧中的位置信息

在遮挡的情况下

容易出现目标漂移

判别式方法的第三类是

基于相关滤波的方法

旨在训练一个相关滤波器

然后通过卷积运算 在置信图上

找大具有最大响应的信号位置

作为跟踪的结果

由于它整个过程都是在频域完成的

因此它的计算效率非常的高

实时性较好

但是它的缺点就是不能够解决

遮挡和目标快速运动的情况

这一类方法已经成为了

目前主流的一个研究方向

大家下去可以重点关注一下

这个图里面展示了

基于内容警觉的相关滤波跟踪方法

的跟踪效果

其中绿色的部分代表了

目标在图像中的真实位置

这是通过人工标注得到的

而红色的则是

相关滤波这一类方法的跟踪结果

它采用的是CACF这样一种算法

大家会发现

它的适应能力是比较强的

不管目标在抖动的过程中

还是在翻转的过程中

都能够较好地跟踪目标

最后我们要介绍的判别式方法中的一类

是随机学习方法

它通过随机输入和随机特征选择

来构造分类器

其中的代表就是

基于随机森林和随机蕨丛的跟踪算法

这一类算法的优点是计算效率更高

更易于扩展成为处理多分类问题的方法

那么它能够实现并行计算

缺点就是

因为它的特征是随机选择的

所以在不同的场景下

性能不够稳定

刚才我们介绍的

产生式方法也好

判别式方法也好

都是属于传统的跟踪方法

现在随着深度学习的普及

和在计算机视觉中的广泛应用

也出现了基于深度学习的跟踪方法

我们大致把它分为了两大类

其中一类是基于深度特征的方法

因为神经网络

它具有非常强大的特征描述能力

所以它能够将深度特征

很好地来代替人工选择的特征

来对目标进行更好的描述

所以我们会利用深度神经网络

提取相应的目标特征

然后再结合着我们前面讲到的

相关滤波、粒子滤波等等相应的方法

对目标进行更好的跟踪

它的典型代表就是

我们上面列到的ECO、MCCT等等

另外一类基于深度学习的方法

是端到端的方法

它简化了机器学习中各个环节的人工设计流程

直接学习从原始数据到输出之间的一个映射

所以使得跟踪过程变得更简单

但是实际上这中间我们面临的问题

就是如何去选择和设计神经网络

并且如何去优化网络中的参数

成为了这一类方法的关键问题

基于深度学习的方法

固然要比传统的方法好

但是它仍然存在着不可克服的缺点

它需要大量的训练样本

同时也需要GPU硬件的支持

所以我们在实际应用中

应该权衡我们的应用需求

然后来选择相应的跟踪算法

常用的跟踪数据库包括两个

一个是OTB，一个是VOT

图上给出了OTB的一个截图

OTB分为OTB50和OTB100

这里的50和100主要是指

视频序列的数目

而VOT是近年来

比较主流的一个测试数据集

它的难度比OTB更复杂一些

而且每年也有相应的VOT竞赛在进行着

一些非常好的算法都会呈现给大家

跟踪领域未来的发展方向

就是我们怎么样把深度学习

与跟踪更好的融合在一起

解决实时性和跟踪精度之间的一个平衡关系

第二个方向就是长期跟踪的问题

目标在较长的一段时间内运动

我们怎样来提高实时跟踪的效率和精度

第三个方向就是多相机关联跟踪的问题

怎么样把同一个目标实现

在不同摄像机下准确的跟踪

最后给大家留一道思考题

调研目标跟踪领域的最新进展和评价指标

我们今天的课程就到这里

谢谢大家