当前课程知识点：刑侦视频图像处理 > 第8章 视频目标检测与跟踪技术 > 8.2运动目标跟踪 > 8.2运动目标跟踪
同学们 大家好
今天我们学习的内容是
运动目标跟踪
我们主要从两个方面进行学习
首先我们来了解一下
目标跟踪的意义
然后我们了解一下
常用的跟踪方法
目标跟踪是对用户感兴趣的目标
提取特征，建立模型
进而得到每个目标
在每一帧中的位置
为下一步的目标识别、分类
行为理解和分析等应用奠定基础
那么下面我们给出了几个例子
第一个图
给出的是对车辆进行跟踪
我们可以得到车辆的轨迹
进而去分析车辆有没有闯红灯或者逆行
中间的图
给出的是对行人进行跟踪
那么我们可以在监控场景中
跟踪得到这些行人的运动轨迹
特别是在心冠肺炎蔓延的这段时间
我们可以通过
这样一种视频分析方法来得到
某些目标与哪些人进行了相应的接触
第三个图
反映的是我们
锁定相应的目标以后
对他的行动进行相应的跟踪
这样的话
我们可以对某个人的技术
进行相应的分析
对于在体育赛事中
去调整我们相应的技术方案是有帮助的
那么目标跟踪
实际上也面临着相应的挑战
比如目标被严重遮挡
还有光照的改变
在运动的过程中目标变模糊
以及目标在平面内的旋转
还有外观改变
以及相似目标的干扰等等
都为目标跟踪
带来了新的挑战
传统的目标跟踪方法
我们大致可以把它分为
基于主动轮廓的跟踪
基于特征的跟踪
基于区域的跟踪
以及基于模型的跟踪
那么这四大类方法
它们各有优缺点
主动轮廓模型是利用了图像中的
灰度信息以及目标的整体轮廓
几何信息来对目标进行跟踪
它的计算量较大
不能够适应快速目标的跟踪
以及形变较大的这两种情况
基于特征的跟踪
对尺度形变和亮度等变化不太敏感
但是对模糊图像和噪声会稍微敏感一些
基于区域的跟踪
在目标未被遮挡时
跟踪精度较高
但是也有缺点
搜索区域较大的时候
非常浪费时间
不能够适应较大形变和遮挡的情况
第四大类是基于模型的跟踪
它不受观测视角的影响
鲁棒性较强
但是模型更新起来会较为复杂
实时性不高
而在这四大类方法中
基于模型的跟踪方法
已成为目前研究的主流方向之一
基于外观模型的跟踪算法
我们大致可以把它分为两类
一类是产生式方法
一类是判别式方法
产生式方法旨在建立一个相应的目标模型
然后在每一帧中都去搜索
与这个模型最相似的区域
作为跟踪的目标
所以它的目标描述能力会较强一些
通用性更好
判别式的方法
它把跟踪当作分类问题来进行对待
所以它的模型区分能力
会更强一些
但是算法的复杂度会更高
接下来我们看一下
这两大类方法中具体的划分
产生式方法为跟踪目标
建立鲁棒的外观模型
并且在后续帧中
搜索与该模型
具有最小误差的区域作为跟踪目标
它又可以划分为多种方法
首先第一个是产生式混合建模方法
采用由多个分支构成的混合模型
对目标外观进行建模
其中代表的方法就是高斯混合模型
它的优点是原理比较简单
缺点是模型中的分支数目
以及参数的自动选择
成为了这类方法的难点
产生式方法中的第二类方法
是核跟踪方法
它采用核概率密度估计
来构造外观模型
它的缺点是在寻找局部最优解时
容易导致跟踪失败
第三类方法是子空间学习方法
它要利用基模板将跟踪目标
映射到子空间中
进行线性表示
所以这一类方法的关键
就变成了我们如何去寻找这些子空间
以及这些子空间中的基模板如何得到
它的缺点是算法较为复杂
实时性不高
与产生式方法不同的是判别式方法
它把目标跟踪问题
当做了一个分类问题来进行对待
目的是要训练一个分类器
将运动目标从背景中分离出来
首先我们介绍的是
基于SVM的方法
也就是支持向量基的方法
它旨在寻找一个超平面
将正负样本分开
所以我们要训练
这样的一个二类分类器
它的缺点是
长时间的误差累计
会导致模型外观的退化
甚至出现跟踪漂移的现象
判别式方法中的第二类方法是
基于多示例学习的方法
它旨在利用正负包训练一个二类分类器
我们会发现在进行训练的过程中
与我们前面说到的SVM是不一样的
SVM是以正负样本为对象进行训练
而在多示例学习中
它把所有的示例
形成了相应的正负包
每一个包里包含了若干的示例
它训练的粒度要比SVM的大一些
所以它的容错能力也就更强了
但是它的缺点是只用到了目标
在单帧中的位置信息
在遮挡的情况下
容易出现目标漂移
判别式方法的第三类是
基于相关滤波的方法
旨在训练一个相关滤波器
然后通过卷积运算 在置信图上
找大具有最大响应的信号位置
作为跟踪的结果
由于它整个过程都是在频域完成的
因此它的计算效率非常的高
实时性较好
但是它的缺点就是不能够解决
遮挡和目标快速运动的情况
这一类方法已经成为了
目前主流的一个研究方向
大家下去可以重点关注一下
这个图里面展示了
基于内容警觉的相关滤波跟踪方法
的跟踪效果
其中绿色的部分代表了
目标在图像中的真实位置
这是通过人工标注得到的
而红色的则是
相关滤波这一类方法的跟踪结果
它采用的是CACF这样一种算法
大家会发现
它的适应能力是比较强的
不管目标在抖动的过程中
还是在翻转的过程中
都能够较好地跟踪目标
最后我们要介绍的判别式方法中的一类
是随机学习方法
它通过随机输入和随机特征选择
来构造分类器
其中的代表就是
基于随机森林和随机蕨丛的跟踪算法
这一类算法的优点是计算效率更高
更易于扩展成为处理多分类问题的方法
那么它能够实现并行计算
缺点就是
因为它的特征是随机选择的
所以在不同的场景下
性能不够稳定
刚才我们介绍的
产生式方法也好
判别式方法也好
都是属于传统的跟踪方法
现在随着深度学习的普及
和在计算机视觉中的广泛应用
也出现了基于深度学习的跟踪方法
我们大致把它分为了两大类
其中一类是基于深度特征的方法
因为神经网络
它具有非常强大的特征描述能力
所以它能够将深度特征
很好地来代替人工选择的特征
来对目标进行更好的描述
所以我们会利用深度神经网络
提取相应的目标特征
然后再结合着我们前面讲到的
相关滤波、粒子滤波等等相应的方法
对目标进行更好的跟踪
它的典型代表就是
我们上面列到的ECO、MCCT等等
另外一类基于深度学习的方法
是端到端的方法
它简化了机器学习中各个环节的人工设计流程
直接学习从原始数据到输出之间的一个映射
所以使得跟踪过程变得更简单
但是实际上这中间我们面临的问题
就是如何去选择和设计神经网络
并且如何去优化网络中的参数
成为了这一类方法的关键问题
基于深度学习的方法
固然要比传统的方法好
但是它仍然存在着不可克服的缺点
它需要大量的训练样本
同时也需要GPU硬件的支持
所以我们在实际应用中
应该权衡我们的应用需求
然后来选择相应的跟踪算法
常用的跟踪数据库包括两个
一个是OTB，一个是VOT
图上给出了OTB的一个截图
OTB分为OTB50和OTB100
这里的50和100主要是指
视频序列的数目
而VOT是近年来
比较主流的一个测试数据集
它的难度比OTB更复杂一些
而且每年也有相应的VOT竞赛在进行着
一些非常好的算法都会呈现给大家
跟踪领域未来的发展方向
就是我们怎么样把深度学习
与跟踪更好的融合在一起
解决实时性和跟踪精度之间的一个平衡关系
第二个方向就是长期跟踪的问题
目标在较长的一段时间内运动
我们怎样来提高实时跟踪的效率和精度
第三个方向就是多相机关联跟踪的问题
怎么样把同一个目标实现
在不同摄像机下准确的跟踪
最后给大家留一道思考题
调研目标跟踪领域的最新进展和评价指标
我们今天的课程就到这里
谢谢大家
-1.1 绪论（上）
--1.1绪论（上）
-1.2 绪论（下）
-第1章测试
-2.1 光照不良图像增强处理（上）
-2.2 光照不良图像增强处理（下）
-第2章习题
-3.1图像超分辨率重建技术概述
-3.2基于插值的图像超分辨率重建
-3.3基于深度学习的图像超分辨率重建之神经网络
-3.4基于深度学习的图像超分辨率重建
-3.5基础知识介绍
-3.6压缩感知与超分辨率重建
-3.7基于压缩感知字典学习的超分方法
-第3章测试一
-第3章测试二
-4.1引言-什么是HDR图像
-4.2 概述-HDR图像处理的研究内容
-4.3HDR图像获取—多曝光融合
-4.4色调映射基础
-第4章测试题
-5.1图像水印技术概述
-5.2图像单水印技术
-5.3图像双水印技术
-第5章测试题
-6.1图像检索概述
-6.2词袋(BOW)特征描述
-6.3VLAD特征编码
-6.4PCA降维
--6.4PCA降维
-7.1 监控视频编码的作用
-7.2 监控视频编码的标准
-7.3 监控视频编码标准
-第7章测试
-8.1运动目标检测
-8.2运动目标跟踪
-第8章测试题
-9.1高光谱图像基础知识
-9.2高光谱图像的应用
-9.3高光谱图像处理
-第9章测试题
-10.1现勘足迹的基本知识
-10.2现勘足迹提取方法
-10.3结构光测量技术概况
-10.4结构光提取原理
-10.5现勘三维现场重建技术
-10.6基于二维图像的三维现场重建
-10.7基于深度信息的三维现场重建
-10.8应用案例
--10.8应用案例
-第10章测试题
-11.1研究背景与意义
-11.2图像预处理技术
-11.3基于LBP纹理的鞋印检索
-11.4基于SIFT特征的鞋印检索
-第11章测试题
-12.1什么是案件的智能串并？
-12.2实现智能串并案的机遇与挑战
-12.3智能串并案的实现策略与方案
-12.4真实案件智能串并的实现
-第12章测试题
-13.1刑侦模拟画像概述
-13.2 刑侦模拟画像计算机辅助系统
-13.3刑侦模拟画像计算机辅助系统：两维三维画像辅助
-第13章测试题
