高速公路场景下多尺度车辆目标的检测与跟踪方法研究

摘要

基于视频的车辆目标检测及跟踪具有广阔的应用价值，一直以来都是计算机视觉领域的研究热点。然而在高速外场场景中，摄像机抖动、光照突变、恶劣天气等不稳定因素，以及车辆目标的多尺度、变尺度、互相遮挡和相似目标不同程度地增加了车辆目标检测和匹配的难度。因此，研究基于视频的高速公路外场场景的多尺度车辆目标的检测和跟踪具有重要的理论和实际意义。　　SNIPER采样策略是多尺度目标检测的常用方法，但是存在模型训练困难和检测速度慢的问题，为此本文改进了SNIPER采样策略获取正负chips的方法，减轻了模型训练的难度，并提出了一种将轨迹预测、前景检测与Faster R-CNN级联的方法，提高了目标检测的速度和精度。同时为了解决目标匹配时存在的目标相似和遮挡问题，本文还提出了融合运动特征、表观特征和轨迹特征的车辆目标匹配方法，提高了目标匹配的精度。论文的主要工作和贡献如下：　　①针对SNIPER采样策略获取正chips时图像尺度单一的问题，论文提出了基于mean shift聚类算法的图像尺度自适应方法，同时针对获取负chips时需要训练额外RPN网络的问题，论文提出了复用Faster RCNN中RPN网络的方法，新的获取正负chips的方法能极大地改善模型训练的效果。　　②针对SNIPER采样策略在目标检测时速度慢的问题，论文基于Kalman预测和ViBe前景检测算法，获得车辆目标的大致位置和尺度信息，并以此得到用于检测的chips，将面积更小的检测chips取代原有的图像金字塔，能显著提高目标检测的速度。　　③针对车辆目标匹配问题，本文提出了融合运动特征、表观特征和轨迹特征的匹配方法，根据轨迹的不同状态设计不同的匹配策略，兼顾了目标匹配的精度和速度。在利用表观特征时，本文在孪生网络的基础上，设计并训练了LeNet卷积神经网络，解决了相似目标的匹配问题；在利用轨迹特征时，本文通过DTW算法计算目标轨迹与类心轨迹间的距离，解决了长期遮挡时的目标匹配问题。　　综合上述改进，形成一种基于改进SNIPER采样策略和多特征融合的多尺度车辆目标的检测和跟踪算法。采集高速公路外场监控视频进行测试，结果表明与其它的目标检测和目标跟踪算法相比，论文提出的方法在速度和精度上均有提升，并在实际应用中取得了理想的检测和跟踪效果。

目录

1 绪论

1.1 研究背景及意义

1.2 国内外研究现状

1.3 主要内容及结构安排

2 相关技术研究及跟踪方案的提出

2.1 高速公路外场场景下车辆目标检测和匹配的难点

2.1.1 高速公路外场场景环境特点

2.1.2 高速露天场景车辆目标特点

2.2 关键技术研究

2.2.1 Faster R-CNN目标检测模型

2.2.2 多尺度车辆目标检测

2.2.3 目标匹配

2.3 整体跟踪方案提出

2.4 本章小结

3 基于改进SNIPER采样策略的多尺度车辆目标检测

3.1 引言

3.2获取正chips

3.2.1 Mean Shift 聚类算法

3.2.2正chips的获取方法

3.3 获取负chips

3.3.1 负chips的获取方法

3.4提出的多尺度车辆目标检测方法

3.4.1 kalman 滤波预测算法

3.4.2 Vibe前景目标检测算法

3.4.3提出的多尺度车辆目标检测

3.5本章小结

4 基于多特征融合的车辆目标匹配

4.1 引言

4.2 运动特征匹配

4.2.1 状态估计

4.2.2 运动特征相似性度量

4.3 表观特征匹配

4.3.1 孪生神经网络

4.3.2 制作训练数据集

4.3.3 模型设计与训练

4.3.4 表观特征相似性度量

4.4 轨迹特征匹配

4.4.1 DTW 算法

4.4.2 轨迹聚类

4.4.3 轨迹特征相似性度量

4.5 提出的车辆目标级联匹配策略

4.6 本章小结

5 实验结果及分析

5.1 实验环境

5.2评估指标

5.2.1 平均准确率均值

5.2.2 CLEAR MOT

5.3对比实验及分析

5.3.1 实验1：改进SNIPER 采样策略的模型训练

5.3.2 实验2：结合前景检测和轨迹预测的目标检测

5.3.3 实验3：融合多特征的目标匹配

5.3.4 实验4：综合验证实验

5.4 本章小结

6 总结与展望

参考文献

附 录

A. 作者在攻读学位期间发表的论文

B. 作者在攻读学位期间参与的项目

C. 学位论文数据集

致谢