基于检测、重识别和社会长短型记忆网络的多目标行人跟踪

摘要

运动目标检测和视频跟踪技术在民用和军用的许多领域中都有广泛的应用场景。目前,尽管在车站、银行和大型购物中心等公共场所使用摄像机已非常普遍,但在复杂背景及密集场景下,用于行人跟踪的自动监控技术仍然需要大量的人工干预。多目标跟踪因其学术价值和商业潜力,在计算机视觉中逐渐备受关注。研究多目标跟踪的主要目的是减少对人类的依赖,并自动完成复杂环境中目标的实时观察以及对感兴趣目标行为的分析和描述。近年,深度学习等技术的发展使得多目标跟踪算法得到极大提升,但是当目标发生形变、尺度变化及被遮挡等情况时,还是很容易导致目标跟踪失败。现有的实时多目标跟踪研究主要集中在相关性判别上,其本质上是一种实时关联方法,而无法构成完整的多目标跟踪。本文针对多目标跟踪提出新型网络称为(detection-reid-social lstm network,DRSN),该网络将检测和重识别(person re-identification,RE-ID)集成到一个网络中,并使用社会长短型记忆网络(social long short-term memory,Social-LSTM)对目标的轨迹进行预测。本文允许在共享模型中学习目标检测和重识别的外观嵌入,并结合被跟踪目标的社会特征与时域信息进行轨迹预测。在共享基本网络的情况下,该解决方案同时输出检测结果和相应的嵌入结果,成功地结合轨迹的预测结果对多个目标进行跟踪。相比于国内外多目标跟踪的研究,在密集场景下,本文的多目标行人跟踪算法在精度和准确度领域都处于领先的水平。