一种城市轨道交通车站行人跟踪与轨迹重建方法及系统

摘要

本发明公开了一种城市轨道交通车站行人跟踪与轨迹重建方法及系统，主要通过输入在各个区域的监控视频资料，然后输入待跟踪的行人的图像，系统能够生成行人到达目的地之前经过的所有区域，以及到达各个区域的时间，最后生成该行人具体的轨迹。首先通过每一帧图片进行行人检测，输入一个待检测行人的特征图片，提供抽取图片特征并通过特征从图像集检索目标，然后输出检索结果，最后输出行人的运动轨迹。

说明书

技术领域

本发明涉及城市轨道交通领域及公共卫生领域，尤其涉及一种基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建方法及系统。

背景技术

城市轨道交通的车站及列车是人员密集场所，在新型冠状病毒全国爆发的情况下，跟踪地铁上的行人(确诊病人及其密切接触者)的行程，成为一个至关重要的问题。如果存在一个感染者，那么跟踪的目标将是整节地铁车厢的人，通过传统人工对地铁站录像的观看的方式来跟踪大量的行人将会十分困难。

2019年我国城轨交通运营新增线路里程968.77公里，创历史新高，累计线路里程已达6730.3公里。发生恐怖袭击、公共卫生事件等重大突发事件时，作为相对人流密集、空间密闭的城市大运量交通方式，城市轨道交通系统的应急防控工作将极具挑战性。

目前，计算机视觉应用领域主要是人脸识别技术应用，针对密集人群下的视觉应用还没有准确的应用方法，密集人群下，视频条件无法达到现有人脸识别技术要求。

为了跟踪某一个行人，大都是通过组织大量的人员，观看各个摄像头的录像。但是由于城市轨道交通方便我们出行的同时，人员活动范围与流量也随之增大，这就为人工跟踪多个目标带来了非常大的难度。其次，城市轨道交通列车一般为四到六节车厢，如果跟踪目标在列车内走动，这又为工作人员增添更大困难。疫情期间，往往需要跟踪整节车厢的乘客，这对于人工跟踪方式来说，几乎不可能完成。

发明内容

为了解决现有技术中存在的技术问题，本发明公开了一种基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建方法，对于城市轨道交通系统的乘客的精准查找，准确定位，轨迹追踪，疫情期间人员管控具有重要的意义。

本发明采用的技术方案如下：

第一方面，本发明提供了一种基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建方法，如下：

获取已有的监控视频资料，构建行人数据集；

对目标行人进行检测，完成特定人物的行为理解；

对目标行人进行检索，得到目标行人；

构建目标行人的运动轨迹；

获取跟踪目标所处地区的地图信息，然后将检索目标的所有位置信息与时间信息，通过位置与地图上的确切位置进行匹配，在地图上得到所经过的所有位置的点，然后将各个点依时间顺序相连，能得到该目标行人的具体行程轨迹。

第二方面，本发明还提出了一种基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建系统，包括：

行人数据集生成模块，被配置为获取已有的监控视频资料，构建行人数据集；

目标行人检测模块，被配置为对目标行人进行检测，完成特定人物的行为理解；

目标行人检索模块，被配置为对目标行人进行检索，得到目标行人；

目标行人运动轨迹构建模块，被配置为构建目标行人的运动轨迹；

形成轨迹生成模块，被配置为获取跟踪目标所处地区的地图信息，然后将检索目标的所有位置信息与时间信息，通过位置与地图上的确切位置进行匹配，在地图上得到所经过的所有位置的点，然后将各个点依时间顺序相连，能得到该目标行人的具体行程轨迹。

作为进一步的技术方案，所述的目标行人运动轨迹构建模块，被配置为将连续时间下目标物所处的位置，连接并汇总到其轨迹中，根据一个或多个轨迹字段确定轨迹，结果会以线对象或面对象表示轨迹，将某个行人的检索结果放在一起，通过计算机对时间戳进行排序，就能得到该行人的按时间顺序的运动结果，并且根据摄像头编号即可得知该目标的运动情况。

第三方面，本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前面所述方法的步骤。

第四方面，本发明还提出了一种轨迹预测装置，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行前面所述方法的步骤。

本发明与现有技术相比所具有的有益效果：

本发明能够帮助城市轨道交通运营部门，迅速的查找确定相关人员的信息，快速的判断密切接触者的信息并为政府相关部门的防控提供信息支持。能够大幅的缩短对可疑人员特别是密切接触者的排查及确定时间，迅速的确定人员，协助政府迅速的采取相应的措施，大幅降低可疑人员的影响范围及影响人员的数量。是有效的、迅速的控制疫情蔓延的重要途径。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的流程图；

图2是本发明行人数据集构建方法；

图3是本发明的行人检索的示意图；

图4是本发明所使用的ResNet50算法来进行行人重识的Baseline流程图；

图5是本发明的行人相似度计算使用的神经网络的架构和流程图；

图6是本发明行人轨迹重现示意图；

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非本发明另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

正如背景技术所介绍的，现有技术中存在不足，新型冠状病毒Covid-19的爆发对我国各行各业都产生了巨大的影响。在许多大城市，地铁线路非常完善，大多数人都会选择乘坐做地铁出行。这也从而带来了一些问题，如果某个已经感染了病毒的人乘坐地铁，就需要跟踪整节车厢的乘客，并对他们的行程进行刻画。为了解决如上的技术问题，本发明基于计算机视觉领域的前沿技术，针对当前快速追踪城市轨道交通车站和列车上确诊(疑似)病例、密切接触者实际需求，提出结合：1)行人检测技术；2)行人重识别技术，对视频中指定的人(确诊(疑似)病例)及其密切接触者进行跟踪，并重构轨迹的一种方法。为精细化常态化疫情防控提供管控方法。本发明方法填补了领域空白。

本发明的一种典型的实施方式中，如图1所示，一种城市轨道交通车站行人跟踪与轨迹重建方法，具体过程如下：

S1、行人数据集的构建：

1.1获取已有的监控视频资料

1.2通过人工标注或者检测算法从获取的监控视频资料中获得行人数据，完成行人数据集的构建；

将行人数据集分为训练集、验证集、Query、Gallery，在训练集上进行模型的训练，得到模型后对Query与Gallery中的图片提取特征计算相似度，对于每个Query在Gallery中找出前N个与其相似的图片，训练、测试中人物身份不重复，在验证集中效验训练结果。

S2、基于行人数据集的目标行人检测：通过应用目标区域的像素点视频分析算法完成目标跟踪、行为理解，目标检测的结果直接决定着智能视觉监控系统的整体性能；具体步骤如下：

2.1采用目标区域像素点视频分析算法从图像中识别出特定的人物；

2.2根据多张图像的识别结果，完成特定人物的轨迹还原；

2.3最后，根据特定人物的轨迹并结合算法，完成特定人物的行为理解。

S3、基于目标检测结果的目标行人检索：采用resNet50残差神经网络来对待检测目标行人进行检索，具体步骤如下：

3.1在步骤S2的数据集中包含有P个人的K张图片，先对行人训练集中的所有的图片进行Random Erasing Augmentation，随机数据擦除，来进行数据的增广；

3.2将行人数据集送入到resNet50残差网络对数据集进行特征提取；

3.3用Triplet loss与Center loss对提取的特征图片进行优化；

3.4将提取的特征送入BN层进行BatchNorm特征归一化，

3.5将归一化后的特征数据送入没有偏置单元的全连接层；

3.6最后对处理后的特征数据进行ID损失优化与标签平滑；

3.7对行人进行检索，得到目标行人。

S4、目标行人轨迹：

将连续时间下目标物所处的位置，连接并汇总到其轨迹中，根据一个或多个轨迹字段确定轨迹，结果会以线对象或面对象表示轨迹，将某个行人的检索结果放在一起，通过计算机对时间戳进行排序，就能得到该行人的按时间顺序的运动结果，并且根据摄像头编号即可得知该目标的运动情况；

S5、轨迹重建：首先获取跟踪目标所处地区的地图信息，然后将所检测出的目标的所有位置信息与时间信息，通过位置与地图上的确切位置进行匹配，会在地图上得到所经过的所有位置的点，然后我们将各个点依时间顺序相连，就能得到该目标的具体行程轨迹图。

根据上述技术方案：所述S2中的目标行人的检测使用的是YOLOV3算法。

根据上述技术方案：所述S3中的目标行人的检索中对于某个行人的最终确定，还需要进一步地进行相似度对比，才能准确地从数据库中检索出行人，这里采用的是对比损失，将输出的概率最大的几个行人，送入一个孪生网络即Siamese network。

根据上述技术方案：所述孪生网络的输入为一对图片Ia和Ib，这两张图片可以为同一行人，也可以为不同行人，每一对训练图片都有一个标签y，其中y＝1表示两张图片属于同一个行人即正样本对，反之y＝0表示它们属于不同行人即负样本对，之后对比损失函数写作：

通过最小化Lc，最后可以使得正样本对之间的距离逐渐变小，负样本对之间的距离逐渐变大，从而满足行人重识别任务的需要。

根据上述技术方案：所述轨迹重建中目标中间的运动过程通过各个摄像头的逐帧录像播放进行动态重现。

进一步的，本实施例还提供了一种基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建系统，如下：

行人数据集生成模块，被配置为获取已有的监控视频资料，构建行人数据集；具体的，获取已有的监控视频资料，通过人工标注或者检测算法从获取的监控视频资料中获得行人数据，完成行人数据集的构建；

目标行人检测模块，被配置为对目标行人进行检测，完成特定人物的行为理解；具体的，采用目标区域像素点视频分析算法从图像中识别出特定的人物；根据多张图像的识别结果，完成特定人物的轨迹还原；最后，根据特定人物的轨迹并结合算法，完成特定人物的行为理解。

目标行人检索模块，被配置为对目标行人进行检索，得到目标行人；具体的，采用resNet50残差神经网络来对待检测目标行人进行检索，在目标行人检测模块的数据集中包含有P个人的K张图片，先对行人训练集中的所有的图片进行Random ErasingAugmentation，随机数据擦除，来进行数据的增广；将行人数据集送入到resNet50残差网络对数据集进行特征提取；用Triplet loss与Center loss对提取的特征图片进行优化；将提取的特征送入BN层进行BatchNorm特征归一化，将归一化后的特征数据送入没有偏置单元的全连接层；最后对处理后的特征数据进行ID损失优化与标签平滑；对行人进行检索，得到目标行人。

目标行人运动轨迹构建模块，被配置为构建目标行人的运动轨迹；具体的，被配置为将连续时间下目标物所处的位置，连接并汇总到其轨迹中，根据一个或多个轨迹字段确定轨迹，结果会以线对象或面对象表示轨迹，将某个行人的检索结果放在一起，通过计算机对时间戳进行排序，就能得到该行人的按时间顺序的运动结果，并且根据摄像头编号即可得知该目标的运动情况。

形成轨迹生成模块，被配置为获取跟踪目标所处地区的地图信息，然后将检索目标的所有位置信息与时间信息，通过位置与地图上的确切位置进行匹配，在地图上得到所经过的所有位置的点，然后将各个点依时间顺序相连，能得到该目标行人的具体行程轨迹。

进一步的，所述的目标行人运动轨迹构建模块，

进一步的，本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前面所述的基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建方法的步骤。

进一步的，本实施例还提供了一种轨迹预测装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行前面所述的基于行人重识别的城市轨道交通车站行人跟踪与轨迹重建方法的步骤。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。