一种基于目标检测和UWB定位的车辆跟踪方法

摘要

本发明公开了一种基于目标检测和UWB定位的车辆跟踪方法，包括获取监控区域的俯视图作为基准图，选取基准图中的任意一点作为原点并建立平面坐标系，基于原点得到基准图中每个像素点的相对位置坐标；获取监控枪机所拍摄的监控图像中的图像坐标和相对位置坐标之间的H矩阵；对进入监控区域的车辆进行注册绑定注册编号，并基于UWB基站确定该车辆的相对位置坐标；通过监控枪机获取进入监控区域的车辆的图像，根据H矩阵得到车辆对应的目标框的中心点的相对位置坐标；对UWB基站的数据和监控枪机的数据进行配准；获取同一注册编号下车辆所对应的所有的UWB定位以及车辆的图像，实现对车辆的跟踪。本发明用于实现准确的车辆跟踪。

说明书

技术领域

本申请属于人工智能安全监控领域，具体涉及一种基于目标检测和UWB定位的车辆跟踪方法。

背景技术

对于各类物资仓库、监狱等场所，安防监控至关重要。目前缺乏有效的手段对于车辆进行全过程追踪，通常需要监管人员陪同，或者专人对进行监控长时间的校对。

现在的目标跟踪技术通常采用监控枪机的画面跟踪或者基于定位信息的位置跟踪。采用监控枪机跟踪时，通常采用基于卷积网络的深度学习目标检测模型；卷积网络通过卷积缩小图像特征的高度和宽度并增大维度来进行特征提取，通过提取的特征来探测目标，实际工程大多使用YOLOv5算法，YOLOv5是一个较为准确且高效的算法，然而对于车辆的跟踪，需要调用实时信息，仍需要进一步提升算法的运行速度；采用基于定位信息的位置跟踪，大多采用基于RFID、红外或者UWB进行定位，其中基于UWB的定位，通过基站和标签之间消息传递的时间进行定位，定位信息较为准确，然而单独使用只能看到相应位置，容易因定位漂移造成车辆跟踪出错。

发明内容

本申请的目的在于提供一种基于目标检测和UWB定位的车辆跟踪方法，用于实现准确的车辆跟踪。

为实现上述目的，本申请所采取的技术方案为：

一种基于目标检测和UWB定位的车辆跟踪方法，所述车辆跟踪由监控枪机构成监控区域，并在监控区域中安装UWB基站，对进入监控区域的车辆安装UWB标签，所述基于目标检测和UWB定位的车辆跟踪方法，包括：

步骤1、获取监控区域的俯视图作为基准图，选取基准图中的任意一点作为原点并建立平面坐标系，基于原点得到基准图中每个像素点的相对位置坐标；

步骤2、获取监控枪机所拍摄的监控图像并对监控图像进行校正，在校正后的监控图像中选择m个关键点，获取m个关键点的图像坐标和相对位置坐标，并根据所获取的m个关键点的图像坐标和相对位置坐标计算得到H矩阵；

步骤3、对进入监控区域的车辆进行注册绑定注册编号，并基于UWB基站确定该车辆的相对位置坐标；

步骤4、通过监控枪机获取进入监控区域的车辆的图像，通过YOLOv5模型获取图像中车辆所在的目标框，并根据H矩阵得到目标框的中心点对应于基准图中的相对位置坐标；

步骤5、对UWB基站的数据和监控枪机的数据进行配准，包括：

取当前时刻监控枪机所获取的图像中所有车辆的相对位置坐标的集合A′＝{(x′

取集合A′中第i，i∈(1,2,3,…,N)辆车p′

式中，o

步骤6、根据配准后的数据获取同一注册编号下车辆所对应的所有的UWB定位以及车辆的图像，实现对车辆的跟踪。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述基于原点得到基准图中每个像素点的相对位置坐标，包括：

选取基准图中的n个关键点，测绘得到关键点相对于原点的相对位置坐标，采用ArcGIS输入n个关键点的相对位置坐标进行栅格配准，得到基准图中每个像素点相对于原点的相对位置坐标。

作为优选，所述监控区域内包含多个监控枪机，则需要对每一个监控枪机进行拍摄区域绑定，所述拍摄区域绑定包括：

根据每一监控枪机的视角拍摄范围在基准图中框选对应的矩形框作为需要绑定的拍摄区域；

以拍摄区域左下角和右上角的相对位置坐标作为绑定数据与监控枪机建立对应关系。

作为优选，所述监控区域内包含多个监控枪机，则需要根据每一个监控枪机所绑定的拍摄区域判断车辆在监控区域中的当前所处区域，所述判断车辆在监控区域中的当前所处区域，包括：

遍历所有监控枪机得到车辆在基准图中的相对位置坐标；

若车辆的相对位置坐标处于一个拍摄区域中，则将该拍摄区域作为车辆的当前所处区域，且该拍摄区域对应的监控枪机作为当前使用监控枪机；

若车辆的相对位置坐标处于多个拍摄区域中，则仍保持车辆的当前所处区域以及当前使用监控枪机不变；

令车辆的相对位置坐标为(b

作为优选，所述YOLOv5模型为改进型YOLOv5模型，所述改进型YOLOv5模型采用两层结构的检测网络，并在主干网络和头网络之间增加了高效通道注意力ECA模块。

本申请提供的基于目标检测和UWB定位的车辆跟踪方法，具有以下优点：通过UWB和监控枪机的结合，解决了仅基于监控相机的跟踪存在监测丢失目标、切换相机后无法确定对象身份的问题；通过UWB基站的数据和监控枪机的数据的配准，精确得出车辆处于整个区域中的相对位置和轨迹，以及在监控中的行为，从而连续的对注册后的每一车辆进行全过程跟踪并留痕，方便后续调用查核。

附图说明

图1为本申请的基于目标检测和UWB定位的车辆跟踪方法的流程图；

图2为本申请监控枪机对应的拍摄区域重叠的一种实施例示意图；

图3为本申请改进型YOLOv5模型的结构示意图；

图4为本申请高效通道注意力ECA模块的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

在一个实施例中，为了解决现有技术中车辆跟踪容易出现跟踪出错或目标丢失的问题，提供一种基于目标检测和UWB定位的车辆跟踪方法。

在进行车辆跟踪时，确定需要进行跟踪的监控区域，并且该监控区域由监控枪机的视角拍摄范围所覆盖，同时在监控区域中安装UWB基站，并对进入监控区域的车辆安装UWB标签，实现结合图像和UWB的车辆跟踪。

如图1所示，本实施例的基于目标检测和UWB定位的车辆跟踪方法，包括以下步骤：

步骤1、获取监控区域的俯视图作为基准图，选取基准图中的任意一点作为原点并建立平面坐标系，基于原点得到基准图中每个像素点的相对位置坐标。

为了便于后续监控图像对应数据与UWB系统对应数据的配准，本实施例首先获取基准图作为基本配准图，本实施例中确定基准图中每个像素点的相对位置坐标时，选取基准图中的n个(n大于等于6，考虑到精度和处理速度优选8个)关键点，测绘得到关键点相对于原点的相对位置坐标，采用ArcGIS(即支持用户绘制地图的ArcGIS平台，也就是地图软件ArcGIS)输入n个关键点的相对位置坐标进行栅格配准，得到基准图中每个像素点相对于原点的相对位置坐标。

需要说明的是，在进行测绘时可以是人为进行测绘，也可以采用距离度量方法由计算机自动完成测绘。且在选择关键点时随机选取即可。

骤2、获取监控枪机所拍摄的监控图像并对监控图像进行校正，在校正后的监控图像中选择m个(m大于等于6，考虑到精度和处理速度优选8个)关键点，获取m个关键点的图像坐标和相对位置坐标，并根据所获取的m个关键点的图像坐标和相对位置坐标计算得到H矩阵。

在进行图像校正时，首先通过棋盘板和opencv中calibrateCamera函数计算出所有监控枪机内参以及畸变系数，然后通过opencv中undistort函数对监控枪机图像进行校正。

m个关键点的图像坐标即为关键点在监控图像中的坐标，由于监控枪机所拍摄的监控图像为监控区域的一部分，因此在监控图像中选取的关键点一定存在于基准图中，可人为将m个关键点在基准图中进行标注，并根据标注得到m个关键点在基准图中的相对位置坐标。最后利用opencv中findHomography函数完成H矩阵的计算。

容易理解的是，当存在多个监控枪机时，需要针对每一监控枪机计算H矩阵，以便于后续得到车辆在基准图中的相对位置坐标。

步骤3、对进入监控区域的车辆进行注册绑定注册编号，并基于UWB基站确定该车辆的相对位置坐标。

为了简化计算过程，本实施例中UWB系统直接使用经过ArcGIS进行栅格配准后的基准图作为底图，也就是本实施例中通过UWB基站获取的UWB定位即为基准图中相对于原点的相对位置坐标。

为了避免车辆在行驶过程中由于监控相机的切换而导致跟踪丢失的问题出现，本实施例中对进入监控区域的车辆进行注册。由于本申请事先对每一需要进入监控区域的车辆安装UWB标签，因此可在UWB标签中绑定车辆信息，当UWB标签与UWB基站进行信息交互时，UWB标签将车辆信息发送至UWB标签，并通过后台服务器对新收到的车辆信息绑定注册编号完成注册。即本实施例中确定的每一个UWB定位(即相对位置坐标)均对应有一个标志车辆信息的注册编号。在后台服务器一定时间未收到某一注册编号的UWB定位后，即对该注册编号进行注销。

步骤4、通过监控枪机获取进入监控区域的车辆的图像，通过YOLOv5模型获取图像中车辆所在的目标框，并根据H矩阵得到目标框的中心点对应于基准图中的相对位置坐标。

在获取车辆的图像时，若监控区域内包含多个监控枪机，则需要对每一个监控枪机进行拍摄区域绑定，所述拍摄区域绑定包括：根据每一监控枪机的视角拍摄范围在基准图中框选对应的矩形框作为需要绑定的拍摄区域；以拍摄区域左下角和右上角的相对位置坐标作为绑定数据与监控枪机建立对应关系。

需要说明的是，若监控枪机的视角拍摄范围为矩形，则直接在基准图中按照视角拍摄范围进行框选即可，若监控枪机的视角拍摄范围为非矩形，则按照示教拍摄范围的最大内接矩形在基准图中进行框选。

即获取实际的所有监控枪机的组成的总覆盖范围A作为监控区域，A如式：

A＝{a

其中a

其中

如图2所示，若监控区域内包含多个监控枪机，则需要根据每一个监控枪机所绑定的拍摄区域判断车辆在监控区域中的当前所处区域，所述判断车辆在监控区域中的当前所处区域，包括：遍历所有监控枪机得到车辆在基准图中的相对位置坐标；若车辆的相对位置坐标处于一个拍摄区域中，则将该拍摄区域作为车辆的当前所处区域，且该拍摄区域对应的监控枪机作为当前使用监控枪机；若车辆的相对位置坐标处于多个拍摄区域中，则仍保持车辆的当前所处区域以及当前使用监控枪机不变。

如图中车辆经过监控枪机的拍摄区域1时，打开拍摄区域1对应的监控枪机，当车辆位于拍摄区域1和2的公共区域时仍只打开拍摄区域1对应的监控枪机，当车辆到达拍摄区域2后打开拍摄区域2对应的监控枪机，并关闭拍摄区域1对应的监控枪机。

其中判断车辆的相对位置坐标是否处于待判断的拍摄区域时，令车辆的相对位置坐标为(b

如图3所示，为了得到更好的目标识别效果，本实施例使用改进型YOLOv5进行目标检测。改进主要两点：1)YOLOv5对于车辆以及部署的监控枪机来说，图像帧中的车辆是较大的目标，因此去除YOLOv5在最高尺度的融合和预测，采用两层结构两层的检测网络，在保持检测效果的同时，节省了检测的时间。2)在主干网络和头网络之间加入高效通道注意力ECA模块聚焦位置，产生更具有分辨性的特征，并使网络获取更多的上下文信息，取得更加准确的检测结果。

因此改进型YOLOv5模型包括主干网络、头网络和检测网络，其中主干网络包括由输入侧至输出侧依次连接的Focus模块、(第一)Conv模块、(第一)C3模块(BottleneckCSP*3)、(第二)Conv模块、(第二)C3模块、(第三)Conv模块、(第三)C3模块、(第四)Conv模块、Spp模块、(第四)C3模块和高效通道注意力ECA模块。

头网络包括沿数据流向依次连接的(第五)Conv模块、(第一)Upsample模块、(第一)Concat模块、(第五)C3模块、(第六)Conv模块、(第二)Upsample模块、(第二)Concat模块、(第六)C3模块、(第七)Conv模块、(第三)Concat模块、(第七)C3模块、(第八)Conv模块、(第四)Concat模块、(第八)C3模块，并且(第五)Conv模块的输入与高效通道注意力ECA模块的输出连接，(第一)Concat模块的输入还与(第三)C3模块的输出连接，(第二)Concat模块的输入还与(第二)C3模块的输出连接，(第三)Concat模块的输入还与(第六)Conv模块的输出连接，(第四)Concat模块的输入还与(第五)Conv模块的输出连接。

检测网络包括与(第七)C3模块的输出连接的Conv(512,S*S*3*(c+5),3,2)模块以及与Conv(512,S*S*3*(C+5),3,2)模块连接的Sigmoid函数，还包括与(第八)C3模块的输出连接的Conv(512,S*S*3*(c+5),3,2)模块以及与Conv(512,S*S*3*(C+5),3,2)模块连接的Sigmoid函数。需要说明的是，各模块前面的第一、第二等仅为了便于在结构描述中区别相同模块，不作为对模块本身限定。并且改进型YOLOv5模型中的Focus模块、Conv模块、C3模块、Spp模块等均为未改进的现有的YOLOv5模型中的模块，因此本实施例不对各模块的结构进行展开描述。

其中，高效通道注意力ECA模块如图4所示，图中，X是输入特征，H、W、C分别是输入特征的高度、宽度以及通道数量，X经过平均池化得到中间输出O

在对改进型YOLOv5模型进行训练时，通过KITTI2012、KITTI2015、COCO、以及自标注的车辆数据集合进行训练，首先迭代训练50000次，进行粗训练；然后迭代20000次进行精训练，学习率分别为0.0001和0.001。

步骤5、对UWB基站的数据和监控枪机的数据进行配准，包括：

取当前时刻监控枪机所获取的图像中所有车辆的相对位置坐标的集合A′＝{(x′

取集合A′中第i，i∈(1,2,3,…,N)辆车p′

式中，o

车辆p

步骤6、根据配准后的数据获取同一注册编号下车辆所对应的所有的UWB定位以及车辆的图像，实现对车辆的跟踪。

本实施例将车辆在注册和注销之前动态连续的包含目标检测结果的图像转换为视频保存到本地，同时存储位置轨迹到mysql。从而连续地对于注册后每一辆车辆进行全过程现场跟踪并留痕，方便后续数据的查阅。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。