一种规劝行人及时佩戴口罩的巡视车及其控制方法

摘要

本发明属于监测预警安保技术领域，具体涉及一种规劝行人及时佩戴口罩的巡视车及其控制方法。本发明针对室内公共场合，通过巡检系统自身所携带深度相机采集的RGB彩色图像和深度图像完成室内栅格地图的构建；并通过相邻图片之间的特征匹配计算出检测巡视车相对于世界坐标系的位置，完成自身的定位；通过构建卷积神经网络模型，能够完成对于行人是否佩戴口罩的特征提取和识别；通过路径规划导航以及障碍物避障模块完成检测巡视车自主移动至目标的功能；最终通过目标跟随模块以及语音模块完成了巡检系统对未佩戴口罩行人的规劝功能以及对于防疫知识的宣传工作。

说明书

技术领域

本发明属于监测预警安保技术领域，具体涉及一种规劝行人及时佩戴口罩的巡视车及其控制方法。

背景技术

自新型冠状病毒被发现以来，在公共场合佩戴口罩成为了预防病毒传播的有效手段，同时也是每一个合格的公民应该去遵守的责任。在火车站、商场、电影院等人员密集的地方，除了通过宣传手段呼吁大家主动佩戴口罩之外，更需要结合现阶段科技的发展，通过科技的手段主动规劝未佩戴口罩的人员及时佩戴口罩，降低病毒传播的可能性。通过室内口罩佩戴智能检测巡视车，在公共场合对过往的人员进行佩戴口罩的实时检测与劝导，可以有效的提升口罩佩戴监管的效率，对于疫情防控工作有着重要的意义。

实现室内口罩佩戴智能检测巡视车系统的设计必须要有相应的技术支持，来完成自主定位与地图构建、自主导航、目标识别等任务。然而通过智能检测巡视车，进行未佩戴口罩行为自动检测及主动规劝还没能有效投入到现实使用中，公共场所通过智能检测巡视车来对未佩戴口罩行为检测以及规劝的系统需要尽快开发并投入应用中来有效辅助疫情的防控工作。

同时，如果采用相关工作人员在公共场合进行监管的方法，不仅投入工作人员的数量比较大，而且容易引起与未带口罩人员之间不必要的冲突。而该智能检测巡视车可以基于深度学习的方法对人员进行多目标检测，获取未佩戴口罩目标的位置信息，通过同时定位与地图构建系统完成自身的位置估计，并通过最优路径规划算法，自主导航至目标人员位置进行规劝。这样对于防疫工作的开展不仅节约了人力成本，而且可以通过智能检测巡视车完成对人们防疫知识的宣传教育工作，有效提升了大家对于安全防疫的意识，具有重要的应用前景。

发明内容

本发明的目的在于提供一种规劝行人及时佩戴口罩的巡视车。

本发明的目的通过如下技术方案来实现：包括地图构建模块、巡视车定位模块、口罩佩戴检测模块、路径规划导航模块、障碍物避障模块、目标跟随及语音提醒模块；

所述的地图构建模块根据巡视车上搭载的深度相机所拍摄获取到的RGB图像信息以及深度信息进行地图的构建，在首次巡航时根据所获取到的数据建立二维栅格地图，并将所建立的二维栅格地图传递到路径规划导航模块；所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；

所述的巡视车定位模块通过世界坐标系、基准坐标系、相机坐标系之间的转换关系，完成巡视车自身的定位，并将定位信息传送至路径规划导航模块；

所述的口罩佩戴检测模块将巡视车上搭载的深度相机所拍摄获取到的图像信息输入训练好的口罩检测网络中，进行口罩检测，获取所有未佩戴口罩人员的位置信息，将距离最近的人员位置信息传送至路径规划导航模块；

所述的路劲规划导航模块基于地图构建模块所建立的初始全局地图、巡视车定位模块的自身定位信息、口罩佩戴检测模块所传送过来的距离最近的行人位置信息，进行自主路径规划，并将巡视车周围环境的实时信息以及自身位置的实时数据传送到障碍物避障模块以及语音提醒模块；

所述的障碍物避障模块巡视车上搭载的深度相机实时采集到的周围环境信息，判断全局路径规划过程中是否遇到了动态障碍物，如果检测到动态障碍物的存在，则将障碍物在世界坐标系的位置信息实时传送到地图构建模块以及路径规划导航模块，通过路径规划导航模块进行局部路径的规划，更改全局路径规划的最优路线获取绕过障碍物后的最优局部路径规划；

当巡视车移动至目标所在位置后，目标跟随及语音提醒模块进行佩戴口罩的语音提示，通过对于目标是否佩戴口罩的实时检测，选择是否启用目标跟随模式；如果目标遵从提示主动佩戴口罩，巡视车则自主移动至下一个目标；如果目标人员未遵从提示佩戴口罩并试图离去，则启用目标跟随模式，通过深度相机实时获取检测巡视车与目标的相对位置信息，依据该相对位置对目标进行实时跟随，并将语音规劝模式切换至语音批评模式，在跟随目标人员的同时对其通过语音模块进行批评教育。

本发明的目的还在于提供一种规劝行人及时佩戴口罩的巡视车控制方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：建立巡视区域的二维栅格地图；

将巡视车携带的深度相机采集到的RGB彩色图片信息和深度信息传送至前端视觉里程计，根据相邻图像之间运动的估计推算出相邻图像间相机的运动和局部地图的样子，并将不同时刻视觉里程计测量的相机位姿，以及回环检测的信息传入到后端非线性优化，得到全局一致的轨迹和地图；使用回环检测判断巡视车是否到达过先前的位置，如果检测到回环，则将信息提供给后端处理；后端根据估计的轨迹建立与任务要求一致的地图模型；

所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；

步骤2：巡视车定位；

基于建立的二维栅格地图，获取巡视车在二维栅格地图的初始位置；巡视车所携带的深度相机将三维世界中的坐标点通过针孔相机模型映射到二维图像平面，对所获取的相邻两帧图像进行ORB特征点的提取，对每一帧图像分别进行一定阈值特征点的提取，再测量每一个特征点的描述子距离，并对其进行排序，取最近的一个作为匹配点；根据匹配好的点对，利用ICP的方法来解决两组3D点之间的运动估计问题，从而根据相邻两帧的图像获取相机的相对位姿，将该相对位姿关系映射到世界坐标系下，得到巡视车的实时位置信息；

步骤3：口罩佩戴检测；

将巡视车所携带的深度相机采集到的RGB彩色图片信息传入训练好的口罩检测网络中，获取未佩戴口罩行人的位置信息，选择相对距离最短的行人位置信息作为规劝目标；

步骤4：路径规划导航及障碍物避障；

建立全局最优路径并将最优路径所对应的决策信息下发到巡视车的执行机构，通过决策信息中所对应的线速度、角速度指令驱动巡视车按照规划的最优路径执行运动操作，执行机构所携带的编码器会实时反馈回巡视车实际所执行的线速度、角速度数据，从而进行不断优化巡视车位置，直至逼近决策信息所下发的位姿；

巡视车通过路径规划移动至规劝目标的过程中，通过外部所携带的深度相机获取到障碍物的位置信息，根据障碍物的位置信息进行避障；首先通过所获取到图片的深度信息得到周围环境的距离值；将该距离值与首次地图构建所预存的环境地图距离值进行对比，如果该距离值与预存的环境地图距离值的差值小于所设定的阈值则判定其为障碍物，并持续探测障碍物的状态；根据前后两次探测到的障碍物的距离和角度，判断障碍物的运动状态；当检测系统移动至障碍物一定距离时，根据障碍物的运动状态采取相应的避障方法进行避障运动，直至最终到达目标人员所在位置；

步骤5：目标跟随及语音提醒；

巡视车移动至目标位置后进行语音播报提醒，提醒目标人员佩戴口罩，并对其进行实时监测；如果目标人员在语音提示后一定时间内完成佩戴口罩动作，则移动至下一个目标人员的位置；如果目标人员在语音提示后未完成口罩佩戴则再次提示；如果目标人员在语音提示后试图离开，则启动目标跟随，通过深度相机采集获取被跟随目标身份的特征，锁定该跟随目标之后对跟随目标实时跟踪，同时语音提示从规劝模式调整为批评模式，并间隔一定时间进行一次播报。

本发明还可以包括：

所述的步骤1中建立二维栅格地图的方法具体为：

步骤1.1：设定地图尺寸、每个栅格所代表的实际距离、栅格阈值；

步骤1.2：读入深度相机的图像数据，并对数据进行预处理操作；

步骤1.3：初始化将整个栅格区域都设置为黑色，代表未知区域；

步骤1.4：遵从周边环境从近到远进行检测的原则，将检测到的区域置为灰色，代表深度相机所能检测到的范围；通过像素点的数值来统计每个栅格被障碍投影的次数，当该次数大于设定阈值时，则认为对应的栅格地图被障碍占据，将其设置为占用区域；小于该阈值的区域设置为空闲区域，代表该区域可以顺利通过；

步骤1.5重复执行步骤1.4，直至二维栅格地图的建立。

所述的步骤3中口罩检测网络的训练方法为：

在训练过程中首先进行图像数据预处理，对所用到的图像数据进行标注信息的提取；再将图像数据分批送入特征提取网络中，通过特征提取网络获取每张图片所生成的不同预测特征层；将不同的预测特征层传入区域生成网络进行候选框的生成，使用滑动窗口在预测特征层上进行滑动生成一系列锚点，并对不同的预测特征层通过卷积层进行分类预测以及边界框回归预测，将预测结果应用于所生成的锚点获取所有的候选框信息，并通过非极大值抑制处理操作对所生成的候选框按照设定的阈值进行筛选；最后每张图片的每个特征层按照从低到高的置信度排序；将区域生成网络所生成的候选框信息传送到网络的后半部分，首先进行展平操作，经过两个全连接层以及网络的分类预测器和边界框回归预测器得到最终的输出；再对输出进行反向传递，通过一批一批的图像数据不断优化网络参数，训练至所设定的迭代次数，获取最优的口罩检测网络模型。。

本发明的有益效果在于：

本发明针对室内公共场合，通过巡检系统自身所携带深度相机采集的RGB彩色图像和深度图像完成室内栅格地图的构建；并通过相邻图片之间的特征匹配计算出检测巡视车相对于世界坐标系的位置，完成自身的定位；通过构建卷积神经网络模型，能够完成对于行人是否佩戴口罩的特征提取和识别；通过路径规划导航以及障碍物避障模块完成检测巡视车自主移动至目标的功能；最终通过跟随模块以及语音模块完成了巡检系统对未佩戴口罩行人的规劝功能以及对于防疫知识的宣传工作。本发明可以有效辅助相关工作人员完成防疫工作，不仅节约了防疫工作投入的人力成本，同时也避免了由于工作人员规劝行人佩戴口罩而产生的不必要冲突问题。

附图说明

图1为本发明中一种规劝行人及时佩戴口罩的巡视车的系统架构图。

图2为本发明中地图构建模块实现流程图。

图3为本发明中巡视车定位模块实现流程图。

图4为本发明中口罩佩戴检测模块实现流程图。

图5为本发明中路径规划导航模块实现流程图。

图6为本发明中障碍物避障模块实现流程图。

图7为本发明中目标跟随模块实现流程图。

图8为本发明中语音提醒模块实现流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

本发明基于当前疫情防控工作中室内公共场合未佩戴口罩行为监测的需求，提供了一种基于自主导航技术规劝行人及时佩戴口罩的自动巡视车及其控制方法。通过深度相机采集的视频流建立室内的栅格地图，同时利用深度学习网络来完成未佩戴口罩人员的检测工作；通过决策系统进行路径规划，下发运动指令到执行机构，完成对目标位置的自主导航；同时使用语音播报模块对室内公共场合未佩戴口罩的行人进行规劝并进行防疫知识宣传的工作，不仅完成了防疫知识的宣传，也为室内公共场合规劝行人佩戴口罩提供了技术支持，对防疫工作有着重大的意义。

一种规劝行人及时佩戴口罩的巡视车，包括：地图构建模块、巡视车定位模块、口罩佩戴检测模块、路径规划导航模块、障碍物避障模块、目标跟随模块、语音提醒模块；

地图构建模块：负责根据检测巡视车上搭载的深度相机所拍摄获取到的RGB图像信息以及深度信息进行室内地图的构建。在系统首次巡航时会根据所获取到的数据建立室内的栅格地图，栅格地图主要包括空闲区域、占用区域、未知区域三个部分，空闲区域指系统可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指系统还未进行探索的区域。通过系统的初始巡视建立室内的全局地图，并将所建立的二维栅格地图传递到路径规划导航模块中。

巡视车定位模块：通过世界坐标系、基准坐标系、相机坐标系之间的转换关系，完成巡视系统自身的定位。由所携带的深度相机采集到的环境图片通过相机针孔模型原理将三维空间信息映射到二维平面上获取相机坐标系相对于世界坐标系的一个位姿变换关系，由于基准坐标系与相机坐标系之间的相对位置关系固定，因此可以通过相机坐标系与世界坐标系之间的位置关系以及基准坐标系相对于相机坐标系之间的位置关系推算出基准坐标系相对于世界坐标系的位置关系，从而完成检测巡视车的实时定位功能，并将此定位信息传送至路径规划导航模块中。

口罩佩戴检测模块：在训练过程中首先进行图像数据预处理，对所用到的图像数据进行标注信息的提取；再将图像数据分批送入特征提取网络中，通过特征提取网络获取每张图片所生成的不同预测特征层；将不同的预测特征层传入区域生成网络进行候选框的生成，主要使用3*3的滑动窗口在预测特征层上进行滑动生成一系列锚点，并对不同的预测特征层通过1*1的卷积层进行分类预测以及边界框回归预测，将预测结果应用于所生成的锚点获取所有的候选框信息，并通过非极大值抑制处理操作对所生成的候选框按照一定阈值进行筛选，最后每张图片的每个特征层按照从低到高的置信度排序仅保留2000个候选框；将区域生成网络所生成的候选框信息传送到网络的后半部分，首先进行展平操作，经过两个全连接层以及网络的分类预测器和边界框回归预测器得到最终的输出；再对输出进行反向传递，通过一批一批的图像数据不断优化网络参数，训练至所设定的迭代次数，获取最优的佩戴口罩检测网络模型。将检测巡视车上搭载的深度相机所拍摄获取到的图像信息，通过训练得到的口罩检测网络模型对室内公共场合中的行人进行口罩检测，通过对佩戴口罩与未佩戴口罩的行人进行分类，来判断该人员是否佩戴口罩。如果所拍摄到的图片中有行人未佩戴口罩，则将所有未佩戴口罩人员的位置信息上传到检测巡视车，通过对于位置信息的分析，判断未佩戴口罩的人员中哪个人员与检测巡视车的相对位置最近，从而将距离最近的人员位置信息传送至路径规划导航模块，为下一步检测巡视车自主导航至指定位置进行规劝提供了目标。

路劲规划导航模块：基于地图构建模块所建立的初始全局地图、巡视车定位模块的自身定位信息、口罩佩戴检测模块所传送过来的距离系统最近的行人位置信息，进行自主路径规划并实时下发移动的决策数据。首先开始进行全局的路径规划，主要是通过路径规划算法计算出从当前位置移动到目标位置的最优路径；然后通过决策机构将系统移动所需的角速度、线速度等决策数据下发到执行机构中；执行结构根据下发的指令控制检测巡视车的移动，并将编码器所检测到的真实移动数据实时反馈至决策机构，进行位置的不断优化，从而实现检测系统的自主导航功能。并将检测巡视车周围环境的实时信息以及自身位置的实时数据传送到障碍物避障模块以及语音提醒模块。

障碍物避障模块：基于检测系统所携带的深度相机实时采集到的周围环境信息，判断系统全局路径规划过程中是否遇到了动态障碍物。如果检测到动态障碍物的存在，则将障碍物在世界坐标系的位置信息实时传送到地图构建模块以及路径规划导航模块，通过路径规划导航模块进行局部路径的规划，更改全局路径规划的最优路线获取绕过障碍物后的最优局部路径规划。

目标跟随模块：检测系统移动至目标所在位置后，进行佩戴口罩的语音提示，通过对于目标是否佩戴口罩的实时检测，选择是否启用目标跟随模式。如果目标人员遵从提示主动佩戴口罩，检测系统则自主移动至下一个目标；如果目标人员未遵从提示佩戴口罩并试图离去，则启用目标跟随模式。通过深度相机实时获取检测巡视车与目标的相对位置信息，依据该相对位置对目标进行实时跟随。并将目标人员逃避规劝的行为传送到语音提示模块。

语音提醒模块：检测巡视车通过目标导航模块以及障碍物避障模块移动至目标人员所在位置处，进行佩戴口罩规劝的语音提示。对未佩戴口罩的人员进行语音提醒，如果接收到了目标跟随模块下发的指令，则将语音规劝模式切换至语音批评模式，在跟随目标人员的同时对其通过语音模块进行批评教育。

一种规劝行人及时佩戴口罩的巡视车的控制方法，步骤如下：

(1)地图构建步骤：将系统所携带的深度相机采集到的RGB彩色图片信息和深度信息传送至前端视觉里程计，根据相邻图像之间运动的估计推算出相邻图像间相机的运动和局部地图的样子；并将不同时刻视觉里程计测量的相机位姿，以及回环检测的信息传入到后端非线性优化，得到全局一致的轨迹和地图；使用回环检测判断系统是否到达过先前的位置，如果检测到回环，则将信息提供给后端处理；后端根据估计的轨迹建立与任务要求一致的地图模型。并将地图模型上传到巡视车定位模块以及路径规划导航模块。

(2)巡视车定位步骤：基于地图构建模块所建立的栅格地图，获取检测系统在该栅格地图的初始位置，检测巡视车所携带的深度相机会将三维世界中的坐标点(单位为米)通过针孔相机模型映射到二维图像平面(单位为像素)，对所获取的相邻两帧图像进行ORB特征点的提取，对每一帧图像分别进行一定阈值特征点的提取，再测量每一个特征点的描述子距离，并对其进行排序，取最近的一个作为匹配点。根据匹配好的点对，利用ICP的方法来解决两组3D点之间的运动估计问题，从而根据相邻两帧的图像获取相机的相对位姿，将该相对位姿关系映射到世界坐标系下，得到检测巡视车实时的位置信息。并将该位置信息上传至路径规划导航模块中。

(3)口罩佩戴检测步骤：将系统所携带的深度相机采集到的RGB彩色图片信息传入口罩检测网络中；建立特征提取网络的网络结构，设定网络所训练出来的最优网络模型权重参数；对输入口罩检测网络中的每一张图片进行归一化、转换张量、调整大小等预处理操作；将预处理之后的图片传入预测模型得到目标边界框、类别标签、置信度得分等预测结果；将预测结果映射到原图上并绘制出其类别信息以及置信度信息。通过神经网络对视频流的检测，获取未佩戴口罩行人的位置信息，主要包括其位于三维空间坐标下的平移信息和旋转信息，将该信息存入至列表中，通过循环遍历列表中未佩戴口罩的所有行人与检测巡视车之间的相对位置距离信息，选择相对距离最短的行人位置信息作为规劝目标，传送到路径规划导航模块中。

(4)路径规划导航步骤：将地图构建模块传递过来的初始全局地图数据、巡视车定位模块传送过来的检测巡视车在全局地图中的位置数据、口罩佩戴检测模块传递过来的目标行人位置数据打包送入路径规划导航初始化函数中；建立全局最优路径并将最优路径所对应的决策信息下发到执行机构，通过决策信息中所对应的线速度、角速度指令驱动检测系统按照规划的最优路径执行运动操作，执行机构所携带的编码器会实时反馈回系统实际所执行的线速度、角速度数据，从而进行不断优化系统位置，直至逼近决策信息所下发的位姿；通过反复循环最终移动至目标行人位置，并将达到信息上传到语音提醒模块。

(5)障碍物避障步骤：检测巡视车通过路径规划移动至目标人员的过程中，通过外部所携带的深度相机获取到障碍物的位置信息，根据障碍物的位置信息进行避障。首先通过所获取到图片的深度信息得到周围环境的距离值；将该距离值与首次地图构建所预存的环境地图距离值进行对比，如果该距离值与预存的环境地图距离值的差值小于所设定的阈值则判定其为障碍物，并持续探测障碍物的状态；根据前后两次探测到的障碍物的距离和角度，判断障碍物的运动状态；当检测系统移动至障碍物一定距离时，根据障碍物的运动状态采取相应的避障方法进行避障运动。直至最终到达目标人员所在位置。

(6)目标跟随步骤：检测巡视车通过路径规划导航模块移动至目标位置进行语音播报提醒，如果行人依然未佩戴口罩且试图离开，则启动目标跟随模块。首先通过深度相机采集获取被跟随目标身份的特征；锁定该跟随目标之后对跟随目标实时跟踪，获得跟随目标与检测巡视车之间的相对方向；对锁定的跟随目标实时检测，计算获得跟随目标与检测巡视车的相对距离；根据所获取检测巡视车与行人目标之间的相对方向、相对距离确定运动路线以及运动的角速度、线速度等决策信息；通过将决策信息下发到执行机构完成检测系统对于目标人员的跟随。

(7)语音提醒步骤：检测系统通过路径导航模块移动至目标人员位置，通过巡视车定位模块确定最终已到达指定位置，执行语音播报模块，提醒目标人员佩戴口罩，并对其进行实时监测，如果目标人员在语音提示后一定时间内完成佩戴口罩动作，则移动至下一个目标人员的位置；如果目标人员在语音提示后未完成口罩佩戴则再次提示；如果目标人员在语音提示后试图离开，则将该信息下发至目标跟随模块，在目标跟随模块启动的同时，语音提示模块从规劝模式调整为批评模式，并间隔一定时间进行一次播报。

本发明的有益效果在于：

本发明针对室内公共场合，通过巡检系统自身所携带深度相机采集的RGB彩色图像和深度图像完成室内栅格地图的构建；并通过相邻图片之间的特征匹配计算出检测巡视车相对于世界坐标系的位置，完成自身的定位；通过构建卷积神经网络模型，能够完成对于行人是否佩戴口罩的特征提取和识别；通过路径规划导航以及障碍物避障模块完成检测巡视车自主移动至目标的功能；最终通过跟随模块以及语音模块完成了巡检系统对未佩戴口罩行人的规劝功能以及对于防疫知识的宣传工作。本发明可以有效辅助相关工作人员完成防疫工作，不仅节约了防疫工作投入的人力成本，同时也避免了由于工作人员规劝行人佩戴口罩而产生的不必要冲突问题。

实施例1：

如图1所示，本发:主要包括：地图构建模块、巡视车定位模块、口罩佩戴检测模块、路径规划导航模块、障碍物避障模块、目标跟随模块、语音提醒模块。

上述各模块的具体实现过程如下：

1地图构建模块

该模块的实现过程如图2所示：

(1)初始化局部地图所需要设定的一些参数，主要指设定地图尺寸，栅格的大小，也就是每个栅格所代表的实际距离；

(2)读入系统所携带深度相机的图像数据，并对数据进行预处理操作；

(3)先将整个栅格区域都设置为黑色，此时代表的是栅格地图三种模式中的未知区域；

(4)遵从周边环境从近到远进行检测的原则，将检测到的区域置为灰色，代表相机所能检测到的范围；

(5)通过像素点的数值来统计每个栅格被障碍投影的次数，当该次数大于某个阈值时，则认为对应的栅格地图被障碍占据，将其设置为占用区域，小于该阈值的区域设置为空闲区域，代表该区域可以顺利通过；

(6)重复执行(5)，直至二维栅格地图的建立，并将所构建的实时二维栅格地图上传至路径规划导航模块中。

2巡视车定位模块

该模块的实现过程如图3所示：

(1)初始化地图构建模块所建立的栅格地图；

(2)获取检测巡视车在该栅格地图的初始位置；

(3)获取系统外部传感器深度相机将三维世界中的坐标点(单位为米)通过针孔相机模型映射到二维图像平面(单位为像素)的数据。

(4)对所获取的相邻两帧图像进行ORB特征点的提取，对ORB特征点按照一定阈值进行筛选；

(5)测量每一个特征点的描述子距离，进行排序，取最近的一个作为匹配点，进行两幅图像之间特征点匹配；

(6)根据匹配好的点对，利用ICP的方法来解决两组3D点之间的运动估计问题，根据相邻两帧图像的相对运动获取相机的相对位姿；

(7)将该相对位姿关系映射到世界坐标系下，得到该检测巡视车相对于世界坐标系的实时位置信息，并将该位置信息上传至路径规划导航模块中。

3口罩佩戴检测模块

该模块的实现过程如图4所示：

(1)初始化口罩检测网络所需参数；

(2)将系统所携带的深度相机采集到的RGB彩色图片信息传入口罩检测网络中；

(3)建立特征提取网络的网络结构，设定网络所训练出来的最优网络模型权重参数；

(4)对输入口罩检测网络中的每一张图片进行归一化、转换张量、调整大小等预处理；

(5)将预处理之后的图片传入预测模型得到边界框、类别标签、置信度得分等预测结果；

(6)将预测结果映射到原图上并绘制出其类别信息以及置信度信息。

(7)循环执行(1)～(6)，完成神经网络对输入视频流的检测，获取未佩戴口罩行人的位置信息，主要包括其位于三维空间坐标下的平移信息和旋转信息，将该信息存入至列表中；

(8)通过循环遍历列表中未佩戴口罩的所有行人与检测巡视车的相对位置距离信息，选择相对距离最短的行人位置信息传送到路径规划导航模块中。

4路径规划导航模块

该模块的实现过程如图5所示：

(1)初始化路径规划导航所需参数；

(2)获取巡视车定位模块所检测系统的初始位置信息以及通过口罩检测模块确定目标行人的位置信息；

(3)根据地图构建模块所建立的初始地图进行全局最优路径的规划；

(4)检测系统根据所规划的全局最优路径进行移动，执行系统所对应的编码器会实时上传当前系统的角速度与线速度信息；

(5)该信息会与决策机构所下发的角速度线速度信息进行对比，进行负反馈操作，不断优化系统位姿，从而逼近所期待的位姿；

(6)循环(4)、(5)直至检测系统移动至目标行人位置。

5障碍物避障模块

该模块的实现过程如图6所示：

(1)初始化障碍物避障所需参数；

(2)通过所获取到图片的深度信息得到周围环境的距离值；

(3)将该距离值与首次地图构建所预存的环境地图距离值进行对比；

(4)如果该距离值与预存的环境地图距离值的差值大于所设定的阈值则判定为障碍物，并持续探测刷新障碍物的状态；

(5)根据前后两次探测到障碍物的距离和角度，判断障碍物的运动状态；

(6)当检测系统移动至障碍物一定距离时，根据障碍物的运动状态采取相应的避障方法进行避障运动；

(7)循环(2)～(6)步骤，直至最终自主移动至目标人员所在位置。

6目标跟随模块

该模块的实现过程如图7所示：

(1)初始化目标跟随所需参数；

(2)语音播报提醒一定时间后判断行人是否已佩戴口罩，如果依然未佩戴口罩且试图离开，则启动目标跟随模块；

(3)通过深度相机采集获取跟随目标人员的特征；

(4)锁定该跟随目标之后对跟随目标实时跟踪，获得跟随目标与检测巡视车之间的相对方向；

(5)对所锁定的跟随目标实时检测，计算获得跟随目标与检测巡视车的相对距离；

(6)根据所获取检测巡视车与行人目标之间的相对方向、相对距离确定运动路线以及运动的角速度线速度等决策信息；

(7)通过将决策信息下发到执行机构完成检测巡视车对于目标人员的跟随行为。

7语音提醒模块

该模块的实现过程如图8所示：

(1)初始化语音提醒所需参数；

(2)通过巡视车定位模块判断是否已到达指定位置，如果到达指定位置则触发语音播报，如果未到达指定区域，则不触发；

(3)对目标进行实时监测，如果目标人员在语音提示后一定时间内完成佩戴口罩动作，则移动至下一个目标人员的位置；

(4)如果目标人员在语音提示后未完成口罩佩戴则再次提示；

(5)如果目标人员在语音提示后试图离开，则将该信息下发至目标跟随模块；

语音提示模块从规劝模式调整为批评模式，并间隔一定时间进行一次播报。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。