基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统

摘要

本发明公开了一种基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统，包括：接收系统传达的行人口罩佩戴检测请求，获取行人口罩佩戴检测请求对应的行人监控视频信息；提取行人监控视频信息中行人的人脸图像；将行人的人脸图像关键帧上传至系统云端；人脸图像输入至模型进行处理，获得行人的口罩佩戴检测结果；在行人口罩佩戴检测结果为行人口罩佩戴不规范时，启动相应的语音模块提醒所述行人正确、规范的佩戴口罩；在行人口罩佩戴检测结果为所述行人未佩戴口罩时，根据行人的身份信息对所述行人进行管控处理。通过上述方式，可以快捷识别路上行人是都佩戴口罩并对没有佩戴口罩的人员输出佩戴提示，节约了行人口罩佩戴检测的管控成本、提高了行人口罩佩戴管控效率和可操作性。

说明书

技术领域

本发明属于图像处理、机器学习技术领域，尤其涉及一种轻量化且高精度的高视角监控的行人口罩佩戴检测方法。

背景技术

人工智能技术在近20年的发展可谓非常的快速，理论日趋完善，应用范围也是越来越发广泛，已经深入到了我们生活的方方面面，给我们的生活带来了极大的便捷。

在此次疫情大背景下，我们需要判断人们在路上是否佩戴口罩，对此我们研发出了一种应用于道路的基于路灯视角的口罩佩戴检测装置，通过视频拍摄外加口罩检测模型来判断行人是否正确佩戴口罩。在以往可能要通过交警在路口站岗，来监督过往的行人佩戴口罩，通过此方法我们大大减少了人力物力的投入，同时也有了精度的保障，推动了防疫工作的进一步落实。

本产品使用了云计算技术，相比于传统计算技术存储容量小的问题，云计算技术能够做到无限存储，也能够降低计算机和软件的成本，同时在提高数据可靠性和改进文档格式的兼容性方面也有极大提升。

在改进RetinaFace的自然场景口罩佩戴检测算法一文中，提出了一种自然场景下人脸口罩佩戴检测方法。该方法的不足之处是：其训练数据集样本过少，只有3000张图片，导致检测效果差，检测精度偏低。

在基于迁移学习与RetinaNet的口罩佩戴的方法一文中，提出了一种基于深度学习，迁移学习与RetinaNet网络的口罩检测方法，该方法的不足之处是：所采用的数据集仅有未佩戴口罩和正常佩戴口罩两种类型，当行人口罩佩戴错误时就无法识别，所以不具有代表性。

在基于视频的轨道交通车站乘客口罩佩戴检测及测温技术一文中，提出了一种结合体温检测的口罩佩戴检测方法，该方法的不足之处是：在地铁站，车站出入口等地，人流量较大，此时用热成像的方法检测体温识别的效果较差。而且此方案采用的摄像头是增加后端IVSS设备的普通相机，检测的精度和速度也较低。

在UCloud开放人脸口罩检测服务借助AI算法加快疫情防控一文中，提出了一种依托UCloud底层云服务，并结合深度学习识别技术的口罩检测技术。该方法的不足之处是：因为使用MTCNN网络结构，所以使用中需要对这些网络进行分阶段的训练，这样的识别方式显然不是一种端对端的学习方式，人脸识别效率慢。且网络泛化能力弱、鲁棒性差。

发明内容

发明目的：本发明的目的是为了解决现有技术中的不足，提供一种基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统，旨在解决现有技术中行人口罩佩戴检测方式成本高、效率低、灵活性差等技术问题。

技术方案：本发明所述的基于智慧灯杆的复杂环境行人口罩佩戴检测方法，包括如下步骤：

S1、接收系统传达的行人口罩佩戴检测请求，获取所述行人口罩佩戴检测请求对应的行人监控视频信息；

S2、提取所述行人监控视频信息中行人人脸图像关键帧；

S3、将所述行人人脸图像关键帧上传至系统云端；

S4、将上传至系统云端的所述行人人脸图像关键帧图像输入至口罩佩戴检测模型进行处理，获得行人口罩佩戴检测结果；

S5所述行人口罩佩戴检测结果包括两个状态：正常状态和异常状态，其中异常状况包括口罩佩戴不规范和未佩戴口罩；

S6、在所述行人口罩佩戴检测结果为行人口罩佩戴不规范时，根据行人人脸图像确定行人的身体特征信息，并启动相应的语音模块提醒对应的行人正确、规范的佩戴口罩；

S7、在所述行人口罩佩戴检测结果为行人未佩戴口罩时，将行人人脸图像上传至系统云端来确定对应行人的身份信息，并根据所述行人的身份信息对所述行人进行管控处理。

进一步的，所述步骤S1具体包括：

(a)接收所述行人口罩佩戴检测请求，通过监控采集装置，以一定的初始帧率持续拍摄，获取行人的视频监控信息；

(b)根据拍摄区域的视频图像反馈信息判断是否存在拍摄装置未覆盖的拍摄检测盲区；

(c)若存在拍摄装置未覆盖的拍摄检测盲区，则调用他处距离最近的其他摄像头多角度的对所述拍摄检测盲区进行拍摄，获得多视角的行人口罩检测视频信息，并将所述多视角的行人口罩检测视频信息相结合作为所述行人口罩佩戴检测请求对应的所述行人监控视频信息。

进一步的，所述步骤S6中：在所述口罩佩戴检测结果为行人口罩佩戴不规范时，将人脸图像的关键帧位置与所述行人的监控视频信息相比对，提取所述行人的性别、出行方式等信息，并通过所述语音模块精准提醒所述行人正确、规范的佩戴口罩。

进一步的，所述步骤S7中：在所述口罩佩戴检测结果为行人未佩戴口罩时，根据所述行人人脸图像确定所述行人的身份信息，并根据所述行人的身份信息对所述行人进行管控，管控的步骤包括：

(a)在所述口罩佩戴检测结果为所述行人未佩戴口罩时，将所述行人的人脸图像与预设数据库中的预设人脸图像进行比对，获得所述行人的身份信息；

(b)通过所述语音模块对所述行人进行提醒，并调用所述监控摄像头对所述行人进行持续的拍摄检测，判断所述行人是否及时、规范的佩戴口罩；

(c)如所述行人在预设时间内没有及时、规范的佩戴口罩，所述系统将自动将所述行人的身份信息和所述行人的人脸图像上传至所述系统终端，交由相关机构对所述行人进行教育、管控。

进一步的，所述监控采集装置包括灯杆、安装在灯杆上的监控摄像头以及安装在灯杆上的语音提醒模块；所述监控摄像头用来采集行人监控视频，所述语音提醒模块用于在所述行人口罩佩戴检测结果为行人未佩戴口罩或佩戴口罩不规范时进行语音提醒。

进一步的，所述口罩佩戴检测模型是基于改进的YOLOV3-TINY主干网络搭建的，通过优化K-means算法获得合适的先验框，在卷积层加入CBAM注意力模块和CSPNET-NEW网络，修改激活函数为Mish激活函数、使用CIOU损失函数以及对部分卷积层进行剪枝完成模型精度的优化以及模型的量化。

进一步的，通过优化K-means算法获得合适的先验框具体包括：

(a)首先计算一个真实标签的锚框和k个先验框的IOU值；

(b)初始化聚类中心；

(c)使用如下距离公式计算每个真实标签和k个先验框的距离：

d(box，anchor)＝1-IOU(box，anchor)

其中box，anchor分别为真实标签的锚框和k个先验框；对每个真实标签，选取离先验框距离最小的真实标签的索引，并存下索引；

(d)如果当前每个离先验框距离最小的真实标签的索引和上一次一样，聚类结束；若不是，则更新为离每个先验框距离最近真实标签的索引。

进一步的，所述CBAM注意力模块包括两个独立的模块：通道注意力模块和空间注意力模块。

进一步的，所述CSPNET-NEW网络是通过将梯度的变化从头到尾地集成到特征图中，并将原来的卷积层的leaky激活函数全部改为Mish激活函数。

进一步的，所述CIOU损失函数是将目标与框之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定：

其中，b、b

此外，CIOU损失函数还考虑到边界框回归三要素中的长宽比，还在惩罚项中加入了一个影响因子：

其中α是惩罚项的参数，

进一步的，所述剪枝完成模型包括：

采用基于敏感度的裁剪方式对该模型的两个检测分支的参数分别采用一定数值裁剪率进行均匀裁剪，通过评估某条连接贡献度的方法为计算该连接对应卷积核

其中，

本发明还公开了一种基于智慧灯杆的复杂环境行人口罩佩戴检测系统，包括：

请求接收模块，用于接收行人口罩佩戴检测请求，获取所述行人口罩佩戴检测请求对应的行人监控视频信息；

视频提取模块，用于提取所述行人监控视频信息中行人的人脸关键帧图像；

口罩佩戴检测模块，用于对人脸关键帧图像检测的处理结果获得所述行人的口罩佩戴检测结果；

佩戴提醒模块，用于在得到口罩佩戴检测结果为所述行人未佩戴口罩或口罩佩戴不规范时，根据所述人脸图像确定所述行人的身份信息，并根据所述身份信息对所述行人进行处理。

有益效果：本发明的检测方法和系统可以快捷识别路上行人是都佩戴口罩并对没有佩戴口罩的人员输出佩戴提示，节约了行人口罩佩戴检测的管控成本；也因此无需交警在马路上进行观察并对没有佩戴口罩的行人进行劝导，从而节约了人工成本、提高了行人口罩佩戴管控效率和可操作性。

附图说明

图1为本发明实施例的行人口罩佩戴检测方法的主要工作流程图；

图2为本发明实施例提供的灯杆高处安装监控摄像头的装置示意图；

图3为本发明行人口罩佩戴检测模型的主干网络；

图4为本发明行人口罩佩戴检测模型中注意力模块的示意图；

图5为本发明行人口罩佩戴检测模型中注意力模块中通道注意力模块示意图；

图6为本发明行人口罩佩戴检测模型中注意力模块中空间注意力模块示意图；

图7为本发明行人口罩佩戴检测模型中CSPNET-NEW网络结构示意图；

图8为本发明行人口罩佩戴检测模型中识别结果的示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，本发明实施例提供的基于智慧灯杆的复杂环境行人口罩佩戴检测方法，包括如下步骤：

S1、首先接收系统传达的行人口罩佩戴检测请求，获取所述行人口罩佩戴检测请求对应的行人监控视频信息；

S2、提取所述行人监控视频信息中行人的人脸图像关键帧；

S3、将所述行人的人脸图像关键帧上传至系统云端，通过所述云端极大减少所述图像处理所需的时间，极大的降低计算成本、时间，提高系统性能，增强系统的可靠性；

S4、将上传至系统云端的所述行人的人脸图像关键帧图像输入至口罩佩戴检测模型进行处理，获得行人口罩佩戴检测结果，如图8所示；

S5所述行人口罩佩戴检测结果包括两个状态：正常状态和异常状态；根据摄像头识别所述关键帧图像的处理结果将不同的异常状态具体划分为：状态1：主要定义为行人未佩戴口罩；状态2：主要定义为行人口罩佩戴不规范；

S6、在所述行人口罩佩戴检测结果为行人口罩佩戴不规范时，根据行人人脸图像确定行人的身体特征信息，并启动相应的语音模块提醒对应的行人正确、规范的佩戴口罩；

S7、在所述行人口罩佩戴检测结果为行人未佩戴口罩时，将行人人脸图像上传至系统云端来确定对应行人的身份信息，并根据所述行人的身份信息对所述行人进行管控处理。

本实施例中优选地，为了提高行人口罩检测视频信息准确性，上述步骤S1具体包括：

(a)接收所述行人口罩佩戴检测请求，通过监控采集装置，以一定的初始帧率持续拍摄，获取行人的视频监控信息；

(b)根据拍摄区域的视频图像反馈信息判断是否存在拍摄装置未覆盖的拍摄检测盲区；

(c)若存在拍摄装置未覆盖的拍摄检测盲区，则调用他处距离最近的其他摄像头多角度的对所述拍摄检测盲区进行拍摄，获得多视角的行人口罩检测视频信息，并将所述多视角的行人口罩检测视频信息相结合作为所述行人口罩佩戴检测请求对应的所述行人监控视频信息。

本实施例中优选地，所述的监控采集装置，如图2所示的一种实施方式，该监控采集装置包括灯杆、安装在灯杆高处的监控摄像头以及安装在灯杆中部的一个语音提醒模块，所述安装在灯杆高处的监控摄像头用来采集所述行人监控视频，所述安装在灯杆中部的语音提醒模块用于在所述行人口罩佩戴检测结果为所述行人未佩戴口罩或佩戴口罩不规范时进行语音提醒。

本实施例中优选地，上述步骤S6中：在所述口罩佩戴检测结果为所述行人口罩佩戴不规范时，将所述人脸图像的关键帧位置与所述行人监控视频信息相比对，提取所述行人的性别、出行方式等信息，并通过所述语音模块精准提醒所述行人正确、规范的佩戴口罩。

本实施例中优选地，上述步骤S7中：在所述口罩佩戴检测结果为所诉行人为佩戴口罩时，根据所述行人的人脸图像确定所述行人的身份信息，并根据所述行人的身份信息对所述行人进行管控的步骤，包括：

(a)在所述口罩佩戴检测结果为所述行人为佩戴口罩时，将所述行人的人脸图像与预设数据库中的预设人脸图像进行比对，获得所述行人的身份信息；

(b)通过所述语音模块对所述行人进行提醒，并调用所述监控摄像头对所述行人进行持续的拍摄检测，判断所述行人是否及时、规范的佩戴口罩；

(c)如所述行人在预设时间内没有及时、规范的佩戴口罩，所述系统将自动将所述行人的身份信息和所述行人的人脸图像上传至所述系统终端，交由相关机构对所述行人进行教育、管控。

本实施例中优选地，本发明采用的口罩佩戴检测模型是基于改进的YOLOV3-TINY主干网络搭建的，如图3所示，通过优化K-means算法获得合适的先验框，在卷积层加入CBAM注意力模块和CSPNET-NEW网络，修改激活函数为Mish激活函数、使用CIOU损失函数以及对部分卷积层进行剪枝完成模型精度的优化以及模型的量化。

下面针对本发明的口罩佩戴检测模型的各个部分作详细的说明：

(1)改进的YOLOV3-TINY主干网络

YOLOV3在进行锚框(锚框)预测的时候，用到了先验框(先验框)用于最佳匹配检测目标的宽和高，由于教室中前后人脸大小不一致，所以要适配不同大小的锚框。

对于计算机视觉，比较容易理解的是真实标签(真实标签)，人为为每个目标标记的标签。但是在加入先验框思想后，在训练集中，将每个锚框视为一个训练样本。因此，为了训练目标模型，需要标记每个先验框的标签，这里的标签包括两个部分：类别标签和偏移量。

在进行训练的时候呢，我们也要利用到先验框进行处理，找到真实标签的位置网格点。针对某一个特征层的某个网格可以预测出无数种目标的宽高，要参考先验框的大小进行预测。

以YOLOV3预设的先验框为例，每层网络输出3个尺度的特征图，分别为13×13、26×26、52×52，对应着9个先验框，每个尺度均分3个先验框。在最小的13×13特征图上由于其感受野最大，故应用最大的先验框(116×90)，(156×198)，(373×326)。而口罩检测目标较小，因此，先验框必须重新确定。

采用K-means聚类，首先计算一个标注数据的锚框和k个先验框的IOU(交并比)值。由于本文的检测对象为小目标且目标检测框的长宽较统一，暂定K-means模型中k为6。特别地，在初始化聚类中心时，若有k个先验框，先从r个真实标签随机选1个锚框的宽高作为聚类的中心，计算r-1个真实标签与当前已有聚类中心之间的最短距离(即到最近的聚类中心的距离)。选择距离最大的那个真实标签的宽高作为聚类的第二个中心。接着重复上述步骤，直到找出6个聚类中心。

使用距离公式(1)计算每个真实标签和k个先验框的距离。

d(box，anchor)＝1-IOU(box，anchor) (1)

其中box，anchor分别为真实标签的锚框和k个先验框。

对每个真实标签，选取离先验框距离最小的真实标签的索引，并存下索引。

特别地，计算每个真实标签和k个先验框的距离时，采用优化距离计算量的elkanK-Means

如果当前每个离先验框距离最小的真实标签的索引和上一次一样，聚类结束。

若不是，则更新为离每个先验框距离最近真实标签的索引。

(2)CBAM注意力模块

本发明的行人口罩佩戴检测模型中加入CBAM注意力模块以提高检测精度并量化模型。

CBAM注意力模块是一个简单但有效的注意力模块。对于一个中间特征图，可以沿着空间和通道两个维度依次推断出注意力权重，然后与原特征图相乘来对特征进行自适应调整。将整个过程分为两个独立的模块：通道注意力模块和空间注意力模块。这样不仅可以节约参数和计算量，还保证了其可以作为即插即用的模块提高模型检测精度。

在所述行人口罩佩戴检测模型中，将所述CBAM注意力模块加入到第二层卷积层中，其中：

图5展示的是一个通道注意力模块。给定H×W×C的特征F，分别对空间进行全局平均池化和最大池化得到两个1×1×C的通道特征。随后将它们送入一个共享的两层神经网络，第一层神经元个数为C/r，激活函数为Relu，第二层神经元个数为C。再将得到的两个特征相加后经过一个Sigmoid激活函数得到权重系数Mc，最后拿权重系数和原特征相乘即可得到新特征。

图6展示的是一个空间注意力模块。给定H×W×C的特征F，先后采用两种池化方式对中间特征进行不同处理，即先后对通道进行平均池化和最大池化，得到两个H×W×1的通道特征。将两层特征拼接在一起，经过一个7×7的卷积层，激活函数为Sigmoid，得到权重系数Ms。最后，拿权重将数和特征F相乘即可得到新特征。

将图5和6组合即为图4的CBAM模块。

(3)CSPNET-NEW网络

如图7所示，通过改进CSPNET(Cross Stage Partial Network)得到了一种新的CSPNET-NEW结构以加强对特征的提取，从而得到更高的精度，通过将梯度的变化从头到尾地集成到特征图中，在减少了计算量的同时可以保证准确率。不同于CSPNET，CSPNET-NEW首先将原来的卷积层的leaky激活函数全部改为Mish激活函数。

Mish激活函数如公式(2)所示：

f(x)＝x*tanh(log(1+e

Mish是一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。

特别地，在原有大的残差结构中，加入两个叠加的Resblock以更好的提取更抽象的特征且保证了较少的参数量。

(4)CIOU损失函数

一般目标检测损失函数使用的是IOU损失函数，由于IOU是比值的概念，当预测框和目标框不相交时，IOU(A,B)＝0时，不能反映A和B距离的远近，此时损失函数不可导，IOU损失函数无法优化两个框不相交的情况。

假设预测框和目标框的大小都确定，只要两个框的相交值是确定的，其IoU值是相同时，IoU值不能反映两个框是如何相交的。

所以对目标物体的范围是不敏感的。基于这个原因，提出的DIOU要比IOU更加符合目标框回归的机制，将目标与框之间的距离，重叠率以及尺度都考虑进去，使得目标框回归变得更加稳定，不会像IOU一样出现训练过程中发散等问题，如公式(3)所示：

其中，b、bgt分别代表了预测框和真实框的中心点，且ρ代表两个中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。

此外，CIOU损失函数还考虑到边界框回归三要素中的长宽比，还在惩罚项中加入了一个影响因子，如公式(4)所示：

其中α是惩罚项的参数，

(5)剪枝量化模型

采用基于敏感度的裁剪方式对该模型的两个检测分支的参数分别采用0.9，0.9的裁剪率进行均匀裁剪，通过评估某条连接贡献度的方法为计算该连接对应卷积核w_l^k的L1范数，计算方式如公式(5)所示：

其中，

其中，采样包含两个假设原则：

①在一个卷积层的参数内部，按对卷积核从高到低排序，越靠后的卷积核所占权重越小。

②两个卷积层剪裁相同的比例的卷积核，对模型精度影响更大的卷积层的敏感度相对高。

因此卷积层的裁剪率与其敏感度成反比，并且优先裁剪较低的卷积核。

除此之外，本发明还提供了一种基于智慧灯杆的复杂环境行人口罩佩戴检测系统，包括：

请求接收模块，用于接收行人口罩佩戴检测请求，获取所述行人口罩佩戴检测请求对应的行人监控视频信息；

视频提取模块，用于提取所述行人监控视频信息中行人的人脸关键帧图像；

口罩佩戴检测模块，用于对人脸关键帧图像检测的处理结果获得所述行人的口罩佩戴检测结果；

佩戴提醒模块，用于在得到口罩佩戴检测结果为所述行人未佩戴口罩或口罩佩戴不规范时，根据所述人脸图像确定所述行人的身份信息，并根据所述身份信息对所述行人进行处理。

本发明的检测方法和系统可以快捷识别路上行人是都佩戴口罩并对没有佩戴口罩的人员输出佩戴提示，节约了行人口罩佩戴检测的管控成本；也因此无需交警在马路上进行观察并对没有佩戴口罩的行人进行劝导，从而节约了人工成本、提高了行人口罩佩戴管控效率和可操作性。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。