基于非配合式人脸识别的变电站人员着装智能监控方法

摘要

本发明公开了一种基于非配合式人脸识别的变电站人员着装智能监控方法，包括以下步骤：进行视频数据的采集，得到实时数据集；对采集的图像进行标注；将标注数据格式转换为yolo4目标检测算法需要的格式，基于标注数据进行数据集划分；搭建着装穿戴检测模型及人脸识别模型；对着装穿戴检测模型及人脸识别模型进行训练，修正参数；进行实时作业人员着装穿戴检测测试，对于未能正确规范穿戴着装的作业人员，实时检测人脸信息，由告警业务系统发出告警。本发明通过开发基于AI图像识别的变电站安全帽佩戴检测算法对作业区域的人员进行监控，若检测到人员未佩戴安全帽则立即报警，提醒监督人员进行现场管理，提示作业区域的管控效率，保障作业人员的安全。

说明书

技术领域

本发明涉及计算机视觉监控方法技术领域，更具体涉及一种基于非配合式人脸识别的变电站人员着装智能监控方法。

背景技术

安全帽对人体头部受外力伤害时起保护作用，安全生产对于电力、建筑等行业是非常关键的一环，根据变电站相关规定及建筑施工安全检查标准，进入施工现场或者变电站重要区域等都必须佩戴安全帽。目前大部分变电站作业现场都会安装数个摄像头，其数据传到后台进行监控。但是这些传回监控中心的视频信息一般是通过人眼观看的方式进行查看，如此费时费力且人眼极易疲劳，容易造成疏漏，也存在错误判断的情况。这种依靠人为的方式检查，监管难度大，以至于执行不到位，存在重大的安全隐患。

发明内容

本发明需要解决的技术问题是提供一种基于非配合式人脸识别的变电站人员着装智能监控方法，以解决背景技术中的问题，以提高安全帽佩戴检测的速度和精度，提升变电站园区内作业人员管控效率。

为解决上述技术问题，本发明所采取的技术方案如下。

基于非配合式人脸识别的变电站人员着装智能监控方法，包括以下步骤：

S1、进行视频数据的采集，得到实时数据集；

S2、对采集的图像进行标注，将视频数据分帧保存，对有行人出现的数据进行标注保存；

S3、将标注数据格式转换为yolo4目标检测算法需要的格式，基于标注数据进行着装数据分类、数据集划分；

S4、搭建着装穿戴检测模型及人脸识别模型；

S5、对着装穿戴检测模型及人脸识别模型进行训练，修正参数；

S6、模型训练完毕后，进行实时作业人员着装穿戴检测测试，对于未能正确规范穿戴着装的作业人员，启动人脸识别模块，实时检测人脸信息，并将人脸信息推送至相应的告警业务系统中，由告警业务系统发出告警。

进一步优化技术方案，利用变电站内高清摄像头或者巡检机器人对监控区域及安全作业区域进行视频数据的采集。

进一步优化技术方案，所述步骤S2中，将采集的每一张图像中的作业人员着装信息用矩形框框出，标注工具采用Labelme图像标注工具，按照目标检测进行数据标注。

进一步优化技术方案，具体用矩形框框出的目标包括安全帽、防护手套、工作服、人头；采用Labelme图像标注工具对目标进行标注后，对应产生一个xml文件，xml文件中记录目标的坐标信息及标注信息，标注类别有人头、安全帽、防护手套、手、普通服装、安全作业工作服。

进一步优化技术方案，所述步骤S3还包括数据扩充步骤：将标注好的图片进行亮度、对比度、饱和度及色调的一些变换，做一定角度的旋转，并且使用新的Mosaic法做训练扩充。

进一步优化技术方案，所述着装穿戴检测模型采用yolo4架构，着装穿戴检测模型的骨干网络为CSPDarknet53，SPP作为Neck的附加模块，PANet作为Neck的特征融合模块，Yolov3作为Head。

进一步优化技术方案，所述人脸识别模型基于ArcFace网络搭建，新增基于卡尔曼滤波及匈牙利匹配的人脸跟踪算法，对检测出的人脸分配对应的id标识信息，id识别出来后则不再进行其人脸检测及识别。

进一步优化技术方案，所述着装穿戴检测模型的训练过程包括：定义着装穿戴检测模型的参数，利用测试样本中的图像进行训练，并输出训练日志；利用测试样本计算准确率的变化，根据准确率的变化进行网络参数的调整。

进一步优化技术方案，所述着装穿戴检测模型的参数包括：类别总数、矩形框尺寸、学习率、权重衰减率。

进一步优化技术方案，所述人脸识别模型训练包括人脸检测、人脸对齐、人脸识别。

进一步优化技术方案，所述人脸识别模型训练的过程包括：

预处理：人脸关键点进行检测后，再通过相似变换得到了被裁剪的对齐人脸；

采用人脸分类器进行训练；

测试：从人脸分类器的输出中提取嵌入特征，对输入的两个特征计算余弦距离，再来进行人脸验证和人脸识别。

进一步优化技术方案，所述步骤S6中，检测人脸信息时的人脸检测为触发式启动的。

由于采用了以上技术方案，本发明所取得技术进步如下。

本发明通过开发基于AI图像识别的变电站安全帽佩戴检测算法对作业区域的人员进行监控，若检测到人员未佩戴安全帽则立即报警，提醒监督人员进行现场管理，提示作业区域的管控效率，保障作业人员的安全。

本发明是一种基于AI图像识别的变电站安全帽佩戴检测方法，可以很好地应用于变电站安全生产、变电站园区管理等，通过卷积神经网络处理图片特征，同时提取人脸和安全穿戴特征，充分考虑了场景的多样性以及目标尺寸与形态的复杂性，利用AI图像识别算法，构建基于yolo4的目标检测算法，通过大量样本数据及扩充数据训练模型，最终模型获得了较高的准确度和速度，可实时检测安全帽、手套、工作服、人头，为变电站安全穿戴识别提供了可靠依据。本发明实时性高，融合了人脸检测、人脸识别和着装安全穿戴检测的方法，提高了检测的准确率。

本发明区别于以往的yolo系列检测算法，将骨干网络进行调优，可以检测多种尺度的着装穿戴图像数据，对变电站场景的小目标远场景的检测也极为准确。本发明同时结合人头检测框、人脸跟踪ID、人脸识别进行验证，精准定位到不合穿着规范的个人，提高了检测准确率及监管效率。本发明实时性高，融合了人头检测和安全帽检测，对非人头数据进行过滤，提高了检测准确率。对于未佩戴安全帽的人员，启动人脸识别流程进行人员身份确认，穿戴详细信息入库，可远程喊话提醒到个人，也将其照片录入数据库，供管理人员查询。

本发明在传统作业人员安全着装穿戴检测的基础上，新增了人脸识别流程，可以将变电站安全运维管理及生产检修等工作存在的安全隐患进一步排除，并可依次建立奖惩制度，落实到个人。不需要人工线下实时对不规范穿戴的人员违反规定的行为进行监督及口头预警，直接识别出具体人员并远程喊话提醒。同时管理系统里可以直接查询每天的不规范着装穿戴的人员信息，建立健全管理制度，提高监测效率。

附图说明

图1为本发明的工作流程图；

图2为本发明着装穿戴检测模型的监控流程图；

图3为本发明人脸识别模型的监控流程图。

具体实施方式

下面将结合附图和具体实施例对本发明进行进一步详细说明。

基于非配合式人脸识别的变电站人员着装智能监控方法，结合图1至图3所示，包括以下步骤：

S1、视频图像采集：利用变电站内高清摄像头或者巡检机器人等现场视频采集工具对监控区域及安全作业区域进行视频数据的采集，得到实时数据集。

该步骤中作业人员着装安全穿戴数据采集来源于真实环境下的变电站作业人员现场视频及图片，采集到的着装数据信息不限于尺度、光照、样式、颜色等。这样丰富了训练集和测试集，提高了检测模型的泛化能力。

S2、图像标注：对采集的图像进行人工标注，将视频数据分帧保存，对有行人出现的数据进行标注保存。对采集的图像进行人工筛选及标注，实现人头标注和安全帽、防护手套、工作服的标注。

步骤S2中，将采集的每一张图像中的作业人员着装信息用矩形框框出，目标包括安全帽、防护手套、工作服、人头；标注工具采用Labelme图像标注工具，按照目标检测进行数据标注。

采用Labelme图像标注工具对目标进行标注后，对应产生一个xml文件，xml文件中记录目标的坐标信息及标注信息，标注类别有人头、安全帽、防护手套、手、普通服装、安全作业工作服。佩戴安全帽的类别则为hat，没有安全帽的则记录为person。标注过程中手动进行数据清洗，删掉目标模糊和难以标注的图片。

S3、数据集构建：将标注数据xml格式统一转换为yolo4目标检测算法需要的txt格式，基于标注数据进行着装数据分类、数据集划分，训练集和验证集构建。

步骤S3中，基于着装穿戴标注数据进行着装分类及数据集划分，分为训练集和测试集。

步骤S3还包括数据扩充步骤：将标注好的图片进行亮度、对比度、饱和度及色调的一些变换，做一定角度的旋转，并且使用新的Mosaic法做训练扩充。更为具体地，数据扩充是一种将4张训练图片混合成一张的新数据增强方法，这样可以丰富图像的上下文信息，允许检测上下文之外的目标，增强模型的鲁棒性。

S4、模型构建：搭建着装穿戴检测模型及人脸识别模型。基于深度学习的目标检测网络搭建，核心架构采用yolo4模型，搭建安全帽、工作手套、防护服等着装穿戴检测和人脸检测的目标检测模型。搭建人脸跟踪及人脸识别模型。

其中，着装穿戴检测模型采用yolo4架构，着装穿戴检测模型的骨干网络为CSPDarknet53，SPP作为Neck的附加模块，PANet作为Neck的特征融合模块，Yolov3作为Head。

人脸识别模型基于ArcFace网络搭建，新增基于卡尔曼滤波及匈牙利匹配的人脸跟踪算法，对检测出的人脸分配对应的id标识信息，id识别出来后则不再进行其人脸检测及识别，节省了系统资源消耗，大大提高了人脸检测及识别率。。

S5、模型训练及预测：对着装穿戴检测模型及人脸识别模型进行训练，修正参数。并对训练好的模型进行实时安全着装穿戴检测及人脸检测。

着装穿戴检测模型的训练过程包括：定义着装穿戴检测模型的参数，利用测试样本中的图像进行训练，并输出训练日志；利用测试样本计算准确率的变化，以便根据准确率的变化进行网络参数的调整，以得到满足要求的网络模型。

着装穿戴及人头检测的神经网络模型定义的参数包括：类别总数、矩形框尺寸、学习率、权重衰减率。

在训练中调整神经网络超参数，使得网络在迭代过程中损失函数趋于收敛，最终形成安全帽检测的目标检测模型。其中，超参数具体设置为：训练步骤为500500，采用初始学习速率0.01的步长衰减学习速率策略，在400000步和450000步分别乘以因子0.1，momentum衰减为0.949，weight衰减为0.0005，搜索学习率0.00261，所有的架构都使用一个GPU来执行批处理大小为64的多尺度训练，而小批处理大小为8或4取决于架构和GPU内存限制。注意训练类别classes设置为2。

训练过程中，一共进行500500次训练，每训练完1000次测试一次模型的准确率，随着训练次数的增加，模型准确率也稳步提高。最终检测模型准确率在99.9％。测试样本用来评估网络准确率大小。训练完毕后，基于视频实时进行安全帽佩戴检测，获取监控区域的图片，利用检测模型快速识别出未佩戴安全帽的人员，并进行相关业务报警。

人脸识别模型训练包括人脸检测、人脸对齐、人脸识别。人脸识别模型训练的过程包括：

A、预处理(人脸对齐)：人脸关键点由MTCNN检测，再通过相似变换得到了被裁剪的对齐人脸；

B、训练(人脸分类器)：ResNet50+ArcFace loss。

C、测试：从人脸分类器FC1层的输出中提取512维的嵌入特征，对输入的两个特征计算余弦距离，再来进行人脸验证和人脸识别。

D、实际代码中训练时分为resnet model+arc head+softmax loss。resnet model输出特征；arc head将特征与权重间加上角度间隔后，再输出预测标签，求ACC是用这个输出标签；softmax loss求预测标签和实际的误差。模型训练完毕后，经过测试，在公开数据集识别率分别为：LFW上99.83％，YTF上98.02％

S6、实时监控：模型训练完毕后，启动着装穿戴检测进程，进行实时作业人员着装穿戴检测测试，在线实时监测监控范围内的作业人员着装穿戴是否规范。对于未能正确规范穿戴着装的作业人员，启动人脸识别模块，实时检测人脸信息，进行人员身份识别，记录详细穿戴信息入库或截图，并将人脸信息推送至相应的告警业务系统中，同时记录其本人详细穿戴信息，入库并启动业务告警，对变电站安全生产管理及运维起到了重要作用。

其中，人脸检测不是持续启动的，而是触发式启动，一旦与本地人脸库比对完毕，即停止相应不规范穿戴人员的人脸识别程序。这样可以节省系统资源消耗，提高识别速度。基于人脸跟踪ID，对已规范安全穿戴的人员则无需启动人脸识别流程。

本地人脸库录入了站内各区工作人员的人脸信息，设定为白名单，若有临时施工人员进站，则建立临时白名单库，在进站时即瞬时录入相关人脸，以便进入站内后对其工作时间是否规范安全着装、穿戴进行有效监管。

本发明是一种基于AI图像识别的变电站安全帽佩戴检测方法，可以很好地应用于变电站安全生产、变电站园区管理等，通过卷积神经网络处理图片特征，同时提取人脸和安全穿戴特征，充分考虑了场景的多样性以及目标尺寸与形态的复杂性，利用AI图像识别算法，构建基于yolo4的目标检测算法，通过大量样本数据及扩充数据训练模型，最终模型获得了较高的准确度和速度，可实时检测安全帽、手套、工作服、人头，为变电站安全穿戴识别提供了可靠依据。本发明实时性高，融合了人脸检测、人脸识别和着装安全穿戴检测的方法，提高了检测的准确率。

本发明相对于现有的对安全帽佩戴检测的方法，主要区别如下：

1、应用场景的创新。本发明适用场景针对变电站管理、日常运检等工作。对于变电站重要监控场所进出、变电站厂区设备检修、项目施工等应用场景非常有效。其检测既包含安全帽佩戴的检测，也包括非配合式人脸的检测。

2、安全帽检测网络的改进。以往的安全帽检测算法要么以传统目标检测算法为主，要么是基于SSD或者早期yolo系列目标检测算法搭建的深度学习网络。本发明针对上述应用场景进行定制化开发，适用于变电站运维管理、检修等工作场景的安全帽检测算法，结合了最新的Yolo4快速的目标检测算法检测安全帽及人头。目标检测网络采用最新的yolo4架构，其骨干网络由Darknet53改为CSPDarknet53，SPP作为Neck的附加模块，PANet作为Neck的特征融合模块，Yolov3作为Head。网络结构上进行一定的改造，使得检测速度和效率大大提高。针对本发明研究的同一数据集，识别准确率由99.8％提升至99.95％，检测速度由25fps提升至33fps。

3、非配合式人脸检测。基于Yolo4的安全帽目标检测算法，结合国际前沿的人脸检测算法ArcFace对人脸进行检测，两种深度学习算法相结合，共同辅助变电站安全帽及人脸检测应用场景落地。对于未佩戴安全帽的人员，启动人脸检测，实时检测人脸信息，记录入库或截图，推送至相应告警业务系统里，对变电站安全生产管理及运维起到了重要作用。

其中人脸检测不是持续启动的，而是触发式启动，一旦与本地人脸库比对完毕，即停止相应未佩戴安全帽人员的人脸识别程序。这样可以节省系统资源消耗，提高识别速度；对已佩戴安全帽的人员则无需启动人脸识别流程。

本地人脸库录入了站内各区工作人员的人脸信息，设定为白名单，若有临时施工人员进站，则建立临时白名单库，在进站时即瞬时录入相关人脸，以便进入站内后对其工作时间是否佩戴安全帽进行有效监管。

本发明在传统作业人员安全着装穿戴检测的基础上，新增了人脸识别流程，可以将变电站安全运维管理及生产检修等工作存在的安全隐患进一步排除，并可依次建立奖惩制度，落实到个人。不需要人工线下实时对不规范穿戴的人员违反规定的行为进行监督及口头预警，直接识别出具体人员并远程喊话提醒。同时管理系统里可以直接查询每天的不规范着装穿戴的人员信息，建立健全管理制度，提高监测效率。

本发明区别于以往的yolo系列检测算法，将骨干网络进行调优，可以检测多种尺度的着装穿戴图像数据，对变电站场景的小目标远场景的检测也极为准确。本发明同时结合人头检测框、人脸跟踪ID、人脸识别进行验证，精准定位到不合穿着规范的个人，提高了检测准确率及监管效率。本发明实时性高，融合了人头检测和安全帽检测，对非人头数据进行过滤，提高了检测准确率。对于未佩戴安全帽的人员，启动人脸识别流程进行人员身份确认，穿戴详细信息入库，可远程喊话提醒到个人，也将其照片录入数据库，供管理人员查询。本发明同时结合人头检测框和安全帽检测框进行验证，提高了检测准确率。