一种面向施工现场的对于小目标安全帽和防护服检测方法

摘要

本发明公开了一种面向施工现场的对于小目标安全帽和防护服检测方法，属于图像处理中的目标检测领域，首先采用YoloV3网络模型框架，通过用Inception‑Resnet模块代替原有的YoloV3网络的Resnet模块增加网络的深度从而提取更多的施工现场的特征信息；引入darknet‑128和104×104尺寸的特征图通道增加了多尺度预测能力，能够在保持学习速度的同时提高CNN对于更小目标的学习的准确性；并且采用k‑means聚类算法对采集数据进行分析，得到适用于施工现场场景下的合适的锚框的大小，改进后的模型增强了在远距离上对小目标的检测能力和准确性，使得在复杂多变的施工现场能准确快速的完成对小目标的安全帽和防护服的检测。

说明书

技术领域

本发明属于图像处理中的目标检测领域，具体涉及一种面向施工现场的对于小目标安全帽和防护服检测方法。

背景技术

非接触式在线监测人员佩戴安全帽和防护服的安全检测是保证施工现场工人安全的重要一环。戴安全帽，穿防护服已成为施工单位的必要管理体系要求，这对于规范管理和安全生产至关重要。但是，大多数管理单位目前仅停留在人工监督系统的实施级别。进出一些基本建筑工地时，安全检查人员将检查工人是否戴着头盔。但是，仅这种检查不能保证工人在施工期间一直在工作。原始的检查和监督方法既费时又费力。

现在陆陆续续的也出现了一些在线检测工人安全帽和防护服的检测系统，但是在环境处于较暗或者对于较远距离的小目标的检测安全帽和防护服穿戴的检测准确率是比较低的甚至是不识别，因此，提升工人因距离摄像头较远而造成的小目标检测的精度对于安全检测系统的部署十分重要。

当前的检查方法主要基于视觉检查。基于视觉的方法使用相机记录工作现场的图像或视频。这种方法提供了有关场景的更丰富的信息，可用于更迅速，准确和全面地了解复杂的施工现场。当前的检测方法一般使用基于面部特征的基于视频的监视方法，运动和颜色信息，基于图像的边缘检测和基于方向梯度直方图 (HOG)的方法，检测安全帽。其他方法还有是使用基于HOG的功能和机器学习算法，例如支持向量机(SVM)和k邻近法(kNN)，以检测人员是否穿着安全帽。

近年来，由于深度学习方法能够从大规模的带注释的训练数据中自学有用的功能，因此在计算机视觉中引起了极大的关注。特别是，卷积神经网络(CNN) 被广泛用于图像分类和目标检测。例如，一种基于边界框回归和深度转移学习的方法被用于检测建筑工地上的安全帽的佩戴情况。或者将高斯混合模型(GMM) 与CNN耦合，以检测施工现场的物体。将长期短期记忆(LSTM)模型与CNN 结合起来，以识别工人的潜在不安全行为。

YoloV3使用了新的特征提取网络，并在YoloV2中的Darknet-19网络的基础上进行了改进。它使用连续的3x3和1x1卷积层，添加了残差结构，并使用了大量残差层跳转连接。最后，新的特征提取网络包含53个卷积层，因此称为 Darknet-53，它比Darknet-19更强大，并且比ResNet-101或ResNet-152更有效。 Yolo与其他目标检测算法相比，在检测速度和准确性方面表现出色。

但实际施工现场环境复杂多变，环境或明或暗，工人离摄像头或远或近，目标检测的场景具有一定的独特性，直接利用YoloV3训练目标检测器，效果并不是太好，存在的主要问题是在远距离的小目标检测上的识别准确度不高并且存在部分图片中目标无法识别的情况。因此，原始的YoloV3网络人需要进一步改进才能实际应用。

发明内容

发明目的：本发明的目的是提供一种面向施工现场的对于小目标安全帽和防护服检测方法，改进后的模型增强了在远距离上对小目标的检测能力和准确度，使得改进后的模型的检测准确性和鲁棒性上均有较大性能的提升。

技术方案：为达到此目的，本发明采用以下技术方案：

本发明所述的一种面向施工现场的对于小目标安全帽和防护服检测方法，包括以下步骤：

S1：收集互联网数据和不同工况施工现场监控录像剪辑图像，并手动分离没有施工人员的图片将其作为检测背景，同时对数据集进行分类，得到训练样本；

S2：采用k-means聚类算法对S1得到的数据集进行分析，确定在施工现场环境下目标框的尺寸，由此得出神经网络的锚框的大小；

S3：使用Inception-Resnet模块代替原始的Resnet模块，得到改进后的特征提取网络前端，以丰富了特征提取网络的感受野；

S4：增加104×104尺寸的特征图输出，得到改进后的特征提取网络后端，以强化原有网络对小目标的检测能力；

S5：对改进后的YoloV3进行迁移学习，得到面向施工现场的对于小目标安全帽和防护服检测模型。

作为本发明的进一步技术方案，所述步骤S1和S2中，数据的预处理方式包括图像背景的替换，图像场景的增强，图像的分类，锚框尺寸的确定；本发明的数据的预处理方法为：

S21：从互联网和不同施工现场监控视频获得原始的数据，针对原始图片中部分没有人的图片，我们手动分离图片的这一部分，并且将这一部分数据用作背景数据集；

S22：对有工人的数据集(记为集合N)进行分类，戴安全帽记为事件X，穿防护服记为事件Y，A类：{X∩Y}，B类：

S23：针对实际采集的施工现场的图片，采用k-mean聚类算法对网络的原始图片作统计分析，确定出新的适用于施工现场检测场景下的锚框大小，并将其应用到YoloV3网络的训练中。

作为本发明的进一步技术方案，所述步骤S3中，使用Inception-Resnet模块代替原始的Resnet模块的方法为：

S31：分离出原来YoloV3网络的第一个残差网络结构；

S32：将S31分离出来的普通残差模块替换为具有多通道的Inception-Resnet 模块，将上一层的输出端连接到Inception-Resnet模块的输入端，此模块会并行计算同一映射上的多个不同变换，也就是并行的连接不同尺寸的卷积层(1x1卷积、3x3卷积)，使用该模块对固定大小的图像进行多尺度学习并且提取特征；

S33：将S32中Inception-Resnet模块不同尺寸的卷积层的输出进行拼接，得到同一图形不同尺寸卷积下的特征，将该特征输出到网络的下一层进行处理；

S34：将原有网络中的普通残差网络结构按照S31到S33不断进行处理，直至将原有YoloV3网络中全部的残差网络模块全部替换为Inception-Resnet模块，这一步结束。

作为本发明的进一步技术方案，所述步骤S4中，增加104×104尺寸的特征图输出得到多尺度检测结果的方法为：

S41：从新的特征提取网络darknet-128网络的第二个Inception-Resnet模块中引出网络的输出，记为输出1；

S42：同时将原有YoloV3网络的多尺度输出的层级反馈引出到一个包含有卷积层和上采样的网络模块，得到另一个输出，记为输出2；

S43：将S41得到的输出1和S42得到的输出2进行拼接，记为输出3；

S44：从S43得到的输出3继续通过两层卷积层得到最终的104×104的特征输出，该特征输出可以表征原有图像在更小尺度下的目标位置。

作为本发明的进一步技术方案，所述步骤S5中，将改进后的YoloV3模型经过迁移学习，训练得到的智能检测模型的方法为：

S51：从YoloV3官网下载预训练默认参数和执行权重的微调操作将所得参数加载到我们改进的YoloV3网络中；

S52：将网络的锚框配置文件中锚框的大小配置为聚类算法得到的大小，然后采用制作好的数据集对该模型进行迁移学习，训练至收敛。

有益效果：与现有技术相比，本发明的一种面向施工现场的对于小目标安全帽和防护服检测方法，首先采用YoloV3网络模型框架，通过用Inception-Resnet 模块代替原有的YoloV3网络的Resnet模块，使得darknet从53层扩宽到了128 层；通过darknet-128网络提取特征后，进一步引入104x104特征图输出完善多尺度预测能力和增强了对小目标的检测能力；针对实际的场景采集图片，并且采用k-means聚类算法对采集数据进行分析，得到施工现场场景下的合适的锚框的大小，使得在复杂多变的施工现场能准确快速的完成对小目标的安全帽和防护服的检测。

附图说明

图1为本发明面向施工现场的小目标安全帽和防护服检测方法流程图；

图2为本发明改进YoloV3网络结构中Inception-Resnet模块示意图；

图3为本发明改进后的YoloV3的特征提取网络细节示意图；

图4为本发明改进后的YoloV3网络整体框架示意图；

图5为本发明改进YoloV3网络的实际的损失函数示意图；

图6为本发明改进YoloV3网络的实际的检测效果示意图；

图7为本发明原始YoloV3网络的实际的PR曲线示意图；

图8为本发明改进YoloV3网络的实际的PR曲线示意图；

图9为本发明改进YoloV3网络的小目标检测效果示意图；

图10为本发明为改进的YoloV3网络在不同分辨率图片的输入下mAP与原始YoloV3对比示意图；

图11为本发明为改进的YoloV3网络在不同分辨率图片的输入下fps与原始YoloV3对比示意图。

具体实施方式

下面结合具体实施方式和附图对本发明的技术方案作进一步的介绍。

如图1～图11所示，一种面向施工现场的对于小目标安全帽和防护服检测方法，包括以下步骤：

S1：如图1所示，样本输入网络训练之前需要经过一系列预处理操作，收集互联网数据和不同工况施工现场监控录像剪辑图像，并手动分离没有施工人员的图片将其作为检测背景，同时对数据集进行分类；

S2：采用k-mean算法对S1得到的数据集进行聚类分析，将进一步确定在施工现场这种环境下目标框的尺寸，由此确定出神经网络的锚框的大小；

S3：使用Inception-Resnet(如图2所示)模块代替原始的Resnet模块，得到改进后的特征提取网络前端，以丰富了特征提取网络的感受野；

S4：通过增加104×104尺寸的特征图输出(如图3所示)，得到改进后的特征提取网络后端，以强化原有网络对小目标的检测能力；

S5：从YoloV3官网上下载预训练默认参数和执行权重微调操作并且加载到改进的YoloV3模型当中，然后采用新的锚框和打好标签的数据集对原有网络作进一步训练，最终得到我们的改进后的YoloV3网络(如图4所示)，该网络对于测试集图片的检测的损失函数逐渐减小，最终达到收敛(如图5所示)，该改进后的模型可以部署到不同平台用于实际应用。

步骤S2中，采用k-mean算法对S1得到的数据集进行聚类分析的方法为：

S21：通过互联网爬虫下载和收集不同施工现场监控视频通过截取图像获得原始的数据；

S22：针对上一步采集到的的原始图片中部分没有人的图片，我们将这一部分图片手动分离出来，并且将这一部分数据用作背景数据集，在此基础上合成新的数据集，使得到的数据集更加贴近实际施工场景；

S23：对预处理过的数据集(记为集合N)进行分类，工人戴安全帽记为事件X，工人穿防护服记为事件Y，A类：{X∩Y}，B类：

S24：针对实际采集的施工现场的图片，我们采用k-mean聚类算法对网络的原始图片作进一步统计分析，进一步确定出新的适用于检测场景的锚框大小，并将其应用到YoloV3网络的训练中，提升检测网络的针对性，YoloV3最初的9 组锚框尺寸为：(10,13)、(16,30)、(33,23)、(30,61)、(62,45)、(59,119)、(116,90)、 (156,198)、(373,326)，但在实际的安全帽和防护服检测任务中，原始的锚框尺寸不适合检测现场，因此，使用k-means聚类算法进行数据集分析，得到新的9 组锚框尺寸中心，分别是：(7,12)、(16,23)、(23，40)、(44,32)、(32,60)、(43,75)、 (52,112)、(71,84)、(75,128)，其面积从小到大排列，第一和第二个维度分为特征提取通道1；第三和第四维度分为特征提取通道2；第五维和第六维分为特征提取通道3；第七，第八和第九维度被分为特征提取通道4，使用新的维度中心进行训练。

步骤S3中，使用Inception-Resnet模块代替原始的Resnet模块的方法为：

S31：分离出原来YoloV3网络的第一个残差网络结构；

S32：将S31分离出来的普通残差模块替换为具有多通道的Inception-Resnet 模块，将上一层的输出端连接到Inception-Resnet模块的输入端，此模块会并行计算同一映射上的多个不同变换，也就是并行的连接不同尺寸的卷积层有1x1 卷积变换、3x3卷积变换；

S33：将S32中Inception-Resnet模块不同尺寸的卷积层的输出进行拼接，得到同一图形不同尺寸卷积下的特征，将该特征输出到网络的下一层进行处理；

S34：将原有网络中的普通残差网络结构按照S31到S33不断进行处理，直至将原有YoloV3网络中全部的残差网络模块全部替换为Inception-Resnet模块，这一步结束。

步骤S4中，增加104×104尺寸的特征图输出得到多尺度检测结果的方法为：

S41：特征提取通道1的Yolo层：对13×13特征图执行连续的1×1和3×3 卷积运算以获得要处理的Yolo层，然后执行一组1×1和3×3卷积运算以获得特征提取通道1的Yolo层；

S42：特征提取通道2的Yolo层：以比例1对要处理的Yolo层进行升采样，与26×26特征图通道合并，并执行连续的1×1和3×3卷积运算以获得要处理的 yolo层，然后执行设置1×1和3×3卷积运算以获得特征提取通道2的Yolo层；

S43：特征提取通道3的Yolo层：对要以特征提取通道2进行处理的Yolo 层进行升采样，与52×52特征图通道融合，然后执行连续的1×1和3×3卷积运算以获得要处理的Yolo层，然后执行一组1×1和3×3卷积运算以获得特征提取通道3的Yolo层；

S44：特征提取通道4的Yolo层：对要以特征提取通道3进行处理的Yolo 层进行升采样，与104×104个特征图通道融合，然后连续进行1×1和3×3的卷积操作以获得要处理的Yolo层，然后执行设置1×1和3×3卷积运算以获得特征提取通道4的Yolo层，改进的多尺度预测网络如图3所示。

步骤S5中，将改进后的YoloV3模型经过迁移学习，训练得到的智能检测模型的方法为：

S51：从YoloV3官网下载预训练默认参数和执行权重的微调操作将所得参数加载到我们改进的YoloV3网络中；

表1为本发明对官网推荐参数进行微调之后设置的权重参数和超参数的初始值。

表1权重参数和超参数的初始值

S52：将网络的锚框配置文件中锚框的大小配置为聚类算法得到的大小，然后采用制作好的数据集对该模型进行迁移学习，训练至收敛(如图5所示)，在验证集上测试新训练好的模型，实际检测效果如图6所示，展示了对小尺寸安全帽和穿着防护服检测的准确性；

S53：将改进后的YoloV3与原始YoloV3网络在同一分辨率和同一采集速度的图片输入下进行召回率和精度的对比，检测效果如图7、图8所示，在相同的迭代次数下，改进的YoloV3的召回率和精确率更高，并且损失值的下降速度比原始YoloV3快，对实际小尺寸安全帽和穿戴防护服的检测效果对比如图9所示，原始的YoloV3网络模型并没有识别出远距离的尺寸较小的安全帽和防护服(如图9(a)所示)，改进后的YoloV3准确地检测出了小尺寸安全帽和防护服(如图9(b)所示)；

S54：将改进后的YoloV3与原始YoloV3网络在不同分辨率和不同采集速度的图片输入下进行mAP，检测速度的对比，为了在不同分辨率的输入图像上验证模型的检测结果，在测试过程中，将图像分为三种分辨率进行测试，分别为 320×320、416×416和608×60，不同分辨率下的mAP如图10所示，不同分辨率下的fps如图11所示，改进的YoloV3方法对不同分辨率的图像具有更高的mAP，同时，改进的YoloV3方法具有更高的fps，改进的YoloV3网络提高了对小目标检测精度和检测速度。

表2为本发明提出的改进的YoloV3模型的对比实验结果。

表2改进的YoloV3模型的对比实验

综上所述，本发明利用一些当前先进方法改进了YoloV3模型，可以达到 98.32％的准确率，比传统的YoloV3算法提高了2.43％，在提升模型检测速度和检测小目标准确度的同时，也提升了模型的鲁棒性，使检测模型在复杂多变的施工现场精准快速地检测工人是否穿戴安全帽和防护服，满足施工现场对于小目标安全帽和防护服检测地实时性和准确性要求。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。