一种自上而下的工装合规穿戴检测算法方法

摘要

本发明涉及人员合规穿戴工装检测技术领域，尤其是指一种自上而下的工装合规穿戴检测算法方法，采集基建场景现场人员图片并添加人员、工装标签；采用FasterR‑CNN结合锚点自适应模块生成锚点，分别建立人员定位、人体区域工装检测深度学习网络模型；根据人员标签裁剪得到人体区域图片数据集；完整图片训练集做数据增强后利用人员标签对人员定位模型进行训练；人体区域图像训练集做数据增强后利用工装标签对人体区域工装分类模型进行训练。本发明能够实现建设工地工装合规穿戴的自动检测，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等优点，具有良好的鲁棒性，能够应用于工地智能监管系统。

说明书

技术领域

本发明涉及人员合规穿戴工装检测技术领域，尤其涉及一种自上而下的工装合规穿戴检测算法方法。

背景技术

基建现场对作业人员有严格的工装穿戴要求，并以此来降低作业人员作业时的风险。传统的人工监管方式，一方面耗时耗力，另一方面对容易错过零散区域的工装异常穿戴行为。因此，如果能够通过监控摄像头的图像对基建现场对作业人员的工装穿戴情况进行自动检测，对于实现智能监管具有重要意义。借助深度学习方法对监控影像进行自动化检测，也是亟需解决的难题之一。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种自上而下的工装合规穿戴检测算法方法，能准确检测现场的工装合规穿戴情况并具有良好稳定性。

为了实现上述目的，本发明采用了如下技术方案：一种自上而下的工装合规穿戴检测算法方法，包括以下步骤：

S1：采集基建场景现场人员图片，对每一图片制作对应的样本标签文件；

S2：采用Faster R-CNN检测网络的骨干网络，并采用锚点自适应模块生成锚点，分别建立人员定位、人体区域工装检测深度学习网络模型；

S3：将采集的完整图像数据集和人体区域图片数据集随机划分为训练集和测试集；

S4：对完整图像数据集进行数据增强；

S5：利用完整图像数据集训练集对人员定位模型进行训练，获得初步训练后的人员定位模型；

S6：采用测试集测试初步训练后的人员定位模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化并固化人员定位模型；

S7：对人体区域图像数据集进行数据增强；

S8：利用人体区域图像数据集训练集对人体区域工装分类模型进行训练，获得初步训练后的人体区域工装分类模型；

S9：采用测试集测试初步训练后的人体区域工装分类模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化并固化人体区域工装分类模型；

S10：针对待测图像分别输入固化后的人员定位、人体区域工装分类模型，输出获得检测结果。

作为上述技术方案的进一步描述：

所述步骤S1中基建场景现场人员图片是上方摄像头，以现场作业人员作为目标物，正对目标物的左右偏差15度和俯视10-25度的范围内采集获得的图片。

作为上述技术方案的进一步描述：

所述步骤S1中样本标签文件符合Pascal VOC数据集的xml标签文件标准。

作为上述技术方案的进一步描述：

所述步骤S2中，训练的人员定位模型具体是：图片通过统一预处理后送入网络；网络的骨干网络使用ResNet50，分阶段提取特征后，用特征金字塔网络结构对各个阶段的特征进行混合，得到特征图组；通过引入两个新的训练分支来代替传统的锚点生成过程，位置预测分支和形状预测分支用来帮助框架依据特征图局部特征完成稀疏锚点的生成，框架根据这两个分支的输出结果与设定的阈值比较，首先得到特征图上可能存在目标的中心位置，再根据中心位置附近特征的局部特征来预测最有可能的锚点形状；通过锚点自适应方法产生的锚点用于后续提取感兴趣区域池化，并通过与Faster R-CNN相同的后续网络结构进行分类和边框回归；所述步骤S2中，人体区域工装分类模型具体是ResNet18和分类器；完整图片经过人员定位模型边框回归的结果，裁剪图片，将裁剪后图片送入人体区域工装分类模型，ResNet提取小图的特征向量进行工装合规分类。

作为上述技术方案的进一步描述：

所述步骤S2中，锚点自适应模块将锚点涉及参数的联合分布，分离为两个独立的条件分布，并结合输入特征图的语音信息进行特征信息校准输出更加准确的特征进行检测；锚点的联合分布与锚点位置、锚点形状的条件分布满足以下公式：

p(x，y，w，h|I)＝p(x，y|I)p(w，h|x，y，I)

式中，(x,y)代表锚点的位置，(w,h)代表锚点的形状，I代表输入图片。

作为上述技术方案的进一步描述：

所述步骤S3中对样本的划分具体是指取整个数据集的80％作为训练集，剩余的20％作为测试集。

作为上述技术方案的进一步描述：

所述步骤S5中在进行人员定位模型训练时采用Faster R-CNN和锚点自适应模块。

作为上述技术方案的进一步描述：

所述步骤S5中，将训练的图片统一缩放到相同大小，先采用ImageNet 已知数据预训练ResNet50网络框架模型的参数，训练时的参数更新方式为 SGD，初始学习率为0.01，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练12个时期；训练采用2个时期来慢启动，并采用学习率阶段逐渐下降方式训练；所述的慢启动具体是指在训练的第1个时期采用初始学习率1/3进行训练，第2个时期开始恢复初始学习率大小进行训练；所述的学习率阶段下降方式具体是指在第4和第8时期学习率在原基础上缩放1/10。

作为上述技术方案的进一步描述：

所述步骤S10中，工装合规检测通过串联的人员定位模型和人体区域工装分类模型完成。

本发明具有如下有益效果：

1、与现有技术相比，该一种自上而下的工装合规穿戴检测算法方法，通过对采集到的基建场景现场人员图片进行标注，划定完整图像数据集和人体区域图像数据集，再采用Faster R-CNN检测网络结合锚点自适应模块生成锚点，分别建立人员定位、人体区域工装检测深度学习网络模型并训练；利用训练好的模型在测试集上进行工装检测，预测出人员、穿戴工装在图片中的位置，并预测对应位置的检测置信度，最终根据设置的重叠阈值去除重叠的检测框，完成基建现场作业人员工装穿戴检测，本发明能够实现作业人员工装穿戴的自动检测，具有较高的准确率，并且具有稳定性好，抗干扰能力强，通用性高等有点，具有良好的鲁棒性，能够应用于工地智能监管系统。

2、与现有技术相比，该一种自上而下的工装合规穿戴检测算法方法，通过考虑作业人员工装的合规穿戴，对卷起袖子等违规穿戴行为也进行了检测，本发明方法准确率高，鲁棒性好，且对各种变电站环境具有通用性。

3、与现有技术相比，该一种自上而下的工装合规穿戴检测算法方法，通过在Faster R-CNN目标检测模型上增加了锚点自适应模块，提升了模型对复杂环境下不同位置、比例的人体的检测效果。

附图说明

图1为实施例Faster R-CNN和锚点自适应模块网络结构图；

图2为实施例锚点自适应模块结构；

图3为实施例检测人员穿戴的流程图。

具体实施方式

参照图1-3，本发明提供的一种自上而下的工装合规穿戴检测算法方法，包括以下步骤：

S1：采集基建场景现场人员图片，对每一图片制作对应的样本标签文件；

S2：采用Faster R-CNN检测网络的骨干网络，并采用锚点自适应模块生成锚点，分别建立人员定位、人体区域工装检测深度学习网络模型；

S3：将采集的完整图像数据集和人体区域图片数据集随机划分为训练集和测试集；

S4：对完整图像数据集进行数据增强；

S5：利用完整图像数据集训练集对人员定位模型进行训练，获得初步训练后的人员定位模型；

S6：采用测试集测试初步训练后的人员定位模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化并固化人员定位模型；

S7：对人体区域图像数据集进行数据增强；

S8：利用人体区域图像数据集训练集对人体区域工装分类模型进行训练，获得初步训练后的人体区域工装分类模型；

S9：采用测试集测试初步训练后的人体区域工装分类模型的性能，根据测试结果调整训练参数与检测置信度阈值，优化并固化人体区域工装分类模型；

S10：针对待测图像分别输入固化后的人员定位、人体区域工装分类模型，输出获得检测结果。

作为上述技术方案的进一步的实施方式：

步骤S1中基建场景现场人员图片是上方摄像头，以现场作业人员作为目标物，正对目标物的左右偏差15度和俯视10-25度的范围内采集获得的图片。

作为上述技术方案的进一步的实施方式：

步骤S1中样本标签文件符合Pascal VOC数据集的xml标签文件标准。

作为上述技术方案的进一步的实施方式：

步骤S2中，训练的人员定位模型具体是：图片通过统一预处理后送入网络；网络的骨干网络使用ResNet50，分阶段提取特征后，用特征金字塔网络结构对各个阶段的特征进行混合，得到特征图组；通过引入两个新的训练分支来代替传统的锚点生成过程，位置预测分支和形状预测分支用来帮助框架依据特征图局部特征完成稀疏锚点的生成，框架根据这两个分支的输出结果与设定的阈值比较，首先得到特征图上可能存在目标的中心位置，再根据中心位置附近特征的局部特征来预测最有可能的锚点形状；通过锚点自适应方法产生的锚点用于后续提取感兴趣区域池化，并通过与Faster R-CNN相同的后续网络结构进行分类和边框回归；步骤S2中，人体区域工装分类模型具体是ResNet18和分类器；完整图片经过人员定位模型边框回归的结果，裁剪图片，将裁剪后图片送入人体区域工装分类模型，ResNet提取小图的特征向量进行工装合规分类。

作为上述技术方案的进一步的实施方式：

步骤S2中，锚点自适应模块将锚点涉及参数的联合分布，分离为两个独立的条件分布，并结合输入特征图的语音信息进行特征信息校准输出更加准确的特征进行检测；锚点的联合分布与锚点位置、锚点形状的条件分布满足以下公式：

p(x，y，w，h|I)＝p(x，y|I)p(w，h|x，y，I)

式中，(x,y)代表锚点的位置，(w,h)代表锚点的形状，I代表输入图片。

作为上述技术方案的进一步的实施方式：

步骤S3中对样本的划分具体是指取整个数据集的80％作为训练集，剩余的20％作为测试集。

作为上述技术方案的进一步的实施方式：

步骤S5中在进行人员定位模型训练时采用Faster R-CNN和锚点自适应模块。

作为上述技术方案的进一步的实施方式：

步骤S5中，将训练的图片统一缩放到相同大小，先采用ImageNet已知数据预训练ResNet50网络框架模型的参数，训练时的参数更新方式为SGD，初始学习率为0.01，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练12个时期；训练采用2个时期来慢启动，并采用学习率阶段逐渐下降方式训练；的慢启动具体是指在训练的第1个时期采用初始学习率1/3进行训练，第2个时期开始恢复初始学习率大小进行训练；的学习率阶段下降方式具体是指在第4和第8时期学习率在原基础上缩放1/10。

作为上述技术方案的进一步的实施方式：

步骤S10中，工装合规检测通过串联的人员定位模型和人体区域工装分类模型完成。

工作原理：使用本发明时，首先建立基建场景现场人员图片图像数据集，其次建立与图像数据集对应的标签。标签文件满足Pascal VOC格式的xml标签文件标准，内容包含图像名称、图像路径、图像的高度宽度以及真实目标框的中心点位置与宽高。利用标注的人体框位置，在完整图像数据集上裁剪得到人体区域图像数据集。

建立深度学习网络模型，采用Faster R-CNN目标检测算法、锚点自适应模块、ResNet18和分类器，分类器分别构建人员定位和人体区域工装检测深度学习目标检测网络。

Faster R-CNN目标检测算法和锚点自适应模块网络的网络结构，在 Faster R-CNN目标检测算法网络模型中采用ResNet50作为骨干网络，图像输入到ResNet50网络框架模型的输入层，分阶段提取特征后，用FPN结构对各个阶段的特征进行混合，补充网络的底层大感受野低语义特征图中缺失的语义信息，补充网络的顶层小感受野高语义特征图缺失的准确位置信息。FPN特征金字塔网络模型对ResNet50网络框架模型的第二特征提取阶段到第五特征提取阶段输出的阶段特征图进行插值融合并输出不同尺度的特征图。最终在融合得到特征图组上进行检测框的生成。

另外，采用锚点自适应模块来生成检测锚点。锚点自适应模块放弃了传统人为设置锚点的思路，引入了两个新的训练分支来代替传统的锚点生成过程。锚点的联合分布与锚点位置、锚点形状的条件分布满足以下公式：

p(x，y，w，h|I)＝p(x，y|I)p(w，h|x，y，I)

式中，(x,y)代表锚点的位置，(w,h)代表锚点的形状，I代表输入图片。

锚点定位分支产生一个与输入特征图相同尺寸大小的概率图p(·|Fi), 概率图上(i,j)位置的概率为p(i，j|Fi)，其大小与原图I对应坐标位置

w＝σ·s·e

式中，s为FPN输出的当前特征图相对于输入原图的下采样倍数，为经验参数，设置中选择8。

展示的锚点自适应方法让每一个位置只预测一个动态变化的锚点，而不是稠密分布的锚点阵，对于基建场景下，人员在画面中的动作、位置不同带来的复杂锚点形状分布有很好的拟合，所生成的锚点比原有方案有更高的召回率。

基建场景现场人员工装合规检测完整的流程，算法遵循一种“自上而下的”检测流程，即先检测人体区域，再对画面中的各个人体区域挨个进行工装检测。人员定位检测算法都采用Faster RCNN+锚点自适应模块的检测网络。

实验图片共有15477张完整图片用于人员定位算法的训练，包含正常佩戴，未戴安全帽，正常穿工装上衣，正常穿工装裤子，未合规穿工装上衣(卷起工装袖子)，共5种穿戴行为。实验选择了其中的12542张用作训练集，剩余2935张用于测试。对数据集中的人体进行裁剪后，得到29341张人体区域图片，其中26406张图片用于人体区域合规穿戴检测算法的训练，2935张图片用于算法性能的测试。在训练图片进入模型训练前进行数据增强，采用随机翻转、随机亮度增强和颜色通道标准化方法。

人员定位算法训练：将数据增强后的完整图片，统一缩放到1333×800 大小，采用在ImageNet上预训练的ResNet50模型参数。参数更新方式为SGD，初始学习率为0.01，动量项为0.9，权值衰减系数1×10-4，批训练大小为4，训练迭代次数12个周期。训练采用2个周期来慢启动，并采用学习率阶段下降方式在第4、8周期下降学习率为原本的0.1倍。

人体区域合规穿戴检测算法训练：图形统一缩放到150×400，批处理设置为128，采用在ImageNet上预训练的ResNet18模型参数，参数更新方式为 SGD，初始学习率为0.05，动量项为0.9，权值衰减系数1×10-4，批训练大小为64，训练迭代次数12个周期。

本方法能很好的检测作业人员是否合规穿戴工装。表1给出了本方法在测试集上的结果，当输入图像中的单个人员穿戴工装状态检测完全正确时，判定对人员的合规穿戴准确，准确率为判断准确人数除以测试集中总人数。

利用训练好的模型在测试集上做测试，在测试样本图片上框出预测框并标上人员工装的分类结果，接着进行测试典型。然后计算检测模型的平均准确度，固化一个效果较好的检测模型。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。