基于人体关键点检测的摊位违规经营识别方法及系统

摘要

本发明提供了一种基于人体关键点检测的摊位违规经营识别方法及系统，包括：获取摊位视频信息：依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；其中，所述摊位识别模型基于A‑FAST‑RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位；本发明采用人体关键点检测模型与基于A‑FAST‑RCNN的摊位目标检测模型进行违规经营识别，通过对摊位检测和人体关键点检测的结合来判断违规经营摊位，对于摊位的检测更加准确，且可以有效减少目标存在遮挡时的漏检问题。

说明书

技术领域

本发明属于智慧城建技术领域，尤其涉及一种基于人体关键点检测的摊位违规经营识别方法及系统。

背景技术

智慧城市起源于传媒领域，是指利用各种信息技术或创新概念，将城市的系统和服务打通、集成，以提升资源运用的效率，优化城市管理和服务，以及改善市民生活质量；智慧城市是把新一代信息技术充分运用在城市中各行各业基于知识社会下一代创新的城市信息化高级形态，实现信息化、工业化与城镇化深度融合，有助于缓解“大城市病”，提高城镇化质量，实现精细化和动态管理，并提升城市管理成效和改善市民生活质量。

发明人发现，摊位违规经营的智能检测是智慧城建中的关键一环，在应用深度学习技术对摊位及人员进行识别时存在以下问题：采用一阶段的目标检测算法进行识别的精度较低，采用主流的两阶段算法Faster R-CNN对小目标/遮挡目标的检测效果较差。

发明内容

本发明为了解决上述问题，提出了一种基于人体关键点检测的摊位违规经营识别方法及系统，本发明本发明基于A-Fast-RCNN算法与人体关键点检测算法Keypoint R-CNN，对街道中电子围栏区域内的违规经营摊位进行检测，提高了检测效果。

为了实现上述目的，本发明是通过如下的技术方案来实现：

第一方面，本发明提供了一种基于人体关键点检测的摊位违规经营识别方法，包括：

获取摊位视频信息：

依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；

其中，所述摊位识别模型基于A-FAST-RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位。

进一步的，摊位识别模型与人体关键点检测模型的训练，包括：

获取训练用摊位视频信息；

将训练用摊位视频信息输入卷积神经网络进行特征提取；

通过一个使用RoI-pooling层的RoI神经网络与多个输出的全连接层；

对抗神经网络使用区域特征作为输入并生成一个mask，用于指出丢弃部分的特征；

输出一个softmax的分类与一个soft-L1的回归。

进一步的，摊位违规经营识别，包括：

通过摊位目标的左右边线在人体双肩或双肘之外判断人员的横向位置；

通过人体眼睛、鼻子或嘴巴关键点在摊位目标之上判断人员的纵向位置；

若人员的横向位置和纵向位置均则满足条件，则判断其为违规经营的摊位。

进一步的，对视频前后帧位置比对判断长时间驻留的违规经营摊位。

进一步的，对视频前后帧位置比对判断长时间驻留的违规经营摊位，包括：

获取连续帧的摊位位置目标及变化幅度；

若摊位位置距离变化在多个连续帧内都低于预设阈值，则判断摊位为长时间驻留摊位。

进一步的，采用同态加密算法将摊位识别模型和人体关键点检测模型参数加密。

进一步的，采用联邦平均算法进行全局模型的聚合。

第二方面，本发明还提供了一种基于人体关键点检测的摊位违规经营识别系统，包括：

数据采集模块，被配置为：获取摊位视频信息：

摊位违规经营识别模块，被配置为：依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；

其中，所述摊位识别模型基于A-FAST-RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了第一方面所述的基于人体关键点检测的摊位违规经营识别方法的步骤。

第四方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了第一方面所述的基于人体关键点检测的摊位违规经营识别方法的步骤。

与现有技术相比，本发明的有益效果为：

本发明采用人体关键点检测模型与基于A-FAST-RCNN的摊位目标检测模型进行违规经营识别，通过对摊位检测和人体关键点检测的结合来判断违规经营摊位，对于摊位的检测更加准确，且可以有效减少目标存在遮挡时的漏检问题。

附图说明

构成本实施例的一部分的说明书附图用来提供对本实施例的进一步理解，本实施例的示意性实施例及其说明用于解释本实施例，并不构成对本实施例的不当限定。

图1为本发明实施例1的流程图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

实施例1：

如图1所示，本实施例提供了一种基于人体关键点检测的摊位违规经营识别方法，具体步骤如下：

S1、各个街道服务器通过监控视频中的图像制作用于A-FAST-RCNN模型训练的数据集；

S2、街道服务器下载中央服务器下发的初始化模型；

S3、街道服务器训练本地摊位识别模型与人体关键点检测模型；

S4、各个街道服务器采用同态加密算法将模型参数加密上传至中央服务器；

S5、中央服务器采用联邦平均算法进行全局模型的聚合；

S6、中央服务器下发聚合后的全局模型至各个街道服务器；

S7、街道服务器采用全局模型进行目标的检测；

S8、应用摊位识别模型与人体关键点检测模型(Detectron2框架的Keypoint R-CNN算法)判断违规经营摊位；

S9、在本实施例中，对视频前后帧位置比对判断长时间驻留的违规经营摊位；在其他实施例中，还可以基于其他目标检测算法与相邻帧图像的相似度来判断是否为长时间驻留的摊位目标。

A-Fast-RCNN算法将对抗学习引入到目标检测问题中，通过构建一个对抗网络生成原始网络难以检测的样本(即存在遮挡的数据)，从而使得网络能够对遮挡问题更加鲁棒。生成有遮挡特征的对抗网络为ASDN，其利用Fast R-CNN中ROI池化层之后的每个目标proposal卷积特征作为对抗网络的输入，给定一个目标的特征，ASDN尝试生成特征某些部分被dropout的掩码，导致检测器无法识别该物体。在前向传播过程中，首先使用ASDN在ROI池化层之后生成特征掩码，然后使用重要性采样法生成二值掩码，使用该掩码将特征对应部位值清零，修改后的特征继续前向传播计算损失，这个过程生成了困难的特征，用于训练检测器；

本实施例基于A-Fast-RCNN算法与人体关键点检测算法Keypoint R-CNN，对街道中电子围栏区域内的违规经营摊位进行检测，并采用联邦学习框架进行多服务器联合训练以提升模型训练效果，保护居民的数据隐私。

本实施例步骤S3中，基于A-FAST-RCNN对各本地数据集进行摊位识别模型训练，主要包括：

S3.1、将图像输入卷积神经网络进行特征提取；

S3.2、通过一个使用RoI-pooling层的RoI神经网络与一些输出的全连接层；

S3.3、对抗神经网络使用区域特征作为输入并生成一个mask，用于指出丢弃哪一部分的特征，从而使检测器更难于检测对象；

S3.4、输出一个softmax的分类与一个soft-L1的回归。

本实施例步骤S8中，同时采用摊位识别模型与人体关键点检测模型判断违规经营摊位，主要包括：

S8.1、通过摊位目标的左右边线在人体双肩或双肘之外判断人员的横向位置；

S8.2、通过人体眼睛、鼻子或嘴巴关键点在摊位目标之上判断人员的纵向位置；

S8.3、若人员的横向、纵向位置均则满足条件则判断其为违规经营的摊位。

本实施例步骤S9中，对视频前后帧位置比对判断长时间驻留的违规经营摊位，主要包括：

S9.1、获取连续帧的摊位位置目标及变化幅度；

S9.2、若摊位位置距离变化在多个连续帧内都低于阈值则判断其为长时间驻留摊位。

由于采用一阶段的目标检测算法进行识别的精度较低，采用主流的两阶段算法Faster R-CNN对小目标/遮挡目标的检测效果较差，因此本实施例中，基于A-FAST-RCNN算法，使用ASDN生成遮挡样本以提升目标检测的鲁棒性；由于摊位的类型多变，因此本实施例中采用摊位检测模型与人体关键点模型进行更加准确的摊位经营综合判定；将各个摄像头的视频/图像数据上传至云端进行集中式深度学习，存在数据量大、数据传输不安全等问题，因此本实施例中应用联邦学习框架，在不上传数据的情况下进行多节点的联合训练，保障了数据隐私性。

实施例2：

本实施例提供了一种基于人体关键点检测的摊位违规经营识别系统，包括：

数据采集模块，被配置为：获取摊位视频信息：

摊位违规经营识别模块，被配置为：依据获取的摊位视频信息，以及预设的摊位识别模型和人体关键点检测模型，得到摊位违规经营识别结果；

其中，所述摊位识别模型基于A-FAST-RCNN算法训练得到，用于摊位目标边线的识别；所述人体关键点检测模型，用于根据识别的边线判断人员的横向位置，以及通过人体关键点和摊位目标判断人员的纵向位置；根据横向位置和纵向位置设别违规经营的摊位。

所述系统的工作方法与实施例1的基于人体关键点检测的摊位违规经营识别方法相同，这里不再赘述。

实施例3：

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现了实施例1所述的基于人体关键点检测的摊位违规经营识别方法的步骤。

实施例4：

本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现了实施例1所述的基于人体关键点检测的摊位违规经营识别方法的步骤。

以上所述仅为本实施例的优选实施例而已，并不用于限制本实施例，对于本领域的技术人员来说，本实施例可以有各种更改和变化。凡在本实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实施例的保护范围之内。