一种结合密度估计与目标检测的人群计数方法

摘要

本发明公开了一种结合密度估计与目标检测的人群计数方法。本发明的方法包括：步骤S1：对训练图片进行标注，使用训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练，构建融合网络；步骤S2：将图片输入融合网络，根据图片分区网络，得到图片的稀疏区域和密集区域；步骤S3：在图片的密集区域使用密度估计网络，得到人头密度图；在图片的稀疏区域使用目标检测网络，得到人头包围框密度图；通过融合网络将两个密度图进行融合，得到融合后的密度图，并进行人群计数。本发明提供的方法，通过对监控图像的实时处理分析，能够适应多种不同尺度的特征，减少背景因素对计数的影响，降低计数误差，提高人群计数的准确率。

说明书

技术领域

本发明属于计算机视觉技术领域，特别涉及了一种结合密度估计与目标检测的人群 计数方法。

背景技术

近些年来，随着城市规模的不断扩张，城市人口不断增长。拥挤的人群影响正常的交通秩序，为人们出行带来不便，同时也存在着巨大的安全隐患。随着近年来人们生活 水平的提高，公共场所的社会活动、人群聚集也更加常见，安全事故也呈现出高发态势。 另一方面，随着人们对城市治安管理需求的提高，城市内的监控相机数量迅速增加而且 覆盖范围越来越广，众多的监控相机构成了庞大的监控网络，短时间内就会产生了海量 的监控数据。传统的视频监控方式一般只提供视频录制、存储、回放等功能，需要后续 人工来对视频进行检查和分析。但是仅依靠人工观察的方式需要大量的人力资源，费时 费力，效率低下，而且难以实时地对监控数据进行分析处理。

由于现实场景的人群分布较为复杂多变，其密集程度差异很大。而且由于透视形变 的影响，物体近大远小，人群的特征尺度差异巨大。同时，人群之外的背景部分也可能会对计数结果造成影响。因此现有的方法难以满足复杂场景的需求。

因此，如何能够实时、准确地对现实场景中人群数量进行统计成为一个亟待解决的 问题。

发明内容

为了解决上述技术问题，本发明通过结合密度估计和目标检测，提供一种结合密度 估计与目标检测的人群计数方法，能够适应多种不同尺度的特征，并且减少背景因素对计数的影响，从而降低计数误差，提高计数准确率，在各种不同的场景下均能发挥出较 好的效果。

本发明技术解决方案为：本发明提供一种结合密度估计与目标检测的人群计数方法， 其特征在于，包括：

步骤S1：对训练图片进行标注，使用所述训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练；根据所述密度估计网络、所述目标检测网络和所述图片 分区网络构建融合网络；

步骤S2：将图片输入所述融合网络，根据所述图片分区网络，得到所述图片的稀疏区域和密集区域；

步骤S3：在所述图片的密集区域使用所述密度估计网络，得到人头密度图；在所述图片的稀疏区域使用所述目标检测网络，得到人头包围框密度图；通过所述融合网络将 所述人头密度图和所述人头包围框密度图进行融合，得到密度图，根据所述密度图进行 人群计数。

本发明与现有技术相比，具有以下优点：

本发明提供了一种结合密度估计与目标检测的人群计数方法，通过对监控视频或图 像的实时处理和分析，能够适应多种不同尺度的特征，并且减少背景因素对计数的影响， 从而降低计数误差，提高人群计数的准确率。在城市管理与交通规划等方面对密集人群 做出预警，及时进行人群疏导，缓解交通拥堵。同时，还能够提前进行合理规划，建立 应急预案和突发事件预警机制，减少安全事故的发生。

附图说明

图1为本发明实施例中一种结合密度估计与目标检测的人群计数方法的流程图；

图2为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S1的流程图；

图3为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S12的 流程图；

图4为本发明实施例中一种结合密度估计与目标检测的人群计数方法中密度估计网 络结构示意图；

图5为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S13流 程图；

图6为本发明实施例中一种结合密度估计与目标检测的人群计数方法中目标检测网 络结构示意图；

图7为本发明实施例中一种结合密度估计与目标检测的人群计数方法中步骤S14的 流程图；

图8为本发明实施例中一种结合密度估计与目标检测的人群计数方法中融合网络结 构示意图。

具体实施方式

本发明提供了一种结合密度估计与目标检测的人群计数方法，通过对监控视频或图 像的实时处理和分析，能够适应多种不同尺度的特征，并且减少背景因素对计数的影响， 从而降低计数误差，提高人群计数的准确率。

为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对 本发明进一步详细说明。

实施例一

如图1所示，本发明实施例提供的一种结合密度估计与目标检测的人群计数方法，包 括下述步骤：

步骤S1：对训练图片进行标注，使用训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练；根据密度估计网络、目标检测网络和图片分区网络构建融合 网络；

步骤S2：将图片输入融合网络，根据图片分区网络，得到图片的稀疏区域和密集区域；

步骤S3：在图片的密集区域使用密度估计网络，得到人头密度图；在图片的稀疏区域使用目标检测网络，得到人头包围框密度图；通过融合网络将人头密度图和人头包围 框密度图进行融合，得到密度图，根据密度图进行人群计数。

如图2所示，在一个实施例中，上述步骤S1：对训练图片进行标注，使用训练图片对密度估计网络、目标检测网络和图片分区网络分别进行训练；根据密度估计网络、目 标检测网络和图片分区网络构建融合网络；包括：

步骤S11：对训练图片进行标注；

步骤S12：使用训练图片对密度估计网络进行训练；

步骤S13：使用训练图片对目标检测网络进行训练；

步骤S14：使用训练图片对图片分区网络训练；

步骤S15：根据密度估计网络、目标检测网络和图片分区网络构建融合网络。

在一个实施例中，上述步骤S11：对训练图片进行标注；本步骤是利用摄像设备获取的图像作为训练图片，由人工标注图片中每个人头的中心点坐标。

如图3所示，在一个实施例中，上述步骤S12：使用训练图片对密度估计网络进行训练，包括：

步骤S121：根据训练图片进行标注，得到每个人头中心点坐标构成的点图；

根据上述步骤S11得到的每个人头的中心点坐标，生成密度估计网络输入所需的点 图。

步骤S122：使用高斯卷积对点图进行处理，得到人头密度图；

为了对密度估计网络进行训练，首先需要对点图进行平滑化的处理，本发明使用高 斯卷积核来生成人头密度图。

步骤S123：将人头密度图进行二值化处理，得到注意力图；

如图4所示，在本步骤中，为了减小图片背景纹理对于人头密度图的影响，密度估计网络采用了类似于U-Net的网络结构，加入了注意力机制，用于过滤背景因素的干扰。 通过对人头密度图进行二值化处理，生成注意力图(得到人头密度图标签)，所述注意 力图表示人头所在的区域，用于对背景进行过滤。

在本步骤中，将所述密度估计网络输出的预测密度图与注意力图相乘，然后与步骤 S122得到的人头密度图标签计算损失值，重复步骤S122～步骤S124进行训练，直到损失值平稳，训练完成。

如图5所示，在一个实施例中，上述步骤S13：使用训练图片对目标检测网络进行训练，包括：

步骤S131：根据相机的透视关系估算训练图片中人头包围框的大小；

根据步骤S11中，人工已经标注好训练图片中每个人头的中心点坐标，因此，在本步骤中，选择性地挑选出部分像素大小不同的人头，以确保涵盖不同的远近距离，从而 利用线性回归得到这些人头的像素大小与人头中心点坐标的关系，进而根据此关系估算 出其他人头包围框的大小。

步骤S132：根据人头中心点坐标以及人头包围框的大小，得到人头包围框；

根据训练图片中人头中心点坐标的和估算出的该人头包围框大小信息，得到其对应 的人头包围框。

步骤S133：将人头包围框输入目标检测网络进行训练，直到损失值平稳；

如图6目标检测网络结构示意图所示，本发明在特征金字塔网络的基础之上，增加了特征融合模块，构建了目标检测网络。该特征融合模块将特征金字塔中每一层输出的 特征上采样到相同的分辨率并按照通道数进行拼接，然后再传递给下一个特征融合模块。 通过这种方式，能够充分利用多种不同尺度的特征，提高目标检测的准确率。通过将人 头包围框输入目标检测网络进行训练，直到损失值平稳，完成训练，输出包含人头的人 头包围框。

步骤S134：根据每个人头包围框中心点坐标，并经过高斯卷积得到人头包围框密度 图。

如图7所示，上述步骤S14：使用训练图片对图片分区网络训练，包括：

步骤S141：根据所述训练图片，生成人群密度图；

步骤S142：将人群密度图输入图片分区网络进行卷积操作，得到对应的局部密度图；

在以某点为圆心，在半径为R的圆形区域内的人数作为局部密度，可以通过计算每个位置的局部密度得到局部密度图。由于依次计算每个像素点位置的计算开销较大，因 此本发明采用卷积操作进行计算。以计算以某点为圆心，在半径为R的圆形区域内的人 数为例，定义一个大小为2R×2R的卷积核，其半径为R的圆形区域内为1，之外为0。 通过该卷积核对人群密度图进行卷积操作，即可得到局部密度图。

步骤S143：根据局部密度图，得到每个训练图片的局部密度值，计算得到所有训练图片的局部密度平均值；

在本步骤中，通过图片分区网络的训练，可得到每个所述训练图片的局部密度图，并计算得到每个训练图片的局部密度值，最后计算得到所有训练图片的局部密度平均值。

步骤S144：对训练图片进行区域划分，局部密度值为0的为背景区域，局部密度值小于局部密度平均值的为稀疏区域，局部密度值大于等于局部密度平均值的为密集区域。

在本步骤中，根据步骤S143的局部密度平均值，对图片进行区域划分，当局部密度值为0时，该区域为背景区域；当局部密度值小于局部密度平均值，该区域为稀疏区 域；当局部密度值大于等于局部密度平均值，该区域为密集区域。由此，完成对图片分 区网络的训练。

在一个实施例中，上述步骤S15：根据述密度估计网络、目标检测网络和图片分区网络构建融合网络；

在本步骤中，将上述训练好的密度估计网络、目标检测网络和图片分区网络构进行 融合，构建如图8所示的融合网络。

在一个实施例中，上述步骤S2：将图片输入融合网络，根据图片分区网络，得到所图片的稀疏区域和密集区域；

将待检测的图片，输入融合网络，首先根据图片分区网络，对待检测图片的区域进行划分，分别得到该图片的稀疏区域和密集区域。

在一个实施例中，上述步骤S3：在图片的密集区域使用密度估计网络，得到人头密度图；在图片的稀疏区域使用目标检测网络，得到人头包围框密度图；通过融合网络将 人头密度图和人头包围框密度图进行融合，得到密度图，根据人群密度图进行人群计数。

在待检测图片的密集区域，使用密度估计网络，得到人头密度图；在待检测图片的稀疏区域使用目标检测网络，得到人头包围框密度图；再通过融合网络将人头密度图和 人头包围框密度图进行融合，得到最终的密度图，对密度图进行逐像素的求和，即可得 到人群总人数。

本发明提供了一种结合密度估计与目标检测的人群计数方法，通过对监控视频或图 像的实时处理和分析，能够适应多种不同尺度的特征，并且减少背景因素对计数的影响， 从而降低计数误差，提高人群计数的准确率。在城市管理与交通规划等方面对密集人群 做出预警，及时进行人群疏导，缓解交通拥堵。同时还能够提前进行合理规划，建立应急预案和突发事件预警机制，减少安全事故的发生。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发 明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修 改，均应涵盖在本发明的范围之内。