一种基于双摄像头的公共场所人数估算方法

摘要

本发明公开了一种基于双摄像头的公共场所人数估算方法。该方法是首先建立用于估算的多元线性模型，并在该类场景中获取多元线性模型的训练样本集，然后再通过多元线性回归分析求取模型参数，从而得到完整的多元线性回归方程；之后只需要从监控视频图像中提取相应的特征代入所建成的多元线性回归方程中便可以实时地进行人流密度估计。本发明提供的公共场所人数估计方法是以前景像素、人脸区域像素以及前景外/内边缘像素与人流密度的多元线性关系为根据进行人数估计，不仅适用于低密度人群，同时提高了高密度人群情况下的估计精度。

说明书

技术领域

本发明涉及涉及一种双摄像头的公共场所人数估计方法，可广泛应用于地铁、车站等场所，进行人流密度监测与估计。

背景技术

随着经济的快速发展和人们生活水平的提高，越来越多的人口涌入城市。对于城市中的许多公共设施比如商场、地铁等，都会在短时间迎来人流的高峰。近些年在各地也都发生过因为人流过于拥挤而发生的踩踏伤亡事件，因此对这些场所的客流密度进行实时的统计和分析显得至关重要。另外人群密度估计技术在公共安全、机场车站等交通枢纽的管控和服务等领域有着重要作用，还可为商业决策提供依据。

随着计算机技术的发展，利用计算机视觉以及图像处理技术对监测画面实时分析处理，可实现人流自动统计和管理，常用的方法主要有三大类：基于像素分析的方法、基于纹理分析的方法以及基于个体目标分析的方法。其中，基于像素分析的方法的依据是通过人群密度和像素数之间近似的线性关系，可以直接得到人群密度的估计结果，但是并不能解决高密度人群的重叠问题，因为人群密度越大，重叠越严重，这时的人群密度与像素数已不是之前的线性关系。基于纹理分析的方法的依据是人群密度的高低与纹理模式的粗细之间存在对应关系，能够很好地解决高密度人群重叠遮挡的问题，但是在低密度监测时却有很大的误差。基于个体目标分析的方法主要是对目标进行识别、跟踪，以区分不同的目标个体，但是在人流密度过大时，目标分割很困难，而且此方法很复杂，很难满足实时性要求。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于双摄像头的公共场所人数估算方法。

为了达到上述目的，本发明提供的基于双摄像头的公共场所人数估算方法该方法采用由第一摄像头、第二摄像头和主机构成的硬件平台，其中：第一摄像头和第二摄像头分别与主机相连接，第一摄像头和第二摄像头以对称的方式分别安装在采集现场的两端；主机为运算部件，采用通用PC计算机，用于通过第一摄像头和第二摄像头分别从现场的两端采集图像，并完成对现场内人数估算的相应运算；所述的公共场所人数估算方法由训练阶段和实时阶段组成；其中所述的训练阶段包括按顺序执行的下列步骤：

步骤一、读入视频图像的S101阶段：分别通过第一摄像头和第二摄像头同步采集图像，务必保证待处理的两帧样本图像为不同摄像机同一时刻的监测图像；

步骤二、判断图像是否满足要求的S102阶段：由主机根据读入的图像中人流方向、人群分布条件，判断读入的图像是否满足构建特征样本的原则，如果判断结果为“是”则进入下一步，否则转跳至S101阶段的入口处，下一步继续执行S101阶段；

步骤三、建立特征样本序列的S103阶段：记录样本图像中的人数，并提取图像特征，即：前景图像像素数、人脸肤色区域像素数、前景区域外边缘像素数和内边缘像素数，将上述特征元素作为特征样本序列中的一个样本保存在特征样本序列中，然后进入下一步；

步骤四、判断特征样本序列是否完整的S104阶段：判断用于构建训练样本集的特征样本序列是否完整，如果判断结果为“是”则进入下一步，否则转跳至S101阶段的入口处，下一步继续执行S101阶段；

步骤五、建立线性回归方程的S105阶段：根据已构建的训练样本集，由最小二乘法求得线性回归方程的系数值，从而建立线性回归方程，至此训练阶段流程结束；

所述的实时阶段包括按顺序执行的下列步骤：

步骤一、同步读入两摄像头的监测图像的S201阶段：分别通过第一摄像头和第二摄像头同步采集实时图像，确保主机所处理的两个监测画面是同一时刻的；

步骤二、设定有效监测区域的S202阶段：分别在两个摄像头的监测画面中确定出同一有效监测区域。

步骤三、提取前景图像的S203阶段：分别在两个摄像头的监测画面中分割出活动人群作为前景图像；

步骤四、前景图像预处理的S204阶段：对前景图像进行滤波、去噪等处理，然后计算出前景图像像素数，再从前景图像中检测出人脸肤色区域，对检测结果做去噪处理，然后分析并统计出人脸肤色区域的像素数；

步骤五、计算边缘像素的S205阶段：计算前景图像的外部边缘像素数和内部边缘像素数；

步骤六、综合特征信息及估计人数的S206阶段：将上述这些特征元素的像素数进行综合处理并作为特征数据代入到在训练阶段生成的线性回归方程中，即求得活动人群的人数估算值。

2、根据权利要求1所述的基于双摄像头的公共场所人数估算方法，其特征在于：在S103阶段中，所述的提取图像特征过程主要包括前景图像提取、人脸区域检测以及边缘检测；其中前景图像提取方法是首先利用高斯混合模型建立背景模型，然后判断图像像素点是否与当前背景的K个高斯分布匹配，若匹配则判断为背景，同时更新高斯分布权值，若都不匹配，则判断为前景，高斯分布权值不更新；生成一个二值的前景掩模，其中背景为0，前景为255。然后对掩模进行中值滤波和形态学处理，这样便完成了对前景图像的提取；人脸区域检测方法是基于Haar分类器检测出人脸区域，然后再通过YCrCb颜色空间统计出人脸区域内的肤色区像素数；边缘检测方法是首先将提取的前景图像转换为灰度图像，经均值滤波之后使用canny算子进行边缘检测。

在S203阶段中，所述的前景图像的提取主要采用混合高斯模型的背景差分方法。

在S204阶段中，所述的检测人脸肤色区域的方法是首先采用基于Haar分类器的方法确定人脸区域，然后通过基于YCrCb颜色空间的肤色检测方法来统计人脸区域内肤色像素。

在S205阶段中，所述的计算前景图像的边缘像素方法是采用canny算子对前景图像进行边缘检测，并对结果进行降噪、滤波处理，去除干扰较大的区域，然后统计出内部边缘像素数和外部边缘像素数。

本发明提供的基于双摄像头的公共场所人数估算方法是以前景像素、人脸区域像素以及前景外/内边缘像素与人流密度的多元线性关系为根据进行人数估计，不仅适用于低密度人群，同时提高了高密度人群情况下的估计精度。

附图说明

图1为本发明提供的基于双摄像头的公共场所人数估算方法硬件平台构成示意图。

图2为本发明提供的基于双摄像头的公共场所人数估算方法硬件平台的组成框图。

图3为本发明提供的基于双摄像头的公共场所人数估算方法中训练阶段流程图。

图4为本发明提供的基于双摄像头的公共场所人数估算方法中实时阶段流程图。

具体实施方式

下面结合附图和具体实施例对本发明提供的基于双摄像头的公共场所人数估算方法进行详细说明。

图1、图2示出了本发明提供的基于双摄像头的公共场所人数估算方法的硬件平台构成，其中：第一摄像头1和第二摄像头2为图像采集装置，其分别与主机3相连接，用于采集现场的图像，第一摄像头1和第二摄像头2以对称的方式分别安装在采集现场的两端；主机3为运算部件，采用通用PC计算机，人群4为被监测现场中过往的人流；主机3分别与第一摄像头1和第二摄像头2相连接，用于通过第一摄像头1和第二摄像头2分别从现场的两端采集图像，并完成对现场内人数估算的相应运算。

本发明提供的适用于公共场所的人数估计方法，不仅适用于低密度人群，同时提高了高密度人群情况下的估计精度。该方法在受监测区域的两端相向对称安装两台监测摄像头，两摄像头从两个方向同时监测同一区域，场景模型如图1所示。

所述的基于双摄像头的公共场所人数估算方法是在前景像素分析的基础上，综合考虑肤色像素和边缘像素，主要思想立足于以下两点：

(一)场景中，随着人群4密度的增大，以人脸为主的肤色区域占整个前景区域的比重呈增大趋势；

(二)对前景图像进行边缘提取，随着人群密度的增大，除前景轮廓边缘之外的内部边缘像素占全部边缘像素的比重呈增大趋势。

该方法利用人群人数与上述两种比例之间存在较强的多元线性关系.通过多元线性回归分析可求得人数与这些特征之间的多元线性模型，从而可对于基于前景像素数方法的估计结果进行修正，实现更为精确人数估计。

利用本发明提供的基于双摄像头的公共场所人数估算方法对于某类场景的人数进行估计，需要首先依据上述思想建立用于估算的多元线性模型，并在该类场景中获取多元线性模型的训练样本集，然后再通过多元线性回归分析求取模型参数，从而得到完整的多元线性回归方程；之后只需要从监测视频图像中提取相应的特征代入所建成的多元线性回归方程中便可以实时地进行人数估计。

因此，本发明提供的基于双摄像头的公共场所人数估算方法由训练阶段和实时阶段组成，在训练阶段：主机3通过第一摄像头1和第二摄像头2分别采集一幅现场视频图像作为样本图像，并从中提取运动人群前景图像，然后计算出前景图像像素数、人脸肤色区域所占的像素数、前景区域内/外边缘所占的像素数以及图像样本之中的人群4的具体人数，将上述特征元素组成一个特征样本，重复采集多帧样本图像，获得足够数量的特征样本，就能得到一个完整的训练样本集，利用得到的训练样本集就可以通过多元线性回归分析求取多元线性模型的参数，从而得到用于实时估算的多元线性回归方程；在实时阶段：主机2通过第一摄像头1和第二摄像头2分别实时采集一帧图像，并从中计算出前景图像像素数、人脸肤色区域所占的像素数、前景区域内/外边缘所占的像素等特征，然后将上述特征代入多元线性回归方程之中，就可得到需要的人数估算值。

如图3所示，所述的训练阶段包括按顺序执行的下列步骤：

步骤一、读入视频图像的S101阶段：分别通过第一摄像头1和第二摄像头2同步采集图像，务必保证待处理的两帧样本图像为不同摄像机同一时刻的监测图像。考虑到监测区域内人群位置分布的不确定性以及不同时刻人流量相差较大等因素，所选样本图像应能尽可能涵盖各种情况，这样得到的线性回归模型才具有较好的鲁棒性；

步骤二、判断图像是否满足要求的S102阶段：由主机3根据读入的图像中人流方向、人群分布等条件，判断读入的图像是否满足构建特征样本的原则，如果判断结果为“是”则进入下一步，否则转跳至S101阶段的入口处，下一步继续执行S101阶段；

步骤三、建立特征样本序列的S103阶段：记录样本图像中的人数，并提取图像特征，即：前景图像像素数、人脸肤色区域像素数、前景区域外边缘像素数和内边缘像素数，将上述特征元素作为特征样本序列中的一个样本保存在特征样本序列中，然后进入下一步；

步骤四、判断特征样本序列是否完整的S104阶段：判断用于构建训练样本集的特征样本序列是否完整，如果判断结果为“是”则进入下一步，否则转跳至S101阶段的入口处，下一步继续执行S101阶段；

步骤五、建立线性回归方程的S105阶段：根据取得的训练样本集求得线性回归方程的系数，即：

设P为监测画面中的人数，q为前景像素面积，φ为一个加权系数，X₁、X₂分别为两个摄像头的监测图像中以人脸为主的肤色区域占整个前景的比重，Y₁、Y₂分别为两个摄像头的监测图像中内部边缘像素占全部边缘像素的比重，a，b，c，d为回归系数。

令X＝X₁+X₂，Y＝Y₁+Y₂，φ＝b·X+c·Y+d，P＝a·q·φ

根据已构建的训练样本集，由最小二乘法求得线性回归方程的系数值，从而建立线性回归方程，至此训练阶段流程结束。

在所述的建立样本序列的过程中，要遵循以下原则：采集样本图像要尽量挑选人流分布在监测区域不同位置的帧图像作为样本图像，对于人流密度较大或环境复杂的场所应适当增加样本图像数目。

在S103阶段中，所述的提取图像特征过程主要包括前景图像提取、人脸区域检测以及边缘检测等运算过程；

在前景图像提取时，首先利用高斯混合模型建立背景模型，然后判断图像像素点是否与当前背景的K个高斯分布匹配，若匹配则判断为背景，同时更新高斯分布权值，若都不匹配，则判断为前景，高斯分布权值不更新。生成一个二值的前景掩模，其中背景为0，前景为255。然后对掩模进行中值滤波和形态学处理，这样便完成了对前景图像的提取；另外考虑到监测视频序列一秒钟有25帧画面，而且目标对象为人流，相邻两帧的差别很小，人数也不会有显著变化，因此本发明所述方法以每隔10帧取一帧进行处理；

在人脸区域检测时主要采用基于Haar分类器的方法检测出人脸区域，然后再通过YCrCb颜色空间统计出人脸区域内的肤色区像素数。首先从监测录像中选取大量的图像，使用AdaBoost算法训练区分人脸和非人脸的强分类器，然后使用筛选式级联把强分类器级联到一起，训练完成后将其保存，在进行人脸区检测时调用级联分类器便可以有效检测出人脸区域的位置和大致尺寸。然后将人脸区域图像转换到YCrCb空间，判定处在133＜Cr＜173，77＜Cb＜127的像素区为肤色区，接着便可以统计出人脸区域内肤色区的像素数；

在边缘检测时主要采用canny算子，首先将提取的前景图像转换为灰度图像，经均值滤波之后使用canny算子进行边缘检测。边缘检测的结果为二值图像，非零的像素点即为边缘，统计出总边缘像素数。然后将每一个边缘像素点的位置对应到前景掩模上，若该位置相邻的8个位置的值均为非零值，则将该边缘像素判断为内边缘像素，否则不是。

如图4所示，所述的实时阶段包括按顺序执行的下列步骤：

步骤一、同步读入两摄像头的监测图像的S201阶段：分别通过第一摄像头1和第二摄像头2同步采集实时图像，确保主机3所处理的两个监测画面是同一时刻的；

步骤二、设定有效监测区域的S202阶段：分别在两个摄像头的监测画面中确定出同一有效监测区域。

步骤三、提取前景图像的S203阶段：分别在两个摄像头的监测画面中分割出活动人群作为前景图像；

步骤四、前景图像预处理的S204阶段：对前景图像进行滤波、去噪等处理，然后计算出前景图像像素数，再从前景图像中检测出人脸肤色区域，对检测结果做去噪等处理，然后分析并统计出人脸肤色区域的像素数；

步骤五、计算边缘像素的S205阶段：计算前景图像的外部边缘像素数和内部边缘像素数；

步骤六、综合特征信息及估计人数的S206阶段：将上述这些特征元素的像素数进行综合处理并作为特征数据代入到在训练阶段生成的线性回归方程中，就可以求得活动人群的人数估算值。

在所述的S203阶段中，前景图像的提取主要采用混合高斯模型的背景差分方法。在进行统计感兴趣元素前，需要对前景图像进行滤波、去噪等处理。

在所述的S204阶段中，检测人脸肤色区域，首先采用基于Haar分类器的方法确定人脸区域，然后通过基于YCrCb颜色空间的肤色检测方法来统计人脸区域内肤色像素。

在所述的S205阶段中，计算前景图像的边缘像素时，采用canny算子对前景图像进行边缘检测，并对结果进行降噪、滤波处理，去除干扰较大的区域，然后统计出内部边缘像素数和外部边缘像素数。