基于俯视图像的客流统计模型训练方法和客流统计方法

摘要

本发明提供了一种基于俯视图像的客流统计模型训练方法和一种客流统计方法，其中，客流统计方法包括：获取多张俯视帧图像并形成测试图像集；获取各俯视帧图像中所有目标行人的脚部的虚拟正投影点，针对每个目标行人出现的多张俯视帧图像中的各虚拟正投影点，获取目标行人在待测场景的行进轨迹；判断行进轨迹与俯视帧图像上的统计标线的位置关系，以判定目标行人进店或离店。本发明解决了现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人的头部中心点偏移，造成头部中心点与地面上的统计标线出现位置比较错误，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题。

说明书

技术领域

本发明涉及图像处理、行人识别及客流统计技术领域，具体而言，涉及一种基于俯视图像的客流统计模型训练方法和一种客流统计方法。

背景技术

目前，很多公共场所均配置有用于监控或人员数据统计的取像装置；例如，火车站、汽车站、飞机场、地铁站、医院、银行、学校、商场或门店等。以商场或门店为例，在人员进出口处通常会安装用于客流统计的摄像头，以有利于对进出商场或门店的人员数量进行宏观调控，也便于通过客流的精确统计对经营模式的微观调整，提升商场或门店服务的智能化以及便利化。

随着社会的不断进步，人们对个人隐私保护的需求愈来愈高，通过识别人脸的方式进行客流统计因存在易泄露用户信息的风险而逐步被淘汰，因此，为了采集人脸信息而采用的传统的倾斜式安装取像装置的方式也逐渐不再使用。

现有技术中，还有一类取像装置是以内嵌或突出的方式垂直安装于建筑物的顶部的，例如用于客流统计的摄像头，此类取像装置的取像方向垂直于地面，其拍摄的图像为固定区域范围内的俯视图像，因为俯视图像中拍摄的行人的有效身体面积很小，能够直观获得的行人身体特征的信息量很少，尤其是行人的面部特征存在形变情况，从而完美地克服了泄露用户信息的问题。

但是，利用此类取像装置拍摄的俯视图像进行客流统计时，通常以行人的头部中心点与地面上的统计标线进行位置比较以统计行人，而当行人不位于拍摄中心点时，行人与取像装置之间仍然存在取像夹角，取像夹角的存在导致行人的头部中心点出现位置偏移，从而造成头部中心点与地面上的统计标线出现位置比较错误，进而导致客流统计中存在行人重复检测或行人漏检的现象，严重影响了客流统计的准确率。

发明内容

本发明的主要目的在于提供一种基于俯视图像的客流统计模型训练方法和一种客流统计方法，以解决现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人的头部中心点偏移，造成头部中心点与地面上的统计标线出现位置比较错误，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种基于俯视图像的客流统计模型训练方法，包括：步骤S1，获取俯视图像，在俯视图像上对显示的目标行人进行信息标注，包括：标注目标行人的头部外接矩形框以及目标行人的两个脚部关键点；步骤S2，根据头部外接矩形框获取目标行人的头部中心点，根据两个脚部关键点获取目标行人的双脚中心点，以双脚中心点作为头部中心点在目标行人的脚部处于的二维支撑平面内的虚拟正投影点；步骤S3，重复步骤S1和步骤S2直至获取经过信息标注的预设数量的俯视图像后构成样本图像训练集，使用样本图像训练集训练初始模型训练成为客流统计模型。

进一步地，脚部关键点的标注位置落在俯视图像上的目标行人的脚部区域范围内，俯视图像上双脚中心点为两个脚部关键点的几何连线中点。

进一步地，在俯视图像中，当目标行人的脚部处于遮挡状态，根据目标行人的身体的未遮挡部位的显示比例在俯视图像中计算获取脚部关键点的位置。

进一步地，样本图像训练集输入初始模型产生的预测结果包括：头部中心点的预测结果、脚部关键点的预测结果、头部外接矩形框宽高回归量的预测结果、双脚中心点距离头部中心点在二维支撑平面内的偏移量的预测结果；预测结果的损失函数为：L

根据本发明的另一方面，提供了一种基于俯视图像的客流统计方法，包括：步骤S1，获取待测场景的俯视监控视频，根据俯视监控视频获取多张俯视帧图像并形成测试图像集；步骤S2，将测试图像集输入客流统计模型，获取各俯视帧图像中所有目标行人的脚部处于的二维支撑平面内的虚拟正投影点，其中，客流统计模型为根据上述的客流统计模型训练方法获取的客流统计模型；步骤S3，针对每个目标行人出现的多张俯视帧图像中的各虚拟正投影点，获取目标行人在待测场景的行进轨迹；步骤S4，通过判断行进轨迹与俯视帧图像上预先划定的统计标线的位置关系，以判定目标行人进店或离店。

进一步地，在步骤S2中，虚拟正投影点的获取过程为：获取目标行人的头部外接矩形框、头部中心点、双脚中心点以及双脚中心点距离头部中心点在二维支撑平面内的偏移量，根据头部中心点以及偏移量得到头部中心点在二维支撑平面内的头部回归点，计算头部回归点与双脚中心点之间的距离，当两者之间的距离大于或等于预设长度时，使用头部回归点作为虚拟正投影点；当两者之间的距离小于预设长度时，使用双脚中心点作为虚拟正投影点。

进一步地，头部中心点在二维支撑平面上具有实际正投影点，在二维支撑平面上，以实际正投影点为圆心，以目标行人的脚部的长度为直径形成圈定区域；当双脚中心点落于圈定区域的范围内时，以双脚中心点作为虚拟正投影点；当双脚中心点落于圈定区域的范围外时，将双脚中心点随机投放到圈定区域内并获取坐标，作为脚部投放中心点，以脚部投放中心点作为虚拟正投影点。

进一步地，统计标线划定在俯视帧图像中的目标行人的脚部处于的二维支撑平面内。

进一步地，统计标线沿着待测场景中的门店的进门或出门的门线划定；或统计标线与待测场景中的门店的进门或出门的门线具有预设距离，预设距离大于等于0.5m且小于等于1m。

进一步地，当行进轨迹与统计标线相交一次时，判定目标行人进店一次或离店一次；当行进轨迹与统计标线相交多次时，当最后一次交点产生时目标行人的面部朝向背离待测场景中心时，判定目标行人进店一次或离店一次。

应用本发明提供的客流统计方法，利用客流统计模型针对垂直安装的取像设备所拍摄的俯视监控视频的多张俯视帧图像进行目标行人识别检测，客流统计模型能够自动获取俯视帧图像中各目标行人的头部中心点在其双脚处于的二维支撑平面上的虚拟正投影点，结合俯视监控视频的多张俯视帧图像，将多个虚拟正投影点连线形成目标行人的行进轨迹并不断地在一张俯视帧图像上反馈更新，将行进轨迹与俯视帧图像上预先划定的统计标线进行位置比较，以作为针对目标行人是否进行客流统计的依据，避免了使用目标行人的头部中心点与统计标线进行空间上的位置比较，因头部中心点出现位置偏移而出现与统计标线位置比较错误的现象发生，而是直接基于在二维支撑平面内进行直观的虚拟正投影点与统计标线的位置比较，确保了位置统计的精度，从而能够大大地提高客流统计的准确率。

而能够实现上述功能的客流统计模型需要使用本发明提供的基于俯视图像的客流统计模型训练方法训练获得，具体而言，用带有目标行人信息标注的多张俯视图像构成的样本图像训练集对初始模型进行训练，即，使用人工标注的方式在各俯视图像中标注出目标行人的头部外接矩形框以及目标行人的两个脚部关键点，其中，通过两个脚部关键点获取目标行人的双脚中心点，以双脚中心点位置对应于目标行人的头部中心点在二维支撑平面内的虚拟正投影点，使初始模型不断对应性记忆，使得客流统计模型实际得到的双脚中心点作为生成目标行人的行进轨迹的基础元素；这样不仅可以简化客流统计模型，而且能够客流统计模型的算法尽可能接近真实情况，确保其完成客流统计的精度。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明的一种可选实施例的基于俯视图像的客流统计模型训练方法的流程图；

图2示出了图1中的根据本发明的一种可选实施例的基于俯视图像的客流统计方法的流程图；

图3示出了用于实施本发明的基于俯视图像的客流统计模型训练方法的样本图像训练集中的一张俯视图像；

图4示出了本发明的基于俯视图像的客流统计方法实施中，将测试图像集的一张俯视帧图像输入客流统计模型后，输出得到的图像示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”、“和”、“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了解决现有技术中的利用取像方向垂直于地面的取像装置拍摄的俯视图像进行客流统计时，会因行人的头部中心点偏移，造成头部中心点与地面上的统计标线出现位置比较错误，从而导致客流统计中存在行人重复检测或行人漏检的现象，进而影响了客流统计的准确率的问题，本发明提供了一种基于俯视图像的客流统计模型训练方法和一种客流统计方法。

图2是根据本发明实施例的一种可选实施例的基于俯视图像的客流统计方法的流程图；如图2所示，基于俯视图像的客流统计方法包括：步骤S1，获取待测场景的俯视监控视频，根据俯视监控视频获取多张俯视帧图像并形成测试图像集；步骤S2，将测试图像集输入客流统计模型，获取各俯视帧图像中所有目标行人的脚部处于的二维支撑平面内的虚拟正投影点，其中，客流统计模型为上述和下述的客流统计模型训练方法获取的客流统计模型；步骤S3，针对每个目标行人出现的多张俯视帧图像中的各虚拟正投影点，获取目标行人在待测场景的行进轨迹；步骤S4，通过判断行进轨迹与俯视帧图像上预先划定的统计标线的位置关系，以判定目标行人进店或离店。

在本发明中，利用客流统计模型针对垂直安装的取像设备所拍摄的俯视监控视频的多张俯视帧图像进行目标行人识别检测，客流统计模型能够自动获取俯视帧图像中各目标行人的头部中心点在其双脚处于的二维支撑平面上的虚拟正投影点，结合俯视监控视频的多张俯视帧图像，将多个虚拟正投影点连线形成目标行人的行进轨迹并不断地在一张俯视帧图像上反馈更新，将行进轨迹与俯视帧图像上预先划定的统计标线进行位置比较，以作为针对目标行人是否进行客流统计的依据，避免了使用目标行人的头部中心点与统计标线进行空间上的位置比较，因头部中心点出现位置偏移而出现与统计标线位置比较错误的现象发生，而是直接基于在二维支撑平面内进行直观的虚拟正投影点与统计标线的位置比较，确保了位置统计的精度，从而能够大大地提高客流统计的准确率。

而能够实现上述功能的客流统计模型需要使用本发明提供的基于俯视图像的客流统计模型训练方法训练获得，具体而言，图1示出了根据本发明的一种可选实施例的基于俯视图像的客流统计模型训练方法的流程图，如图1所示，基于俯视图像的客流统计模型训练方法包括：步骤S1，获取俯视图像，在俯视图像上对显示的目标行人进行信息标注，包括：标注目标行人的头部外接矩形框以及目标行人的两个脚部关键点；步骤S2，根据头部外接矩形框获取目标行人的头部中心点，根据两个脚部关键点获取目标行人的双脚中心点，以双脚中心点作为头部中心点在目标行人的脚部处于的二维支撑平面内的虚拟正投影点；步骤S3，重复步骤S1和步骤S2直至获取经过信息标注的预设数量的俯视图像后构成样本图像训练集，使用样本图像训练集训练初始模型训练成为客流统计模型。用带有目标行人信息标注的多张俯视图像构成的样本图像训练集对初始模型进行训练，即，使用人工标注的方式在各俯视图像中标注出目标行人的头部外接矩形框以及目标行人的两个脚部关键点，其中，通过两个脚部关键点获取目标行人的双脚中心点，以双脚中心点位置对应于目标行人的头部中心点在二维支撑平面内的虚拟正投影点，即完成人体正下方坐标点的回归，使初始模型不断对应性记忆，使得客流统计模型实际得到的双脚中心点作为生成目标行人的行进轨迹的基础元素；这样不仅可以简化客流统计模型，而且能够客流统计模型的算法尽可能接近真实情况，确保其完成客流统计的精度，确保客流统计模型在客流统计方面提供足够的信息支持。

需要说明的是，本发明中提及的获取到所有类似于脚部关键点、头部中心点等均能够获得在对应图像上的坐标。

需要解释的是，垂直安装是指取像设备的拍摄中心线垂直于地面，此类取像设备所拍摄的俯视图像以拍摄中心线为中心点向四周拍摄，此种安装方式使得取像设备更容易进行隐藏式安装，提升建筑物外观美感，同时能够实现对往来目标行人进行录像以及双向客流统计功能；此外，垂直安装的取像设备所拍摄的俯视监控视频为俯视角度，因此形成的测试图像集中的俯视帧图像也全部为俯视角度，针对此类典型的俯视图像，利用本发明的客流统计方法能够进一步处理，最终能够显示目标行人的行进轨迹。当然，采用非垂直安装方式的取像设备所拍摄到的俯视帧图像仍然能够利用本发明的技术方案进行分析处理，当取像设备倾斜安装时，即取像设备的拍摄中心线与地面呈一定夹角时，取像设备所拍摄到的俯视帧图像同样能够利用本发明的客流统计方法进行处理。

本发明的优选实施例仅以垂直安装在建筑物顶部的客流相机所拍摄的俯视图像加以解释说明。如图4所示，为一典型的垂直安装在建筑物顶部的客流相机所拍摄的俯视监控视频的俯视帧图像，即测试图像集中的一张俯视帧图像。该俯视帧图像中，仅显示有一个目标行人，输入客流统计模型后输出有，黑色方框为框选出目标行人的头部外接矩形框A，黑色方框内的白点为目标行人的头部中心点A’，目标行人的虚拟正投影点B’，在本发明的实施例中，本虚拟正投影点B’根据头部回归点（未图示）和双脚中心点之间的距离与预设长度比较结果获得，根据俯视监控视频中目标行人出现的所有视频帧图像中该目标行人在每张视频帧图像中得到的虚拟正投影点B’，得到目标行人的行进轨迹C，显示在图4中的俯视帧图像，其为俯视监控视频中目标行人出现的最后一张视频帧图像，随着目标行人的移动，行进轨迹C会实时在俯视监控视频更新。

本发明的实施例中，虚拟正投影点的获取过程为：获取目标行人的头部外接矩形框、头部中心点、双脚中心点以及双脚中心点距离头部中心点在二维支撑平面内的偏移量，根据头部中心点以及偏移量得到头部中心点在二维支撑平面内的头部回归点，计算头部回归点与双脚中心点之间的距离，当两者之间的距离大于或等于预设长度时，使用头部回归点作为虚拟正投影点；当两者之间的距离小于预设长度时，使用双脚中心点作为虚拟正投影点。

使用客流统计模型在对俯视帧图像检测时，先将俯视帧图像输入客流统计模型得到预测结果，包括hm、wh、hm_fp、fps，hm是模型预测俯视帧图像中目标行人的头部中心点像素位置，wh为模型预测头部外接矩形框对应的宽度和高度，通过这两个预测结果即可以得到俯视帧图像中目标行人的头部出现的位置和头部外接矩形框的大小。fps是模型预测的目标行人的人体正下方位置的双脚中心点距离头部中心点在二维支撑平面的偏移量，fp为俯视帧图像中出现的脚部关键点的位置，通过hm和fps可以计算得到目标行人的人体正下方坐标位置的头部回归点；通过两个脚部关键点得到目标行人的双脚中心点位置，最后计算双脚中心点与头部回归点之间的距离，如果这个距离超出预设长度，保留头部回归点作为人体正下方坐标位置的虚拟正投影点。可选地，预设长度大于等于5像素长度且小于等于10像素长度；像素长度为俯视帧图像上的客观像素程度。头部外接矩形框的宽度和高度的尺寸均位于10像素至40像素内。

在本发明的另一个未采用的可选实施例中，目标行人的头部中心点在二维支撑平面上具有实际正投影点，在二维支撑平面上，以实际正投影点为圆心，以目标行人的脚部的长度为直径形成圈定区域；当双脚中心点落于圈定区域的范围内时，以双脚中心点作为虚拟正投影点；当双脚中心点落于圈定区域的范围外时，将双脚中心点随机投放到圈定区域内并获取坐标，作为脚部投放中心点，以脚部投放中心点作为虚拟正投影点。在本实施例中，双脚中心点落于圈定区域的范围内，双脚中心点即为头部中心点A’对应的虚拟正投影点B’。

图4中预先设定有两条统计标线，分别为统计标线D1和统计标线D2。需要说明的是，为了确保目标行人的虚拟正投影点与统计标线位于同一个二维平面内，从而有利于对两者进行位置比较，进而方便客流统计，统计标线划定在俯视帧图像中的目标行人的脚部处于的二维支撑平面内。如图4所示，统计标线D1和统计标线D2分别位于目标行人的脚部处于的地面上。由图4中可以看出，目标行人的行进轨迹C与统计标线D1相交一次。当统计标线D1接近门店的进门位置处时，目标行人的行进轨迹C与统计标线D1相交一次，则统计进店客流加1，当统计标线D1接近门店的出门位置处时，目标行人的行进轨迹C与统计标线D1相交一次，则统计离店客流加1；统计标线D2与此同理，在本实施例中，统计标线D1靠近门店的进门位置，统计标线D2靠近门店的出门位置。

可选地，统计标线沿着待测场景中的门店的进门或出门的门线划定；这样为了更及时地统计人员进店率以及离店率。

或统计标线与待测场景中的门店的进门或出门的门线具有预设距离。这样是为了允许容错率的存在，当人员在进门处或出门处进入口后立即退出的情况不统计进店。为了确保对客流统计的及时性和精度，预设距离大于等于0.5m且小于等于1m。此距离为待测场景中的实际距离。

需要说明的是，当行进轨迹与统计标线相交一次时，判定目标行人进店一次或离店一次；但是，当行进轨迹与统计标线相交多次时，当最后一次交点产生时目标行人的面部朝向背离待测场景中心时，判定目标行人进店一次或离店一次。这种算法充分地结合了实际情况，排除了因人员在门店内部滞留走动误触统计标线而出现错误统计，进一步提升了客流统计模型的识别准确率和客流统计精度。

在本发明提供的基于俯视图像的客流统计模型训练方法得到的客流统计模型，基于深度学习模型编写的识别算法，实现同时识别俯视角度下的目标行人的头部外接矩形框和双脚关键点检测以及基于目标行人的头部中心点坐标回归人体正下方的虚拟正投影点。本发明的客流统计模型可以实时识别上述信息，并对上述识别信息达到97%以上的识别准确率，识别效果良好。

在本发明的客流统计模型训练方法中，样本图像训练集也是使用取像设备拍摄的多张俯视图像，样本图像训练集的样本图像数量与测试图像集的样本图像数量比为7:3，这样是为了兼顾模型训练泛化性和模型测试可靠性。

在本实施例中，如图3所示，为一典型的垂直安装在建筑物顶部的客流相机所拍摄的俯视监控视频的俯视图像，即样本图像训练集中的一张俯视图像。该俯视图像中，仅显示有一个目标行人，对该俯视图像进行人工信息标注处理包括，标注目标行人的头部外接矩形框A，即图中的黑色矩形框，目标行人的头部中心点A’，即外接矩形框A内的白色点，目标行人的两个脚部关键点B，以及头部中心点A’对应的虚拟正投影点B’。在本实施例中，脚部关键点B的标注位置落在俯视图像上的目标行人的脚部区域范围内，俯视图像上双脚中心点为两个脚部关键点的几何连线中点。

可选地，在俯视图像中，当目标行人的脚部处于遮挡状态，根据目标行人的身体的未遮挡部位的显示比例在俯视图像中计算获取脚部关键点的位置。这样能够确保每张作为样本图像训练集的样本图像均能够被标注，有利于模型记忆。

在本发明的实施例中，样本图像训练集输入初始模型产生的预测结果包括：头部中心点的预测结果、脚部关键点的预测结果、头部外接矩形框宽高回归量的预测结果、双脚中心点距离头部中心点在二维支撑平面内偏移量的预测结果；预测结果的损失函数为：L

其中，L

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。