一种多平面重建方法及装置、电子设备

摘要

本发明公开了一种多平面重建方法及装置、电子设备，该多平面重建方法包括：获取预设目标的身高信息和所述预设目标在目标平面的多个第一图像信息；根据所述预设目标的身高信息和所述多个第一图像信息，确定所述预设目标在目标平面的脚点的三维坐标集合；根据所述脚点的三维坐标集合，确定所述目标平面的平面信息。本发明通过简易的行人在不同平面的行走，便捷的完成了多平面重建，且不会增加额外的成本，具有较大的落地使用价值。

说明书

技术领域

本发明涉及客流统计技术领域，具体涉及一种多平面重建方法及装置、电子设备。

背景技术

目前单目客流计数的常用方法为在单目RGB相机下，放置标定板，标定相机内外参，然后在利用相机对目标进行跟踪采集，得到目标的二维图片，通过目标的脚点位置来判断人的三维位置，得到目标脚点在三维空间中的行动轨迹。在得到轨迹之后，通常会通过划定一条线，当目标的三维轨迹穿过此条线时，对该目标进行计数，完成客流计数。但是这种客流计数方式需要假定地面高度是一致的，如果地面上存在台阶或者展台等物体，导致地面高度不一致，就会导致该客流计数算法失效。因为在客流计数前，会假设目标脚点的高度和标定平面的高度是一样的，而当实际地面高度与标定平面高度不一致时，这种假设就会失效，计算出的目标的三维轨迹是错误的，从而客流计数也是错误的。目前对于单目客流计数在地面高度不一致算法失效的问题的解决方法通常是通过雷达或深度相机扫描整个场景来重建出多平面，这种方式成本过高且繁琐，不适合落地使用。

发明内容

因此，本发明为了解决目前多平面重建的过程复杂且成本较高的问题，从而提供一种多平面重建方法及装置、电子设备。

为实现上述目的，本发明采用如下技术方案：

本发明实施例公开了一种多平面重建方法，包括：获取预设目标的身高信息和所述预设目标在目标平面的多个第一图像信息；根据所述预设目标的身高信息和所述多个第一图像信息，确定所述预设目标在所述目标平面的脚点的三维坐标集合；根据所述脚点的三维坐标集合，确定所述目标平面的平面信息。

本发明通过获取预设目标的身高信息和预设目标在目标平面的多个第一图像信息，并根据预设目标的身高信息和多个第一图像信息，确定预设目标在目标平面的脚点的三维坐标集合，再根据脚点的三维坐标集合，确定目标平面的平面信息。本发明通过利用行人在不同平面的行走，便捷的完成了多平面重建，且不会增加额外的成本，具有较大的落地使用价值。

可选地，所述获取预设目标的身高信息包括：确定相机采集到的所述预设目标在预设平面上的第二图像信息；获取所述相机的参数信息和所述相机的三维坐标，并通过所述参数信息和所述相机的三维坐标对所述第二图像信息进行处理，以确定所述预设目标的身高信息。

本发明通过利用相机的参数信息、相机的三维坐标以及相机对预设目标采集到的图像信息，可以计算出预设目标的身高，过程简单快捷，且不会增加额外费用。

可选地，所述确定相机采集到的所述预设目标在预设平面上的第二图像信息，包括：获取相机采集的所述预设目标在所述预设平面上的第二图像；将所述第二图像输入到预设的图像识别模型中，以通过所述图像识别模型识别所述第二图像中所述预设目标的头点坐标和脚点坐标，并将所述头点坐标和所述脚点坐标作为确定的所述第二图像信息。

可选地，所述确定所述预设目标的身高信息，包括：利用所述相机的三维坐标和所述预设目标在第二图像上的脚点坐标，得到第一直线；获取所述预设平面的平面信息，将所述第一直线与所述预设平面的交点的三维坐标作为所述预设目标的脚点的三维坐标；利用所述预设目标的脚点的三维坐标，作与预设平面垂直的直线，得到第二直线；利用所述相机的三维坐标和所述预设目标在第二图像上的头点坐标，得到第三直线；将所述第二直线与所述第三直线的交点的三维坐标作为所述预设目标的头点的三维坐标；根据所述预设目标的脚点的三维坐标和所述预设目标的头点的三维坐标，确定所述预设目标的身高信息。

本发明通过利用相机的三维坐标和预设目标在第二图像上的脚点坐标，得到第一直线，再根据获取到的预设平面的平面信息，计算出第一直线与该预设平面的交点，从而得到预设目标的脚点的三维坐标，进而利用该预设目标的脚点的三维坐标，在该三维坐标作与预设平面垂直的直线，得到第二直线，同时利用相机的三维坐标与预设目标在第二图像上的头点坐标，得到第三直线，再计算第二直线与第三直线的交点得到预设目标的头点的三维坐标，最后根据预设目标的头点的三维坐标和预设目标的脚点的三维坐标，计算出该预设目标的身高信息。通过上述方法计算出的预设目标的身高，过程简单快捷，且不会增加额外费用。

可选地，所述第一图像信息包括：所述预设目标在第一图像上的头点坐标和所述预设目标在第一图像上的脚点坐标；根据所述预设目标的身高信息和所述多个第一图像信息，确定所述预设目标在所述目标平面的脚点的三维坐标集合，包括：利用所述相机的三维坐标与所述预设目标在第一图像上的头点坐标，得到第四直线；利用所述相机的三维坐标与所述预设目标在第一图像上的脚点坐标，得到第五直线；在所述第四直线与所述第五直线之间，沿垂直于水平面的方向上，搜寻与所述第四直线和所述第五直线均相交，且与所述身高信息相匹配的线段，并将搜寻到的所述线段与所述第五直线的交点的三维坐标作为所述预设目标在所述目标平面的脚点信息；遍历所述预设目标的多个第一图像信息，以在各个所述第一图像信息中确定所述预设目标在所述目标平面的脚点信息，并将各个所述脚点信息作为所述预设目标在所述目标平面的脚点的三维坐标集合。

本发明通过根据第一图像信息，确定预设目标在第一图像上的头点坐标和预设目标在第一图像上的脚点坐标，再利用相机的三维坐标与预设目标在第一图像上的头点坐标，得到第四直线，进而利用相机的三维坐标与预设目标在第一图像上的脚点坐标，得到第五直线，再根据第四直线、第五直线和预设目标的身高信息，确定预设目标在所述目标平面的脚点信息，并生成所述预设目标在目标平面的脚点的三维坐标集合。本发明通过根据预设目标的身高信息和第一图像信息，生成预设目标在目标平面的脚点的三维坐标集合，进而方便下一步利用该预设目标在目标平面的脚点的三维坐标集合，确定平面信息，极大的提高了工作效率。

可选地，所述根据所述脚点的三维坐标集合，确定所述目标平面的平面信息，包括：利用随机抽样一致算法，根据所述脚点的三维坐标集合，确定所述目标平面的平面信息。

本发明通过利用随机抽样一致算法根据预设目标在目标平面的脚点的三维坐标集合，确定该目标平面的平面信息。通过对预设目标在该目标平面的行动轨迹进行降噪处理得到脚点的三维坐标集合，可以从包含大量的不准确局外点的三维坐标集合中估计出高精度的参数，进而可以得到更加可信的平面信息。

可选地，所述多平面重建方法还包括：根据所述目标平面的平面信息以及相机采集的待识别目标在所述目标平面上的多张图像，确定在所述目标平面上行动的待识别目标的行动轨迹；若所述行动轨迹表征所述待识别目标穿过所述目标平面上预设的直线，对所述待识别目标进行计数。

其中，可以通过在目标平面设置一条直线，通过判断是否有待识别目标穿过该直线来进行客流统计，当待识别目标穿过预设的直线时，对待识别目标进行计数。本申请提供的技术方案解决了目前通常情况下，只有在所有平面的高度都一致时，才能将穿过该直线的目标进行计数的问题。

本发明通过构建多平面的空间模型，进而利用单目客流相机进行客流计数，避免了通用的技术中通过雷达或深度相机扫描整个场景来重建出多平面，成本过高且繁琐，不适合落地使用的问题，降低了客流计数的成本，有较高的落地使用价值。

根据第二方面，本发明实施例还公开了一种多平面重建方法装置，包括：获取模块，用于获取预设目标的身高信息和所述预设目标在目标平面的多个第一图像信息；三维坐标集合确定模块，用于根据所述预设目标的身高信息和所述多个第一图像信息，确定所述预设目标在所述目标平面的脚点的三维坐标集合；平面信息确定模块，用于根据所述脚点的三维坐标集合，确定所述目标平面的平面信息。

根据第三方面，本发明实施例还公开了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如第一方面或第一方面任一可选实施方式所述的多平面重建方法步骤。

根据第四方面，本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第一方面任一可选实施方式所述的多平面重建方法步骤。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中多平面重建方法的一个流程示意图；

图2为本发明实施例中多平面重建方法的一个示意图；

图3为本发明实施例中多平面重建方法的另一个示意图；

图4为本发明实施例中多平面重建方法的另一个示意图；

图5为本发明实施例中一种多平面重建装置的结构示意图；

图6为本发明实施例中电子设备的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，在本申请说明书和所附权利要求书中使用的术语“及/和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例公开了一种多平面重建方法，如图1所示，该方法包括如下步骤：

步骤101，获取预设目标的身高信息和所述预设目标在目标平面的多个第一图像信息。

具体的，获取预设目标的身高信息，包括：确定相机采集到的所述预设目标在预设平面上的第二图像信息；获取所述相机的参数信息和所述相机的三维坐标，并通过所述参数信息和所述相机的三维坐标对所述第二图像信息进行处理，以确定所述预设目标的身高信息。

此外，在实际应用中，预设目标的身高信息还可以是预先获知的，该预设目标的身高信息可以通过键值对的方式存储于指定路径下。通过在指定路径下进行信息读取，便可以获取到预设目标的身高信息。

作为具体的实施方式，为了更快捷的获取精确的身高，可以先利用目标检测模型检测到预设目标在已经标定的预设平面上行走时的第二图像，进而再利用关键点检测对第二图像进行识别，得到预设目标在预设平面上的第二图像信息。其中，目标检测模型可以是能够进行人体识别的模型。通过对摄像头抓取的图像进行分析，可以识别出其中包含人体的图像。具体的，目标检测模型可以为centerNet网络，通过对预设目标进行检测，得到预设目标的图像特征。关键点检测可以进一步地对目标检测模型采集到的包含预设目标的图像进行识别，进而从图像中识别出预设目标的关键点位置。在实际应用中，关键点检测可以通过如下方法实现：在深度回归模型中使用回归方法训练和测试图像特征得到关键点位置的映射，进而再使用稀疏矩阵根据训练集的关键点位置的映射来估计出当前第二图像上未被映射的关键点。其中，关键点位置可以是人体的头部位置和脚部位置。在进行关键点检测时，按照上述的方式对训练集中的图像样本进行训练，可以得到能够识别出图像中头部位置和脚部位置的图像识别模型。后续，通过将第二图像输入该图像识别模型，便可以检测出第二图像中的头部位置和脚部位置。

具体地，确定相机采集到的所述预设目标在预设平面上的第二图像信息，具体为：获取相机采集的所述预设目标在所述预设平面上的第二图像；将所述第二图像输入到预设的图像识别模型中，以通过所述图像识别模型识别所述第二图像中所述预设目标的头点坐标和脚点坐标，并将所述头点坐标和所述脚点坐标作为确定的所述第二图像信息。

其中,第二图像信息包括但不仅限于：预设目标在第二图像上的头点坐标和预设目标在第二图像上的脚点坐标等等。根据第二图像信息，确定预设目标的身高信息，具体为：利用相机得三维坐标和预设目标在第二图像上的脚点坐标，计算得到第一直线；再获取预设平面的平面信息，由于此时预设目标是站在预设平面上的，并且由于相机的成像原理可知相机的三维坐标、预设目标在第二图像上的脚点坐标以及该预设目标在世界坐标系下的脚点位置是在一条直线上的，所以可以通过计算第一直线和预设平面的交点，即可得到预设目标在预设平面上的脚点的三维坐标。此时可以在预设目标的脚点的三维坐标处作一条与预设平面垂直的第二直线，因为预设目标是直立站在预设平面上，所以此时预设目标的头点一定在该第二直线上。

需要说明的是，上述的预设平面可以作为相机在进行参数标定时的参考平面，该预设平面在世界坐标系下的平面信息是已知的。也就是说，该预设平面在世界坐标系下，是可以通过已知的平面函数进行表示。

由于知道预设目标在第二图像上的头点坐标，并且由于相机的成像原理可知相机的三维坐标、预设目标在第二图像上的头点坐标以及预设目标在世界坐标系下的头部坐标是在一条直线上的，所以可以利用相机的三维坐标和预设目标在第二图像上的头点坐标得到第三直线，再计算第二直线和第三直线的交点，即可得到预设目标在预设平面上的头点的三维坐标。

需要说明的是，本申请说明书中描述的两条直线，在纯粹的数学模型下是会出现上述的相交的情况，进而产生两条直线之间的交点。但在实际应用中，两条直线可能不会严格相交，而是距离足够近。在这种情况下，这两条直线之间的交点，就可以理解为两条直线距离最近的位置。

最后根据预设目标在预设平面上的脚点的三维坐标和预设目标的头点的三维坐标，通过计算脚点的三维坐标和头点的三维坐标之间的欧氏距离，即可得到预设目标的身高信息。

例如，如图2所示，预设目标在预设的平面行走时，可以通过相机camera采集预设目标的第二图像信息，其中第二图像信息包括预设目标在第二图像上的头点坐标h2和预设目标在第二图像上的脚点坐标f2，进而利用相机camera的三维坐标和预设目标在第二图像上的头点坐标h2，计算得到直线camera-h2，同时利用相机camera的三维坐标和预设目标在第二图像上的脚点坐标f2，计算得到直线camera-f2，并根据已知的预设平面以及直线camera-f2计算得到预设目标在预设平面的脚点f3的坐标(x

其中，x

本发明通过使用上述方法，利用相机的参数信息、相机的三维坐标以及相机对预设目标采集到的图像信息，可以计算出预设目标的身高，过程简单快捷，且不会增加额外费用。

获取预设目标在目标平面的第一图像信息可以为获取预设目标在目标平面上行走时采集到的第一图像上的脚点坐标和在第一图像上的头点坐标等。其中目标平面为预设的已经标定的平面之外的其他平面。

步骤102，根据所述预设目标的身高信息和所述多个第一图像信息，确定所述预设目标在所述目标平面的脚点的三维坐标集合。

具体的，根据预设目标的身高信息和多个第一图像信息，确定预设目标在预设平面的脚点的三维坐标集合为：根据第一图像信息，确定预设目标在第一图像上的头点坐标和预设目标在第一图像上的脚点坐标，再利用相机的三维坐标与预设目标在第一图像上的头点坐标，得到第四直线，同时利用相机的三维坐标与预设目标在第一图像上的脚点坐标，得到第五直线，进而在第四直线与第五直线之间，沿垂直于水平面的方向上，搜寻与第四直线和第五直线均相交，且与身高信息相匹配的线段，并将搜寻到的线段与第五直线的交点的三维坐标作为预设目标在目标平面的脚点信息。最终，遍历预设目标的多个第一图像信息，以在各个第一图像信息中确定预设目标在目标平面的脚点信息，并将各个脚点信息作为预设目标在目标平面的脚点的三维坐标集合。所述水平面为已知的平面。

作为具体的实施方式，当预设目标在其他平面行走时，通过利用相机采集预设目标的图像得到多个第一图像信息，该第一图像信息可以为预设目标在第一图像上的头点坐标和预设目标在第一图像上的脚点坐标，具体地，第一图像信息的采集方法可以与上文描述的第二图像信息的采集方法类似，利用目标检测模型检测预设目标在目标平面行走时的第一图像，进而再利用关键点检测对第一图像进行识别，得到预设目标在第一图像上的第一图像信息。其中，目标检测模型可以为centerNet网络，通过对预设目标进行检测，得到预设目标的图像特征。关键点检测可以通过如下方法实现：在深度回归模型中使用回归方法训练和测试图像特征得到关键点位置的映射，再使用稀疏矩阵根据训练集的关键点位置的映射来估计出当前第一图像上未被映射的关键点。

进而，由于此时预设目标的第一图像是通过相机对在目标平面上的预设目标进行拍摄采集得到的，所以此时相机的三维坐标、预设目标在第一图像上的头点坐标以及预设目标在世界坐标系下的头点三维坐标在同一直线上，同理相机的三维坐标、预设目标在第一图像上的脚点坐标以及预设目标在世界坐标系下的脚点三维坐标也在同一直线上。可以利用相机的三维坐标与预设目标在第一图像上的头点坐标，得到第四直线，同时利用相机的三维坐标与预设目标在第一图像上的脚点坐标，得到第五直线，同时作一条垂直于水平面的直线，该直线与第四直线相交得到第一交点，该直线与第五直线相交得到第二交点，当第一交点与第二交点之间的欧式距离等于预设目标的身高时，可以确定此时的第一交点为预设目标在目标平面上的头点坐标，此时的第二交点为预设目标在目标平面上的脚点坐标。但是由于根据一个脚点坐标无法确定一个平面，所以需要获取预设目标在目标平面上行走时的多个图像信息，进而得到预设目标在目标平面上的脚点的三维坐标集合。

步骤103，根据所述脚点的三维坐标集合，确定所述目标平面的平面信息。

具体的，由于预设目标在目标平面上行走的过程中不可避免的会混入噪声点，这些噪声点可能由于目标平面本身的高低不平，也可能由于预设目标在该目标平面行走过程中的起伏而导致的。进而可以通过采用随机采样一致性算法来确定预设目标的局内点。例如，如图3所示，图3中为预设目标在目标平面的脚点的三维坐标集合，通过将预设目标的脚点的三维坐标集合输入到随机抽样一致性算法中，例如RANSAC算法，RANSAC通过随机假设一小组局内点为初始值。然后用此局内点拟合一个模型，此模型适应于假设的局内点，所有的未知参数都能从假设的局内点计算得出，进而用得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点，将局内点扩充，如果有足够多的点被归类为假设的局内点，那么估计的模型就足够合理。最终得到一个参数化的模型，例如图4中的直线，进而可以再根据这个平面内的其他点可以通过RANSAC算法确定另一条直线，最终根据这两条直线，可以确定预设目标所在平面的平面方程。

最终可以利用上述方法，在重建出当前空间内的多平面后，可以利用该多平面进行客流统计。

具体的，在确定出目标平面的平面信息后，可以针对该目标平面上特定区域进行客流量统计。举例来说，目标平面上的特定区域可以是开设在目标平面上的店铺，也可以是部署于目标平面上的闸门等。在实际应用中，可以在特定区域的入口/出口处设置一条直线，通过判断是否有待识别目标穿过该直线来进行客流统计，当待识别目标穿过预设的直线时，对待识别目标进行计数，从而可以针对特定区域进行客流量统计。本申请提供的技术方案，解决了目前通常情况下，只有在所有平面的高度都一致时，才能将穿过该直线的目标进行计数的问题。

具体的，在确定目标平面的平面信息后，可以更好地根据目标的图像来确定目标的行动轨迹，进而根据目标的行动轨迹来判断目标是否穿过预设的直线。因此，根据目标平面的平面信息以及相机采集的待识别目标在目标平面上的多张图像，可以确定在目标平面上行动的待识别目标的行动轨迹。若该行动轨迹表征待识别目标穿过所述目标平面上预设的直线，可以对该待识别目标进行计数。

本发明通过将每一个平面上的目标进行分别计数，实现了利用单目客流相机进行客流计数，避免了通用的技术中通过雷达或深度相机扫描整个场景来重建出多平面，成本过高且繁琐，不适合落地使用的问题，降低了客流计数的成本，有较高的落地使用价值。

本发明还提供了一种多平面重建装置，如图5所示，该装置包括：

获取模块51，用于获取预设目标的身高信息和所述预设目标在目标平面的多个第一图像信息，详细内容参考步骤101所述；

三维坐标集合确定模块52，用于根据所述预设目标的身高信息和所述多个第一图像信息，确定所述预设目标在所述目标平面的脚点的三维坐标集合，详细内容参考步骤102所述；

平面信息确定模块53，用于根据所述脚点的三维坐标集合，确定所述目标平面的平面信息，详细内容参考步骤103所述。

本发明实施例还提供了一种电子设备，如图6所示，该电子设备可以包括处理器601和存储器602，其中处理器601和存储器602可以通过总线或者其他方式连接，图6中以通过总线连接为例。

处理器601可以为中央处理器(Central ProceAAing Unit，CPU)。处理器601还可以为其他通用处理器、数字信号处理器(Digital AignalProceAAor，DAP)、专用集成电路(Application Apecific Integrated Circuit，AAIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器602作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的多平面重建方法装置按键屏蔽方法对应的程序指令/模块。处理器601通过运行存储在存储器602中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的多平面重建方法。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器601所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至处理器601。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器602中，当被所述处理器601执行时，执行如图1-4所示实施例中的多平面重建方法。

上述电子设备具体细节可以对应参阅图1-4所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AcceAAMemory，RAM)、快闪存储器(FlaAhMemory)、硬盘(Hard DiAk Drive，缩写：HDD)或固态硬盘(Aolid-Atate Drive，AAD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。