点云补全和点云分割方法、装置、电子设备及存储介质

摘要

本申请涉及自动驾驶技术领域，提供一种点云补全和点云分割方法、装置、电子设备及存储介质，其中点云补全方法包括：获取包含目标物体的三维点云和二维图像；将所述三维点云投影到所述二维图像中，得到二维深度图像；对所述二维深度图像进行补全，得到二维深度补全图像；对所述二维深度补全图像进行反投影，得到包含所述目标物体的补全三维点云。本申请提供的方法、装置、电子设备及存储介质，避免了目标物体的点云过于稀疏出现分层的现象，提高了点云分割的准确性和分割效率。

说明书

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种点云补全和点云分割方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉技术、传感器技术和车联网技术等的不断发展，自动驾驶技术取得了巨大的进步。具有自动驾驶功能的车辆通过自动检测道路路况实现行驶路径的自动规划，从而控制车辆安全可靠地在道路上行驶。

现有技术中，自动驾驶系统主要通过激光探测器对道路上的目标物体进行检测。由于激光探测器对远处的目标物体进行探测时得到的点云数据较为稀疏，无法进行聚类分割，使得目标物体的点云分割准确性差，分割效率低。

发明内容

本申请提供一种点云补全和点云分割方法、装置、电子设备及存储介质，提高了点云分割的准确性和分割效率。

本申请提供一种点云补全方法，包括：

获取包含目标物体的三维点云和二维图像；

将所述三维点云投影到所述二维图像中，得到二维深度图像；

对所述二维深度图像进行补全，得到二维深度补全图像；

对所述二维深度补全图像进行反投影，得到包含所述目标物体的补全三维点云。

根据本申请提供的一种点云补全方法，所述对所述二维深度图像进行补全，得到二维深度补全图像，包括：

基于所述目标物体的形状和/或所述二维深度图像的分辨率，对所述二维深度图像进行孔洞填充，得到所述二维深度补全图像。

根据本申请提供的一种点云补全方法，所述基于所述目标物体的形状和/或所述二维深度图像的分辨率，对所述二维深度图像进行孔洞填充，得到所述二维深度补全图像，包括：

基于所述目标物体的形状和/或所述二维深度图像的分辨率，确定边缘卷积核和连接卷积核；

分别基于所述边缘卷积核和所述连接卷积核，对所述二维深度图像进行孔洞填充，得到所述二维深度补全图像。

根据本申请提供的一种点云补全方法，所述分别基于所述边缘卷积核和所述连接卷积核，对所述二维深度图像进行孔洞填充，得到所述二维深度补全图像，包括：

基于所述边缘卷积核，采用图像形态学处理对所述二维深度图像进行孔洞填充，得到二维边缘补全深度图像；

基于所述连接卷积核，采用图像形态学处理对所述二维边缘补全深度图像进行孔洞填充，得到所述二维深度补全图像。

根据本申请提供的一种点云补全方法，所述基于所述连接卷积核，采用图像形态学处理对所述二维边缘补全深度图像进行孔洞填充，得到所述二维深度补全图像，之前还包括：

确定检测阈值，以及所述二维边缘补全深度图像中所述目标物体对应的图像部分；

基于所述图像部分，在深度信息大于所述检测阈值的所有行中，将深度信息最小的行作为第一边界；

基于所述图像部分，在深度信息小于所述检测阈值的所有行中，将深度信息最大的行作为第二边界；

基于所述图像部分，将所述第一边界和所述第二边界之间所有行的深度信息设置为相同值。

根据本申请提供的一种点云补全方法，所述对所述二维深度补全图像进行反投影，得到包含所述目标物体的补全三维点云，之前还包括：

基于所述目标物体的形状和/或所述二维深度图像的分辨率，确定滤波卷积核；

基于所述滤波卷积核，对所述二维深度补全图像进行高斯滤波，得到滤波后的二维深度补全图像；

所述对所述二维深度补全图像进行反投影，得到包含所述目标物体的补全三维点云，具体包括：

对所述滤波后的二维深度补全图像进行反投影，得到包含所述目标物体的补全三维点云。

本申请提供一种点云分割方法，包括：基于包含目标物体的补全三维点云，确定所述目标物体的点云分割结果；

其中，所述补全三维点云是基于所述的点云补全方法确定的。

根据本申请提供的一种点云分割方法，所述基于包含目标物体的补全三维点云，确定所述目标物体的点云分割结果，包括：

基于RANSAC算法、欧几里得分割算法和超体聚类分割算法中的至少一种，对所述补全三维点云进行分割，得到所述目标物体的点云分割结果。

本申请还提供一种点云补全装置，包括：

获取单元，用于获取包含目标物体的三维点云和二维图像；

投影单元，用于将所述三维点云投影到所述二维图像中，得到二维深度图像；

补全单元，用于对所述二维深度图像进行补全，得到二维深度补全图像；

反投影单元，用于对所述二维深度补全图像进行反投影，得到包含所述目标物体的补全三维点云。

本申请还提供一种点云分割装置，包括：

分割单元，用于基于包含目标物体的补全三维点云，确定所述目标物体的点云分割结果；

其中，所述补全三维点云是基于所述的点云补全装置确定的。

本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述点云补全方法的步骤。

本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述点云补全方法的步骤。

本申请提供的点云补全和点云分割方法、装置、电子设备及存储介质，将包含目标物体的三维点云投影到二维图像中，得到二维深度图像，进行深度信息补全后得到二维深度补全图像，根据二维深度补全图像，确定目标物体的点云分割结果，由于根据二维深度图像中图像信息对深度信息进行补全，使得补全后的深度信息完整地反映目标物体的形状特征，避免了目标物体的点云过于稀疏出现分层的现象，便于后续对点云进行分割后得到目标物体的三维点云，提高了点云分割的准确性和分割效率。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的点云补全方法的流程示意图之一；

图2为本申请提供的点云补全方法的流程示意图之二；

图3为本申请提供的点云补全方法的流程示意图之三；

图4为本申请提供的高斯滤波方法的流程示意图；

图5为本申请提供的点云补全装置的结构示意图之一；

图6为本申请提供的补全单元的结构示意图；

图7为本申请提供的深度补全子单元的结构示意图之一；

图8为本申请提供的深度补全子单元的结构示意图之二；

图9为本申请提供的点云补全装置的结构示意图之二；

图10为本申请提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面以自动驾驶场景为例，对本申请中的点云补全和点云分割方法进行说明。

图1为本申请提供的点云补全方法的流程示意图之一，如图1所示，该方法包括：

步骤110，获取包含目标物体的三维点云和二维图像。

具体地，目标物体为车辆在前进方向上的空间范围内的物体，例如交通灯、车辆、行人、树木、建筑物等。通过安装在车辆上的车载激光雷达扫描，可以得到包含目标物体的三维点云。通过安装在车辆上的车载相机拍摄，可以得到包含目标物体的二维图像。此处，三维点云包含的目标物体可以为若干个，本申请实施例对于目标物体的数量不作具体限定。

车载激光雷达在工作时，由于激光是辐射出去的，距离越远的物体反射回来的射线越稀少，得到的点云数据越为稀疏，因此造成远处物体漏检或者误检等情况，反映到采集所得的三维点云上原本属于同一物体的点云出现割裂或者缺失现象，因此，需要对其进行补全。

步骤120，将三维点云投影到二维图像中，得到二维深度图像。

具体地，将三维点云投影到二维图像中，也就是将三维点云投影到二维图像所在的成像平面，可以得到包含深度信息的二维深度图像。二维深度图像既包含原有的图像信息，又包含投影后得到的深度信息。

进一步地，可以根据转换矩阵将三维点云投影到二维图像中。转换矩阵是根据采集三维点云的车载激光雷达以及采集二维图像的车载相机之间的相对位置关系确定的。三维点云所在的点云坐标系可以以采集三维点云的车载激光雷达的安装位置为原点建立，二维图像所在的图像坐标系可以为以采集二维图像的车载相机为原点建立。由于车载激光雷达以及车载相机安装在车辆上的位置一般是固定不变的，可以通过标定和解算的方式，事先获取车载激光雷达和车载相机的相对位置关系，从而确定点云坐标系与图像坐标系之间的映射函数关系，该映射函数关系表示为转换矩阵。

步骤130，对二维深度图像进行补全，得到二维深度补全图像。

具体地，对二维深度图像进行补全，用于修补缺失的深度信息，对二维深度图像中的深度信息进行估计，从而获得更为全面的深度信息。

可以根据二维深度图像中的图像信息，得到多个目标物体的先验信息。先验信息包括目标物体的形状等。根据这些先验信息对目标物体的深度信息进行补全。例如，道路上行驶的客车大多是长方体结构，可以按照长方体结构对客车的深度信息进行补全。

步骤140，对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云。

具体地，对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云；对补全三维点云进行分割，得到目标物体的分割结果。

可以根据旋转矩阵，对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云，此处，补全三维点云相较于原来的点云能够完整地反映目标物体，并且不会出现分层现象，对补全三维点云进行分割，确定目标物体的分割结果。

本申请实施例提供的点云补全方法，将包含目标物体的三维点云投影到二维图像中，得到二维深度图像，进行深度信息补全后得到二维深度补全图像，根据二维深度补全图像，确定目标物体的点云分割结果，由于根据二维深度图像中图像信息对深度信息进行补全，使得补全后的深度信息完整地反映目标物体的形状特征，避免了目标物体的点云过于稀疏出现分层的现象，便于后续对点云进行分割后得到目标物体的三维点云，提高了点云分割的准确性和分割效率。

基于上述实施例，步骤130包括：

基于目标物体的形状和/或二维深度图像的分辨率，对二维深度图像进行孔洞填充，得到所述二维深度补全图像。

具体地，可以利用卷积核对二维深度图像中孔洞周围的像素值进行处理，实现对孔洞的填充。图像处理时，将输入图像中某个区域所有像素的加权平均值作为输出图像中的一个对应像素，其中加权平均所用的权值由一个函数定义，这个函数称为卷积核。

可以根据目标物体的形状和/或二维深度图像的分辨率，确定卷积核。

基于上述任一实施例，图2为本申请提供的点云补全方法的流程示意图之二，如图2所示，步骤130具体包括：

步骤1301，基于目标物体的形状和/或二维深度图像的分辨率，确定边缘卷积核和连接卷积核；

步骤1302，分别基于边缘卷积核和连接卷积核，对二维深度图像进行孔洞填充，得到二维深度补全图像。

具体地，可以确定边缘卷积核，用于对二维深度图像中目标物体的点云边缘缺失的孔洞进行填充，使得二维深度图像中各个目标物体与其他目标物体的边界清晰。

可以确定连接卷积核，用于对二维深度图像中目标物体的点云连接部分缺失的孔洞进行填充，使得二维深度图像中属于同一目标物体的点云数据能够连接在一起。

边缘卷积核和连接卷积核的大小以及卷积核中的参数可以根据目标物体的形状进行确定，也可以根据二维深度图像的分辨率进行确定，也可以根据目标物体的形状和二维深度图像的分辨率进行联合确定。例如，根据二维深度图像的分辨率，边缘卷积核的大小可以选择5x5，连接卷积核的大小可以选择31x31，边缘卷积核和连接卷积核中的参数可以选择0或者1。

本申请实施例提供的点云补全方法，根据目标物体的形状和/或二维深度图像的分辨率确定边缘卷积核和连接卷积核，对二维深度图像进行孔洞填充，同时兼顾了目标物体的边缘和各部分的连接性，提高了点云补全的完整性。

基于上述任一实施例，图3为本申请提供的点云补全方法的流程示意图之三，如图3所示，步骤1302包括：

步骤13021，基于边缘卷积核，采用图像形态学处理对二维深度图像进行孔洞填充，得到二维边缘补全深度图像；

步骤13022，基于连接卷积核，采用图像形态学处理对二维边缘补全深度图像进行孔洞填充，得到二维深度补全图像。

具体地，图像形态学是指基于图像形状特征对图像进行处理的方法，其基本思想是利用结构元来测量或提取输入图像中相应的形状或特征，以便进一步进行图像分析和目标识别。本申请实施例中结构元具体为卷积核。

图像形态学处理包括膨胀、腐蚀、开运算和闭运算等。

其中，膨胀即求取局部最大值。具体操作为将原图与卷积核进行卷积运算，将最大值赋予指定像素。从效果上看，类似于使图像中亮的区域更亮。

腐蚀，即求取局部最小值。具体操作为将原图与卷积核进行卷积运算，将最小值赋予指定像素。从效果上看，类似于使图像中暗的区域更暗。

开运算为先腐蚀后膨胀，可以分离像素，消除外部无用的区域。

闭运算为先膨胀后腐蚀，可以填充像素，消除内部缺失的区域。

根据边缘卷积核，采用图像形态学处理对二维深度图像中目标物体的点云边缘缺失的孔洞进行填充，得到二维边缘补全深度图像。

根据连接卷积核，采用图像形态学处理对二维边缘补全深度图像中目标物体的点云连接部分缺失的孔洞进行填充，得到二维深度补全图像。

本申请实施例提供的点云补全方法，采用图像形态学处理对二维深度图像进行孔洞填充，充分利用了二维深度图像中的图像信息。

基于上述任一实施例，分别基于边缘卷积核和连接卷积核，对二维深度图像进行孔洞填充，得到二维深度补全图像，之前还包括：

基于预设深度阈值，对二维深度图像进行滤波处理。

具体地，预设深度阈值可以根据实际需要进行设置。例如，可以选择深度信息中的最大值和最小值的算数平均数作为预设深度阈值。

对于二维深度图像中的每一像素点对应的深度信息，将其与预设深度阈值进行比较，若该像素点对应的深度信息大于预设深度阈值，则可以将该像素点对应的深度信息更新为二维深度图像中最大深度信息与该像素点对应的实际深度信息之差，若该像素点对应的深度信息小于等于预设深度阈值，则不作改变。

基于上述任一实施例，步骤13022之前还包括：

确定检测阈值，以及二维边缘补全深度图像中目标物体对应的图像部分；

基于图像部分，在深度信息大于检测阈值的所有行中，将深度信息最小的行作为第一边界；

基于图像部分，在深度信息小于检测阈值的所有行中，将深度信息最大的行作为第二边界；

基于图像部分，将第一边界和所述第二边界之间所有行的深度信息设置为相同值。

具体地，在得到二维边缘补全深度图像之后，可以根据目标物体的形状对深度信息进行调整。

例如，若二维边缘补全深度图像中存在的目标物体为建筑物，则建筑物底部对应的深度信息应该和建筑物顶部对应的深度信息大小一致，即建筑物底部和建筑物顶部应该在一个垂直面内。但是对于激光雷达而言，由于其安装位置而言，相对于建筑物底部和建筑物顶部的激光扫描角度是不一样的，会使得建筑物顶部相比于建筑物底部的深度信息较大。在建筑物对应的图像部分，可以设定检测阈值，在深度信息大于检测阈值的所有行中，将深度信息最小的行作为建筑物顶部，在深度信息小于检测阈值的所有行中，将深度信息最大的行作为建筑物底部，将表示建筑物顶部的行和表示建筑物底部的行之间的部分的深度信息设置为相同值。此处，相同值可以为建筑物顶部的行的深度信息值，也可以为建筑物底部的行的深度信息值，还可以为建筑物顶部的行与底部的行的深度信息平均值。

基于上述任一实施例，图4为本申请提供的高斯滤波方法的流程示意图，如图4所示，步骤140之前还包括：

步骤131，基于目标物体的形状和/或二维深度图像的分辨率，确定滤波卷积核；

步骤132，基于滤波卷积核，对二维深度补全图像进行高斯滤波，得到滤波后的二维深度补全图像。

相应地，步骤140具体包括：

对滤波后的二维深度补全图像进行反投影，得到包含目标物体的补全三维点云。

具体地，在对二维深度图像进行深度信息补全，得到二维深度补全图像后，还可以采用滤波卷积核对图像进行高斯滤波。

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。

高斯滤波的具体操作是：用滤波卷积核扫描二维深度补全图像中的每一个像素，用滤波卷积核确定的邻域内像素的加权平均深度值去替代滤波卷积核中心像素点的深度值。

滤波卷积核的大小以及卷积核中的参数可以根据目标物体的形状进行确定，也可以根据二维深度图像的分辨率进行确定，也可以根据目标物体的形状和二维深度图像的分辨率进行联合确定。

本申请实施例提供的点云补全方法，通过滤波卷积核对二维深度补全图像中的噪声进行了消除，提高了点云数据的准确性。

基于上述任一实施例，本申请实施例提供一种点云分割方法，包括：

基于包含目标物体的补全三维点云，确定目标物体的点云分割结果；

其中，补全三维点云是基于上述点云补全方法确定的。

具体地，对补全三维点云进行有效地分割，得到表示各个目标物体的点云分割结果，即单独表示各个目标物体的点云，各个目标物体的点云是完整的，不存在补全前的割裂或者缺失现象。目标物体的点云分割结果为后续的物体表面重建和特征提取等提供重要的信息，是实现目标物体检测与识别的前提和基础。

基于上述任一实施例，基于包含目标物体的补全三维点云，确定目标物体的点云分割结果，包括：

基于RANSAC算法、欧几里得分割算法和超体聚类分割算法中的至少一种，对补全三维点云进行分割，确定目标物体的分割结果。

具体地，RANSAC算法(Random Sample Consensus，随机采样一致性算法)能够在在大量噪声情况下，提取目标物体中特定的特征。其优点是噪声可以分布的任意广，噪声可以远大于模型信息，非常适合从杂乱点云中检测某些具有特殊外形的物体。例如，对于三维点云中的路面，使用RANSAC算法能取得很好的检测效果。

欧几里得分割算法可以根据两团点云之间最近两点的距离小于单个点云内部点之间的距离，对点云进行分割。

超体(Super Voxel)是一种集合，集合的元素是“体”。与体素滤波器中的体类似，其本质是一个个的小方块。与之前提到的所有分割方法不同，超体聚类的目的并不是分割出某种特定物体，其对点云实施过分割(over segmentation)，将点云分割成很多小块，并研究每个小块之间的关系。例如，对于交通灯的检测，超体聚类分割算法能将指示灯、支撑杆和底座的点云分开，能更好的对各种交通灯进行检测。

本申请实施例提供的点云分割方法，通过采用多种点云分割算法，提高了点云分割的准确性和分割效率。

基于上述任一实施例，本申请实施例提供一种点云补全和点云分割补全方法，包括：

步骤一、分别通过车载激光雷达和车载相机获取包含目标物体的三维点云和二维图像。通过标定和解算的方式，事先获取车载激光雷达和车载相机的相对位置关系，确定点云坐标系与图像坐标系之间的映射函数关系，该映射函数关系表示为转换矩阵。

步骤二、通过转换矩阵，将三维点云投影到二维图像中，得到二维深度图像。

步骤三、对二维深度图像进行补全，用于修补缺失的深度信息，得到二维深度补全图像，此处深度信息用深度值表示。该步骤又可以具体分为：

(1)对于二维深度图像中的每一像素点对应的深度信息，将其与预设深度阈值进行比较，若该像素点对应的深度信息大于预设深度阈值，则可以将该像素点对应的深度信息更新为二维深度图像中最大深度信息与该像素点对应的实际深度信息之差，若该像素点对应的深度信息小于等于预设深度阈值，则不作改变。

(2)使用5x5的卷积核为边缘卷积核，对二维深度图像进行膨胀操作和闭操作，对二维深度图像中目标物体的点云边缘缺失的孔洞进行填充。

(3)基于目标物体的形状，对二维深度图像中的深度值进行调整。

(4)使用31x31的卷积核为连接卷积核，对二维深度图像中目标物体的点云连接部分缺失的孔洞进行填充，得到二维深度补全图像。

(5)对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云。

步骤四、通过转换矩阵，将二维深度补全图像反投影，得到包含目标物体的补全三维点云，对补全三维点云进行分割，确定目标物体的分割结果

下面对本申请提供的点云补全装置进行描述，下文描述的点云补全装置与上文描述的点云补全方法可相互对应参照。

基于上述任一实施例，图5为本申请提供的点云补全装置的结构示意图之一，如图5所示，该装置包括：

获取单元510，用于获取包含目标物体的三维点云和二维图像；

投影单元520，用于将三维点云投影到二维图像中，得到二维深度图像；

补全单元530，用于对二维深度图像进行补全，得到二维深度补全图像；

反投影单元540，用于对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云。

具体地，获取单元510用于获取包含目标物体的三维点云和二维图像。投影单元520，用于根据三维点云所在点云坐标系和二维图像所在的图像坐标系的相对关系，将三维点云投影到二维图像中，得到二维深度图像。补全单元530用于对二维深度图像进行补全，得到二维深度补全图像。反投影单元540，用于对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云。

本申请实施例提供的点云补全装置，将包含目标物体的三维点云投影到二维图像中，得到二维深度图像，进行深度信息补全后得到二维深度补全图像，根据二维深度补全图像，确定目标物体的点云分割结果，由于根据二维深度图像中图像信息对深度信息进行补全，使得补全后的深度信息完整地反映目标物体的形状特征，避免了目标物体的点云过于稀疏出现分层的现象，便于后续对点云进行分割后得到目标物体的三维点云，提高了点云分割的准确性和分割效率。

基于上述任一实施例，补全单元530具体用于：

基于目标物体的形状和/或二维深度图像的分辨率，对二维深度图像进行孔洞填充，得到二维深度补全图像。

基于上述任一实施例，图6为本申请提供的补全单元的结构示意图，如图6所示，补全单元530包括：

卷积核确定子单元5301，用于基于目标物体的形状和/或二维深度图像的分辨率，确定边缘卷积核和连接卷积核；

深度补全子单元5302，用于分别基于边缘卷积核和连接卷积核，对二维深度图像进行孔洞填充，得到二维深度补全图像。

基于上述任一实施例，图7为本申请提供的深度补全子单元的结构示意图之一，如图7所示，深度补全子单元5302包括：

边缘补全模块53021，用于基于边缘卷积核，采用图像形态学处理对二维深度图像进行孔洞填充，得到二维边缘补全深度图像；

连接补全模块53022，用于基于连接卷积核，采用图像形态学处理对二维边缘补全深度图像进行孔洞填充，得到二维深度补全图像。

基于上述任一实施例，图8为本申请提供的深度补全子单元的结构示意图之二，如图8所示，深度补全子单元5302还包括调整模块53023，调整模块53023包括：

确定子模块，用于确定检测阈值，以及二维边缘补全深度图像中目标物体对应的图像部分；

第一边界子模块，用于基于图像部分，在深度信息大于检测阈值的所有行中，将深度信息最小的行作为第一边界；

第二边界子模块，用于基于图像部分，在深度信息小于检测阈值的所有行中，将深度信息最大的行作为第二边界；

设置子模块，用于基于图像部分，将第一边界和第二边界之间所有行的深度信息设置为相同值。

基于上述任一实施例，图9为本申请提供的点云补全装置的结构示意图之二，如图9所示，该装置还包括：

滤波单元531，用于基于目标物体的形状和/或二维深度图像的分辨率，确定滤波卷积核，并基于滤波卷积核，对二维深度补全图像进行高斯滤波，得到滤波后的二维深度补全图像。

本申请实施例提供的点云补全装置用于执行上述点云补全方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

下面对本申请提供的点云分割装置进行描述，下文描述的点云分割装置与上文描述的点云分割方法可相互对应参照。

基于上述任一实施例，本申请提供一种点云分割装置，包括：

分割单元，用于基于包含目标物体的补全三维点云，确定目标物体的点云分割结果；

其中，补全三维点云是基于如所述的点云补全装置确定的。

基于上述任一实施例，分割单元具体用于：

基于RANSAC算法、欧几里得分割算法和超体聚类分割算法中的至少一种，对补全三维点云进行分割，得到目标物体的点云分割结果。

本申请实施例提供的点云分割装置用于执行上述点云分割方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

基于上述任一实施例，图10为本申请提供的电子设备的结构示意图，如图10所示，该电子设备可以包括：处理器(Processor)1010、通信接口(Communications Interface)1020、存储器(Memory)1030和通信总线(Communications Bus)1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑命令，以执行上述各实施例提供的点云补全方法或者点云分割方法。该点云补全方法包括：

获取包含目标物体的三维点云和二维图像；将三维点云投影到二维图像中，得到二维深度图像；对二维深度图像进行补全，得到二维深度补全图像；对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云，并基于补全三维点云确定目标物体的点云分割结果。

该点云分割方法包括：

基于包含目标物体的补全三维点云，确定目标物体的点云分割结果；

其中，补全三维点云是基于上述的点云补全方法确定的。

此外，上述的存储器1030中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述点云补全方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的点云补全方法可相互对应参照。

本申请实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的点云补全或者点云分割方法。该点云补全方法包括：

获取包含目标物体的三维点云和二维图像；将三维点云投影到二维图像中，得到二维深度图像；对二维深度图像进行补全，得到二维深度补全图像；对二维深度补全图像进行反投影，得到包含目标物体的补全三维点云，并基于补全三维点云确定目标物体的点云分割结果。

该点云分割方法包括：

基于包含目标物体的补全三维点云，确定目标物体的点云分割结果；

其中，补全三维点云是基于上述的点云补全方法确定的。

本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述点云补全方法，其具体的实施方式与方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。