基于稀疏深度与边界的深度重建方法、系统、设备及介质

摘要

本发明提供了一种基于稀疏深度与边界的深度重建方法、系统、设备及介质，包括如下步骤：获取目标图像，通过对所述目标图像中各目标物体进行边界提取生多条粗边界；对所述粗边界中的断线进行连接，生成光滑边界；根据所述光滑边界对所述目标图像对应的深度图像进行补全生成目标深度图像。本发明中通过对所述目标图像中各目标物体进行边界提取生成目标物体的边界，根据目标物体的边界对目标图像对应的深度图像进行补全生成目标深度图像，从而能够提高深度图像的完整度，从而便于对目标物体进行深度重建。

说明书

技术领域

本发明涉及三维重建，具体地，涉及一种基于稀疏深度数据与边界的深度重建 方法、系统、设备及介质。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世 界的虚拟现实的关键技术。

在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视图的信息不完全，因此三维重建需要利用经验知识。而多视图的三 维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算 出摄像机的图像坐标系与世界坐标系的关系。然后利用多个二维图像中的信息重建 出三维信息。

三维重建是无人驾驶，扫地机器人，虚拟现实中的关键技术。近年来，深度学 习的快速发展和大量三维几何模型数据库的公布，为高精度三维重建方法带来了新 思路。但是在基于深度学习提取边界法向量，利用马尔可夫随机场进行深度重建过 程，存在深度数据集难以获取以及深度模型解析力不足的问题，通过深度学习来获 得深度边界，会产生成法向量信息获取费时费算力的问题。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于稀疏深度数据与边界的深度重建方法、系统、设备及介质。

根据本发明提供的基于稀疏深度与边界的深度重建方法，包括如下步骤：

步骤S1：获取目标图像，通过对所述目标图像中各目标物体进行边界提取生多条粗 边界；

步骤S2：对所述粗边界中的断线进行连接，生成光滑边界；

步骤S3：根据所述光滑边界对所述目标图像对应的深度图像进行补全生成目标深度 图像。

优选地，所述步骤S1包括如下步骤：

步骤S101：获取所述目标物体的RGB图像，将所述RGB图像转化为灰度图生成所述目标图像；

步骤S102：将所述目标图像进行直方图均衡；

步骤S103：将直方图均衡化后的所述目标图像进行边界提取生成所述粗边界。

优选地，所述步骤S3包括如下步骤：

所述步骤S3包括如下步骤：

步骤S301：获取所述目标图像的原始深度信息；

步骤S302：建立能量函数模型，在所述能量函数模型中对所述原始深度信息施加约 束；

步骤S303：对所述能量函数模型求极小值生成一组含有原始深度信息的线性方程组；

步骤S304：求解所述线性方程组生成能够对所述光滑边界的进行补全的目标深度信 息，进而对所述深度图像进行补全生成目标深度图像。

所述能量函数模型E为：

E＝λ

其中，E

优选地，所述步骤S2包括如下步骤：

步骤S201：获取粗边界的多个第一线段条；

步骤S202：判断任意两个第一线段条之间的距离是否小于等于预设置的第一距离阈 值，当两个第一线段条之间的距离小于等于预设置的第一距离阈值，则对该两个第一线段条进行连接生成多条第二线段条；

步骤S203：对多个所述第一线段条或/和第二线段条进行直线检测，并将位于同一直线上的多个第一线段条连接生成多条直线条；

步骤S204：判断任意两个直线条之间的距离是否小于等于预设置的第二距离阈值， 当两个直线条之间的距离小于等于预设置的第二距离阈值，则对该两个直线条进行连接， 进而生成所述光滑边界。

优选地，所述步骤S3包括如下步骤：

步骤S301：获取所述目标图像的原始深度信息；

步骤S302：根据所述原始深度信息和所述光滑边界将所述目标图像分为多个面和/ 或线，每一面或线中多个像素点的原始深度信息具有一深度变化关系；

步骤S303：根据每一面或线中多个像素点的深度变化关系对对应的面或线进行深度 信息的补全以生成所述目标深度图像。

优选地，所述深度变化关系包括如下任一种或任多种几何变化关系：

-深度信息相同；

-深度信息逐渐变大；

-深度信息逐渐变小；

-多个像素的深度信息构成一曲面轮廓；

-多个像素的深度信息构成一斜面轮廓。

本发明提供的基于稀疏深度与边界的深度重建系统，用于实现所述的基于稀疏深度 与边界的深度重建方法，包括：

边界提取模块，用于获取目标图像，对所述目标图像中各目标物体进行边界提取生 成粗边界；

断线重连模块，用于对所述粗边界中的断线进行连接，生成光滑边界；

深度补全模块，用于根据所述光滑边界对所述目标图像对应的深度图像进行补全生 成目标深度图像。

本发明提供的基于稀疏深度与边界的深度重建设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行所述基于稀疏深度与边界 的深度重建方法的步骤。

本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述基 于稀疏深度与边界的深度重建方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

本发明中通过对所述目标图像中各目标物体进行边界提取生成目标物体的边界，根据目标物体的边界对目标图像对应的深度图像进行补全生成目标深度图像， 从而能够提高深度图像的完整度，从而便于对目标物体进行深度重建。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图 仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前 提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性 实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中基于稀疏深度与边界的深度重建方法的步骤流程图；

图2(a)为本发明实施例中目标物体的原始图；

图2(b)为本发明实施例中目标物体提取边界后的示意图；

图3为本发明实施例中生成粗边界的步骤流程图；

图4为本发明实施例中生成光滑边界的步骤流程图；

图5为本发明实施例中对所述光滑边界的进行补全的步骤流程图；

图6为本发明变形例中对所述光滑边界的进行补全的步骤流程图；

图7(a)为本发明实施例中目标物体的原始深度图；

图7(b)为本发明实施例中目标物体的原始深度图进行补全后的示意图；

图8为本发明实施例中基于稀疏深度与边界的深度重建系统的模块示意图；

图9为本发明实施例中基于稀疏深度与边界的深度重建设备的结构示意图；以 及

图10为本发明实施例中计算机可读存储介质的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于 本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应 该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如 能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有” 以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的 过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没 有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例 可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明提供的基于稀疏深度与边界的深度重建方法，旨在解决现有技术中存在的问 题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技 术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明中基于稀疏深度与边界的深度重建方法的步骤流程图，如图1所示，本发明提供的基于稀疏深度与边界的深度重建方法，包括如下步骤：

步骤S1：获取目标图像，通过对所述目标图像中各目标物体进行边界提取生多条粗 边界。

图2为本发明中生成粗边界的步骤流程图，如图2所示，所述步骤S1包括如下步骤：

步骤S101：获取所述目标物体的RGB图像，将所述RGB图像转化为灰度图生成所述目标图像；

步骤S102：将所述目标图像进行直方图均衡；

步骤S103：将直方图均衡化的所述目标图像进行边界提取生成所述粗边界。

在本发明实施例中，本发明通过将目标物体的RGB图像转化为灰度图，然后进行直方图均衡，再进行边界的提取，从而能够显著提高边界的连续性，为边界的重连提供了 基础。

在本发明实施例中，采用CANNY边缘检测算法对所述目标物体进行边界提取，在变形例中，还可以采用其他边缘检测算法进行边界的提取。

图2(a)为本发明中目标物体的原始图，图2(b)为本发明中目标物体提取边界 后的示意图；如图2(a)和图2(b)所示，本发明能够对目标物体提取清晰的边界。

步骤S2：对所述粗边界中的断线进行连接，生成具有完整边界的光滑边界。

图4为本发明实施例中生成光滑边界的步骤流程图，如图4所示，所述步骤S2包 括如下步骤：

步骤S201：获取粗边界的多个第一线段条；

步骤S202：判断任意两个第一线段条之间的距离是否小于等于预设置的第一距离阈 值，当两个第一线段条之间的距离小于等于预设置的第一距离阈值，则对该两个第一线段条进行连接生成多条第二线段条；

步骤S203：对多个所述第一线段条或/和第二线段条进行直线检测，并将位于同一直线上的多个第一线段条连接生成多条直线条；

步骤S204：判断任意两个直线条之间的距离是否小于等于预设置的第二距离阈值， 当两个直线条之间的距离小于等于预设置的第二距离阈值，则对该两个直线条进行连接， 进而生成所述光滑边界。

在本发明实施例中，所述第一距离阈值设置为两个像素点；所述第二距离阈值为八 个像素点。当对所述第一线条或/和第二线条进行直线检测时，采用Hough变换进行检测。

在本发明实施例中，第一线段条的最短长度为2个像素点，所述直线条最短长度为50个像素点。

步骤S3：根据所述光滑边界对所述目标图像对应的深度图像进行补全生成目标深度 图像。

图5为本发明实施例中对所述光滑边界的进行补全的步骤流程图，如图5所示，所述步骤S3包括如下步骤：

步骤S301：获取所述目标图像的原始深度信息；

步骤S302：建立能量函数模型，在所述能量函数模型中对所述原始深度信息施加约 束；

步骤S303：对所述能量函数模型求极小值生成一组含有原始深度信息的线性方程组；

步骤S304：求解所述线性方程组生成能够对所述光滑边界的进行补全的目标深度信 息，进而对所述深度图像进行补全生成目标深度图像。

在本发明实施例中，本发明中通过对所述目标图像中各目标物体进行边界提取生成 目标物体的边界，根据目标物体的边界对目标图像对应的深度图像进行补全生成目标深 度图像，从而能够提高深度图像的完整度，从而便于对目标物体进行深度重建。

在本发明实施例中，所述能量函数模型E为：

E＝λ

其中，E

在本发明实施中，对能量函数模型E求极小值时，可以得到一组含深度的线性方程组，未知量的个数就是深度图像像素点数目，对于320x240的深度图进行重建，则方程 组含有76800个未知数。通过对线性方程组求解，则能够生成用于补全的深度信息。

图6为本发明变形例中对所述光滑边界的进行补全的步骤流程图，如图6所示，所述步骤S3包括如下步骤：

步骤S301：获取所述目标图像的原始深度信息；

步骤S302：根据所述原始深度信息和所述光滑边界将所述目标图像分为多个面和/ 或线，每一面或线中多个像素点的原始深度信息具有一深度变化关系；

步骤S303：根据每一面或线中多个像素点的深度变化关系对对应的面或线进行深度 信息的补全以生成所述目标深度图像。

在本发明实施例中，所述深度变化关系包括如下任一种或任多种几何变化关系：

-深度信息相同；

-深度信息逐渐变大；

-深度信息逐渐变小；

-多个像素的深度信息构成一曲面轮廓；

-多个像素的深度信息构成一斜面轮廓。

即在本发明实施例中，本发明根据目标物体的表面的几何特性，将所述目标物体分 为多个具有相同深度信息的面和/或线，或者确定所述目标物体上一面或线上的深度变化关系，从而能够根据所述线和/或面的已有像素点的深度信息补全整个面和/或整条线上的像素点的深度信息。

图7(a)为本发明实施例中目标物体的原始深度图；图7(b)为本发明实施例中 目标物体的原始深度图进行补全后的示意图，在如图7(a)和图7(b)中，通过颜色 的深浅进行深度信息的表示，颜色越浅，离深度相机的距离越远，颜色越深，离深度相 机的距离越近。通过对图7(a)和图7(b)的比对，能够清楚的看到本发明处理后的 深度图能够更清楚的显示各区域的深度信息。

图8为本发明实施例中基于稀疏深度与边界的深度重建系统的模块示意图，如图8所示，本发明提供的基于稀疏深度与边界的深度重建系统，用于实现所述的基于稀疏深 度与边界的深度重建方法，包括：

边界提取模块，用于获取目标图像，对所述目标图像中各目标物体进行边界提取生 成粗边界；

断线重连模块，用于对所述粗边界中的断线进行连接，生成光滑边界；

深度补全模块，用于根据所述光滑边界对所述目标图像对应的深度图像进行补全生 成目标深度图像。

本发明实施例中还提供一种基于稀疏深度与边界的深度重建设备，包括处理器。存 储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于稀疏深度与边界的深度重建方法的步骤。

如上，该实施例中本发明中通过对所述目标图像中各目标物体进行边界提取生成目 标物体的边界，根据目标物体的边界对目标图像对应的深度图像进行补全生成目标深度 图像，从而能够提高深度图像的完整度，从而便于对目标物体进行深度重建。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程 序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这 里可以统称为“电路”、“模块”或“平台”。

图9是本发明的基于稀疏深度与边界的深度重建设备的结构示意图。下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一 个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包 括存储单元620和处理单元610)的总线630、显示单元640等。

其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述基于稀疏深度与边界的深度重建方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204， 这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单 元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或 与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、 调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电 子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域 网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电 子设备600的其它模块通信。应当明白，尽管图9中未示出，可以结合电子设备600使 用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外 部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实 现的基于稀疏深度与边界的深度重建方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备 上运行时，程序代码用于使终端设备执行本说明书上述基于稀疏深度与边界的深度重建 方法部分中描述的根据本发明各种示例性实施方式的步骤。

如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明中通过对所述 目标图像中各目标物体进行边界提取生成目标物体的边界，根据目标物体的边界对目标 图像对应的深度图像进行补全生成目标深度图像，从而能够提高深度图像的完整度，从而便于对目标物体进行深度重建。

图10是本发明的计算机可读存储介质的结构示意图。参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读 存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而， 本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的 有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质 或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或 半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非 穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器 (RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式 紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中 承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、 光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读 介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输， 包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代 码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用 户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用 户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。 在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网 (LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例 如利用因特网服务提供商来通过因特网连接)。

在本发明实施例中，本发明中通过对所述目标图像中各目标物体进行边界提取生成 目标物体的边界，根据目标物体的边界对目标图像对应的深度图像进行补全生成目标深 度图像，从而能够提高深度图像的完整度，从而便于对目标物体进行深度重建。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实 施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本 领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发 明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所 示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改， 这并不影响本发明的实质内容。