一种单图像三维点云模型重建方法

摘要

本发明涉及一种单图像三维点云模型重建方法，首先预训练一个点云自编码器网络，得到一个点云特征向量；构建图像编码网络学习输入图像特征，编码成固定长度的图像特征向量，随后利用解码器网络将向量解码成点云表达形式；通过最小化两个特征向量的差异，使得输入图像特征分布逼近点云特征分布，从而可以重建出相似的真实点云模型，解决三维重建中的不确定性问题。此外，利用可微投影模块将初始重建点云从不同视角投影到二维平面，获取二值化投影图，通过最小化初始点云投影图与真实投影图的差异，优化初始重建点云，从而得到具有细节结构的点云模型。

说明书

技术领域

本发明涉及计算机视觉和计算机图形学领域，特别是涉及一种基于单幅二维图像的三维重建方法。

背景技术

在现实世界中，相比于文本，图像等海量且易于获取的媒体数据，三维模型更能展现出物体的立体视觉感和细节质感，是一种更符合人类视觉系统的数据表达，此外，随着硬件扫描设备和专业建模软件的发展，三维数据日益丰富，以及计算机存储空间，计算能力的快速发展，三维模型被广泛地应用在工业设计、城市规划、影视教育等领域。但硬件扫描设备以及专业建模软件如3DS Max、MAYA等建模软件价格昂贵，使用门槛高，对广大爱好者不够友好，因此，研究便捷有效的三维模型重建方法是计算机图形学和计算机视觉领域的重要方向和热门话题。

由于图像可以低成本高效获取，三维模型的重建在学习现有二维图像数据特点的基础上，求解深度模型参数，目前主要依靠多张图像进行三维重建，并且通常是优化重建模型与真实模型的差距。由于图像的重复，纹理，反射等有不太确定性，因此需要设定一系列强假设约束，此外，三维数据集相对较难获取，因此基于多张图像的三维重建一定程度上受到限制。对单图像重建而言，利用深度网络强大的特征提取能力，对输入单幅图像进行分析和推理，结合先验知识，逼近其对应三维模型特征分布，实现生成符合语义约束的三维模型，可以很大程度上减轻对大规模3D数据集的需求，同时降低三维建模的难度，使普通爱好者用户也能获取所需三维模型。

根据实际场景应用的不同需求，目前主要有点云、网格和体素这三种表达方式。体素表示的方法是将空间分为多个小立方体，可以视为二维到三维的直接推广，但较于二维图像，由于计算和内存的限制，分辨率主要为32

发明内容

本发明主要解决的技术问题：针对目前基于图像重建主要依靠三维点云作为监督的方法，提供一种基于先验知识的三维点云模型重建方法，通过预训练三维点云模型的方法获取点云先验知识，不仅减少了重建过程中不确定点云的生成，而且结合多个二维投影图监督的方法，使重建的点云具有与输入一致的外观轮廓细节，本发明降低了对真实三维模型监督的依赖性，提高三维模型重建精度，使得三维模型重建更具有广泛性。

为解决上述技术问题，本发明采用的一个技术方案是：对物体的单张RGB图像进行处理，通过构建三维重建网络以及投影框架，联合点云先验知识特征分布约束，可得到与输入图像一致的具有精确细节的三维点云模型，缓解了现实中三维监督方法中三维数据的不足，其具体包括以下步骤：

(1)训练一个三维点云自编码器网络，使用深度卷积变分编码器学习输入点云的特征，将输入三维点云编码成一个固定长度的点云特征向量，然后解码成三维点云模型，通过最小化真实点云与重建点云距离，得到网络优化训练后表达三维点云特征分布的特征向量，获取三维点云数据先验知识；

(2)使用深度卷积变分编码器学习输入图像的特征，将得到的输入图像特征编码成与步骤1中点云特征向量相同长度的图像特征向量，得到编码结果；

(3)构建解码器网络将步骤2中的得到的图像特征向量解码成一个N×K点云模型，通过可微投影模块获取三维点云模型多张不同视角m×m二维投影图；

(4)使用二元交叉熵损失计算步骤3中得到的二维投影图与真实二维投影图之间的距离，联合步骤1中获取的点云特征向量与步骤2中获取的图像特征向量，使用L1 loss计算距离，通过最小化两种距离和来减少重建中的不确定性点云，预测与输入图像一致的具有精确细节的最优点云模型。

在步骤1中，深度卷积变分编码器包括五个多层感知层(MLP)，这五个网络层的特征输出维度分别为64、128、128、256、512；全连接层输出向量的固定长度为512；解码器网络判别器包括三个多层感知层，特征输出维度分别为64、128，6144，生成2048×3点云模型，使用Chamfer Distance作为损失函数；应用Adam梯度下降算法，优化自编码器中的所有参数，最小化重建点云与真实点云的距离，重复执行前三步直到总的损失函数收敛或循环达到最大迭代次数，以能生成准确的三维点云模型，从而得到网络优化训练后表达三维点云特征分布的特征向量，获取三维点云数据先验知识。

在步骤2中，所述深度卷积变分编码器包括十三个二维卷积层，其前十二个二维卷积层的卷积核均为3，最后一个卷积层为5，其中每三个卷积层的步长依次分别为1、1、2，最后一个卷积层步长为2；且每个卷积层后接一个激活层，激活函数为ReLu；深度卷积变分编码器的最后一层为全连接层，全连接层输出向量的固定长度为512。

在步骤3中，使用正交投影方法，从任意一个投影视角v将点云映射到一个二维平面，得到二值化投影图，变换视角，获取多张二维投影图，具体方法为通过相机参数，首先将重建点云转换为相机坐标，继而使用可微投影模块投影成二值化轮廓图。

在步骤4中，计算得到的重建点云二维投影图与真实二维投影图之间的距离，以此增加点云数据先验知识，减少重建中的不确定性点云，计算点云特征向量与输入图像特征向量L1距离，重建具有精确外观细节点云模型，通过最小化两种距离和，得到与输入图像一致的具有精确细节的最优点云模型。

本发明的有益效果是：本发明在点云模型重建过程中引入二维投影图像监督的方式，缓解了现实训练中三维数据集的不足，同时通过预训练三维点云模型的方法获取点云先验知识，减少了不确定重建模型的产生，得到与输入图像一致的具有精确细节的最优点云模型，实现了低成本，高实时三维模型重建。

附图说明

图1为本发明的单图像三维点云重建具体实现过程示意图；

图2为本发明中三维点云自编码器实现示意图；

图3为本发明中重建点云投影示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行描述。其中附图1描述了单图像三维点云重建具体实现过程示意图；附图2描述了点云自编码器实现过程。附图3按照投影方法将三维点云模型映射成多张投影图的过程。

如图1所示，本发明三维点云模型重建方法如下：

(1)本发明中的点云自编码器首先使用深度卷积变分编码器学习数据集中输入点云X

其中x，y分别代表输入点云模型和输出点云模型，d

(2)输入图像首先使用深度卷积变分编码器学习其输入图像潜在的数据分布特征，如图3编码器部分，其包括十三个二维卷积层，前十二个二维卷积层的卷积核均为3，最后一个卷积层为5，其中每三个卷积层的步长依次分别为1、1、2，最后一个卷积层步长为2；且每个卷积层后接一个激活层，激活函数为ReLu；深度卷积变分编码器的最后一层为全连接层，全连接层输出图像特征向量E

(3)通过可微投影从步骤(2)获得的三维点云模型进行处理，使用正交投影方法，从任意一个投影视角v通过透视变换将点云映射到一个平面，根据相机内在参数，通过坐标转换将点云转换到统一坐标系，其表达形式为

其中tanh是正切函数，φ(.)是高斯核函数，

(4)从步骤(3)获得的投影图，在多个不同投影角度的训练下，通过训练不断减小其与数据集中真实投影图的差异，投影图L

其中M

如图3所示，输入图像首先使用深度卷积变分编码器学习其输入图像潜在的数据分布特征，随后解码器端通过三层全连接层输出特征分别为成256，256，6144，接着映射成2048×3的初始点云，继而使用可微投影模块将初始点云进行投影，获取多个不同视角二维二值化投影轮廓图。与现有方法仅依靠重建点云和真实点云计算差异的方法不同，这一部分增加了多视角约束，从多个不同的视角衡量了重建初始点云和真实点云在外观几何上的不一致程度，让网络学习不同视角下物体的轮廓，通过保持预测点云和真实点云在不同视角上的几何一致性要求重建点云与输入图像语义相符，保证预测点云遵从图像物体的几何形状，以能生成与输入图像一致的具有精确细节的最优点云模型。此外，由于有三维点云预训练过程，本部分训练过程中不需要真实三维模型，从而使得训练过程加快。