一种基于多深度图的非刚体三维重建方法及系统

摘要

本发明提出一种基于多深度图的非刚体三维重建方法，包括以下步骤：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取位置变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接结果建立能量函数；对能量函数进行求解，以根据求解结果重建非刚体的三维模型。根据本发明的方法，所需输入信息简单易采集，并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快，拥有广阔的应用前景。本发明还提出了一种基于多深度图的非刚体三维重建系统。

说明书

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于多深度图的非刚体 三维重建方法及系统。

背景技术

三维重建是计算机视觉领域的重点问题。高质量的三维模型在影视娱乐、 文物保护、机械加工等各个领域都有着重要的应用价值。但是高质量三维模型 的获取通常依靠价格昂贵的激光扫描仪实现，虽然精度得以保证，但是也存在 着两个缺点：第一、激光扫描仪在扫描过程中要求被扫物体绝对静止，微小的 移动就会导致扫描结果存在明显的误差；第二，激光扫描仪价格不菲，很难普 及从而扩大民用价值。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于多深度图的非刚体三维重建方 法。该方法求解准确鲁棒，消除了累加误差所会带来的影响，且运行速度快， 拥有广阔的应用前景。

本发明的另一目的在于提出一种基于多深度图的非刚体三维重建系统。

为了实现上述目的，本发明第一方面的实施例提出了一种基于多深度图的 非刚体三维重建方法，包括以下步骤：对非刚体以不同角度和不同姿态进行深 度图拍摄以得到多个深度图；将每个深度图变换为一组三维点云，并获取多组 三维点云之间的多个匹配点对；对每个匹配点进行位置变换，并求取所述位置 变换后的每个匹配点对应的变换参数；对所有变换参数进行拼接，并根据拼接 结果建立能量函数；以及对所述能量函数进行求解，以根据求解结果重建所述 非刚体的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建方法，利用深度相机 对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度 图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集， 并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会 带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景， 可以在普通PC机或工作站等硬件系统上实现。

另外，根据本发明上述实施例的基于多深度图的非刚体三维重建方法还可 以具有如下附加的技术特征：

在一些示例中，通过深度相机对所述非刚体进行拍摄以得到所述多个深度 图。

在一些示例中，所述将每个深度图变换为一组三维点云，进一步包括：获 取所述深度相机的内参矩阵；根据所述内参矩阵将所述每个深度图变换为一组 三维点云。

在一些示例中，所述变换的变换公式为：其中，u,v 为像素坐标，d_c(u,v)为第c张深度图上像素(u,v)位置上的深度值，所述K为内 参矩阵。

在一些示例中，所述对每个匹配点进行位置变换，并求取所述位置变换后 的每个匹配点对应的变换参数，进一步包括：计算所述每个匹配点的旋转矩阵 和偏移向量；根据所述旋转矩阵和偏移向量得到所述每个匹配点的位置变换方 程；根据所述的位置变换方程得到所述每个匹配点对应的变换参数。

在一些示例中，所述位置变换方程为：p′=Rp+t，其中，p为匹配点，R 为旋转矩阵，t为偏移向量。

在一些示例中，所述能量函数为：X=argmin_xα_eE_e+α_fE_f+α_nE_n,其中，E_e为 拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的 权重系数。

本发明第二方面的实施例提供了一种基于多深度图的非刚体三维重建系 统，包括：深度相机，所述深度相机用于对非刚体以不同角度和不同姿态进行 深度图拍摄以得到多个深度图；匹配模块，用于将每个深度图变换为一组三维 点云，并获取多组三维点云之间的多个匹配点对；变换模块，用于对每个匹配 点进行位置变换，并求取所述位置变换后的每个匹配点对应的变换参数；拼接 模块，用于对所有变换参数进行拼接，并根据拼接结果建立能量函数；以及三 维重建模块，用于对所述能量函数进行求解，以根据求解结果重建所述非刚体 的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建系统，利用深度相机 对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度 图完成对非刚体的三维几何建模的功能。该系统需求的输入信息简单易采集， 并可得到高精度的完整三维模型。该系统求解准确鲁棒，消除了累加误差所会 带来的影响。另外，该系统成本低，且运行速度快，拥有广阔的应用前景，可 以在普通PC机或工作站等硬件系统上实现。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描 述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中 将变得明显和容易理解，其中：

图1是根据本发明一个实施例的基于多深度图的非刚体三维重建方法的 流程图；以及

图2是根据本发明一个实施例的基于多深度图的非刚体三维重建系统的 结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自 始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元 件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能 理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、 “下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等 指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述 本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方 位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语 “第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安 装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆 卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连， 也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普 通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

以下结合附图描述根据本发明实施例的基于多深度图的非刚体三维重建 方法及系统。

图1是根据本发明一个实施例的基于多深度图的非刚体三维重建方法的 流程图。如图1所示，该方法包括如下步骤：

步骤S101：对非刚体以不同角度和不同姿态进行深度图拍摄以得到多个 深度图。

具体地，可通过深度相机对非刚体进行拍摄以得到多个深度图。即利用深 度相机对同一非刚性物体（非刚体）以不同角度、不同姿态进行拍摄多个深度 图，并采集上述多个深度图。

步骤S102：将每个深度图变换为一组三维点云，并获取多组三维点云之 间的多个匹配点对。

在本发明的一个示例中，将每个深度图变换为一组三维点云包括：

1）获取深度相机的内参矩阵。

2）根据内参矩阵将每个深度图变换为一组三维点云。其中，变换的变换 公式为：其中，u,v为像素坐标，d_c(u,v)为第c张深度图 上像素(u,v)位置上的深度值，所述K为内参矩阵。

具体地说，例如：存在N_f张深度图，则输入N_f张深度图d_c(u,v),c=1,2,…,N_f， 给定深度相机内参矩阵K，每张深度图即可变换为一组三维点云，通过上述变 换公式进行变换。

开始需要用户手工指定点云间特征点的对应关系（匹配点对）。这是由于 点云特征较少，相同几何分布的区域很多，如果利用全自动的匹配算法几乎很 难实现。因此，本发明实施例的方法只需要用户手工指定少量特征对应点，即 可实现后续准确高质量的三维重建效果。对应点对集合表示为：其表示第c帧的第m个点与第c′帧的第m′个点相对应。

步骤S103：对每个匹配点进行位置变换，并求取位置变换后的每个匹配 点对应的变换参数。

作为一个具体的例子，对每个匹配点进行位置变换，并求取位置变换后的 每个匹配点对应的变换参数，进一步包括：

1）计算每个匹配点的旋转矩阵和偏移向量。

2）根据旋转矩阵和偏移向量得到每个匹配点的位置变换方程。其中，位 置变换方程为：p′=Rp+t，其中，p为匹配点，R为旋转矩阵，t为偏移向量。

3）根据的位置变换方程得到每个匹配点对应的变换参数。

即在上述对应点（匹配点对）指定完成后，即开始全自动的将各帧点云开 始对齐拼接。本发明实施例的方法通过一种全局联合变形拼接方法，可以实现 所有帧点云变换参数联合求解，从而避免了逐帧顺序对齐会带来的积累误差问 题。

具体而言，对点云中的每个点p，首先求解其旋转矩阵R和偏移向量t，从 而点p变换后的位置为：p′=Rp+t。进一步地，为了实现快速线性求解的要求， 本发明实施例的方法对利用指数映射方法对变形方程做如下近似：

$p^{\prime }=\mathrm{Rp}+t\approx (I+\hat{\xi })\hat{p},$

其中，I为四维单位阵，为p的其次形式。

其中，$\hat{\xi }=\left(\begin{array}{cccc}0& -w_z& w_y& v_1\\ w_z& 0& {-w}_x& v_2\\ {-w}_y& w_x& 0& v_3\\ 0& 0& 0& 1\end{array}\right),$

接着对做变换，如下：

$(I+\hat{\xi })\hat{p}=\left(\begin{array}{cccc}1& {-w}_z& w_y& v_1\\ w_z& 1& {-w}_x& v_2\\ {-w}_y& w_x& 1& v_3\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}{p}_x\\ p_y\\ p_z\end{array}\right)\text{=}\left(\begin{array}{cccccc}1& 0& 0& 0& p_z& {-p}_y\\ 0& 1& 0& {-p}_z& 0& p_x\\ 0& 0& 1& p_y& {-p}_x& 0\end{array}\right)\left(\begin{array}{c}{v}_1\\ v_2\\ v_3\\ w_x\\ w_y\\ w_z\end{array}\right)$

对于每个点，要求解的未知参数即为六维变换参数 x=(v_l，v₂，v₃,w_x,w_y,w_z)^T。

步骤S104：对所有变换参数进行拼接，并根据拼接结果建立能量函数， 其中，能量函数为：X=argmin_Xα_eE_e+α_fE_f+α_nE_n,其中，E_e为拓扑约束，E_f为 特征约束，E_n为最近点约束，α_e、α_f、α_n分别为E_e、E_f和E_n的权重系数。

具体地，将所有点的变换参数x拼接起来，组成X。X即为能使如下能量函 数达到最小值的解：X=argmin_Xα_eE_e+α_fE_f+α_nE_n

其中，E_e为拓扑约束，E_f为特征约束，E_n为最近点约束，α_e、α_f、α_n分别 为他们各自的权重系数。

其中，$E_e={\Sigma }_{c=1}^{N_f}{\Sigma }_{i=1}^{N_c}{\Sigma }_{j\in N\left(i\right)}{\left|\right|x_i-x_j\left|\right|}^2,$

拓扑约束E_e保证每帧的点云中的每一点与其相邻的点的变换参数x_i与x_j之 间尽可能接近，从而保持点云的原有拓扑。

其中，$E_f={\Sigma }_{i,j\in F}{\left|\right|x_i\left(p_i\right)-x_j\left(p_j\right)\left|\right|}^2,$

特征约束E_f保证对应点p_i与p_i经过运动后的位置尽可能接近。x_i(p_i)表示点 p_i在经过x_i的变换运动到的目标位置。

其中，$E_n={\Sigma }_{c=1}^{N_f}{\Sigma }_{i=1}^{N_c}{\left|\right|x_i\left(p_i\right)-x_{\mathrm{nn}\left(i\right)}\left(p_{\mathrm{nn}\left(i\right)}\right)\left|\right|}^2,$

最近点约束E_n保证点云的精细对齐。具体操作是，对点云中的每个点p_i， 在其他帧点云中寻找一个与之位置最近的点p_nn(i)，并要求p_i与p_nn(i)经过运动后 的目标位置尽可能接近。

步骤S105：对能量函数进行求解，以根据求解结果重建非刚体的三维模 型。在本发明的实施例中，通过使用线性最小二乘方法可以快速高效的求解上 述能量函数。利用求解的X对每个点的位置进行更新。由于本发明实施例的方 法的最近点约束中使用了最近点即为对应点的假设，因此，需要迭代多次求解 才能达到最终正确位置。

根据本发明实施例的基于多深度图的非刚体三维重建方法，利用深度相机 对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度 图完成对非刚体的三维几何建模的功能。该方法需求的输入信息简单易采集， 并可得到高精度的完整三维模型。该方法求解准确鲁棒，消除了累加误差所会 带来的影响。另外，该方法简单易行，且运行速度快，拥有广阔的应用前景， 可以在普通PC机或工作站等硬件系统上实现。

另外，本发明的方法，利用深度相机扫描该物体若干视角不同姿态的深度 图像，算法可以全自动的实现扫描点云的变形、拼接、与对齐。针对传统深度 相机三维重建方法，本方法的最大优势在于可以适用于动态人体扫描或一般非 刚性物体。

本发明的进一步实施例还提供了一种基于多深度图的非刚体三维重建系 统。如图2所示，该基于多深度图的非刚体三维重建系统200，包括：深度相 机210、匹配模块220、变换模块230、拼接模块240和三维重建模块250。

其中，深度相机210用于对非刚体以不同角度和不同姿态进行深度图拍摄 以得到多个深度图。匹配模块220用于将每个深度图变换为一组三维点云，并 获取多组三维点云之间的多个匹配点对。变换模块230用于对每个匹配点进行 位置变换，并求取位置变换后的每个匹配点对应的变换参数。拼接模块240 用于对所有变换参数进行拼接，并根据拼接结果建立能量函数。三维重建模块 250用于对能量函数进行求解，以根据求解结果重建非刚体的三维模型。

根据本发明实施例的基于多深度图的非刚体三维重建系统，利用深度相机 对同一非刚性物体不同角度、不同姿态拍摄采集到的深度图，并基于上述深度 图完成对非刚体的三维几何建模的功能。该系统需求的输入信息简单易采集， 并可得到高精度的完整三维模型。该系统求解准确鲁棒，消除了累加误差所会 带来的影响。另外，该系统成本低，且运行速度快，拥有广阔的应用前景，可 以在普通PC机或工作站等硬件系统上实现。

另外，本发明的系统，利用深度相机扫描该物体若干视角不同姿态的深度 图像，算法可以全自动的实现扫描点云的变形、拼接、与对齐。针对传统深度 相机三维重建方法，本系统的最大优势在于可以适用于动态人体扫描或一般非 刚性物体。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、 “具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、 结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中， 对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具 体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适 的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解： 在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、 替换和变型，本发明的范围由权利要求及其等同限定。