基于图像的三维模型构成方法

摘要

本发明提出了一种基于图像的三维模型构成方法，该方法包括：基于图像的三维模型的表示方法：在包围物体的外球面上均匀选择合适数量的顶点，以每个顶点位置为相机的坐标，以球心位置为相机的目标点，获得三维物体在每个相机视角下的彩色图像与深度图像，通过彩色图像与深度图像，以及与之关联的相机参数来表示三维模型；基于图像的三维模型的获取方法：根据实际应用的需求确定三维模型的细节层级(LOD,level of details)，根据LOD对包围三维物体的球面进行三角划分，采用三角逼近的方法构造一个以三角形为基本形的球内接多面体，以多面体的每个顶点为相机位置，以球心为相机目标点位置，获得物体在此采样点下的深度图像与彩色图像，由深度图像、彩色图像和相机参数一起构成该物体的三维模型。

说明书

技术领域

本发明涉及三维模型的建模的技术领域，具体涉及一种基于图像的三维模型构成方法， 主要用于复杂物体三维模型的获取与表示。

背景技术

三维模型表示是图形学中的基础性工作，模型的表示方法决定了模型的绘制和处理方 法。在图形学中已经开发出多种三维模型表示的方法，针对具体问题而言，这些方法各有优 劣。大致可以将这些表示方法分为三类：几何表示、点云表示和混合表示。几何表示即用基 本的几何体来表示物体的表面或是物体实体，点云表示即通过对物体表面进行采样得到表示 物体表面的点云数据来表示物体，混合表示将这两种方法相结合，在一个模型中既有几何表 示的部分，也有点云表示的部分。

几何表示：

几何表示是模型表示中最常用的一种方式。包含有多边形、样条、实体几何、过程建模 和隐函数曲面等多种方式。现就这些方式的特点描述如下：

多边形表示即使用一组包围对象内部的表面多边形表示物体，多边形表示能简化并加速 对象的表面绘制和显示。样条曲线指由多项式曲线段连接而成的曲线，在每段的边界处满足 特定的连续性条件，样条曲线是可控的曲线，在设计中运用点、线段的空间位置不同而得到 不同的效果，样条曲面（spline surface）可以使用两组正交样条曲线进行描述。实体建模是 使用集合操作来组合两个三维对象，通过两个指定对象间的并、交或差等操作生成一个新对 象，在构造实体时，选择两个或多个基本图元，然后制定一个操作（并、交或差）就可创建 一个新对象。对于不规则或粗糙的自然景物，通常使用分形几何方法（fractal-geometry  method）来描述，这种方式属于过程建模，通过对一个空间区域内各点重复使用指定的变换 函数，可以生成一个分形对象。

点云表示：

随着三维扫描设备成本的不断降低，对三维物体直接建模也越来越常见。这种建模利用 三维扫描仪扫描得到物体表面的数据（如形状和表面颜色等），用这种数据表示物体，在图 形学中称为物体的点云表示。点云绘制概念简单，处理方便，但对图形硬件的像素填充率要 求较高，同时需要解决绘制时的空洞和走样等，而且离真实感绘制还有一定距离。在地理信 息系统（geographic information system，GIS）中点云是地表数字进化模型的来源之一，点云 也被用来产生城市环境的三维模型。

混合表示：

混合表示是将基于几何表示和点云表示相结合的一种综合表示方法。这种方法吸取了两 者的优点，通常的做法有两种：一是用点云表示模型外部构造，而用几何表示作为模型的内 部构造。二是根据视点与模型的距离来选择使用的模型：当视点距离模型较远时选择点云模 型以加速模型绘制，当视点与模型距离近时选择几何模型来表达模型的细节。通常以点云构 造的模型作为输入数据，在计算机内部转换为几何表示的内部数据（或几何数据库），同时 也保留了点云构造模型的数据。这样，二者的信息互补，并确保几何模型信息的完整性和精 确性。

现有的三维模型的建模方法存在如下缺点：在几何表示中，多边形表示是最常见的方法， 这种方法需要专业人员在三维建模软件中进行建模，建模方法时间长，随着建模对象复杂度 增加建模会变得越来越困难，后期的真实感渲染将会消耗大量时间。样条适合用于设计曲线 和曲面的形状，以及图形数字化和指定场景中对象的动画路径或照相机位置，这种方法也仅 适合于简单物体的建模。分形方法适合描述树、海岸线等自然景物，但要求形状变化符合一 定规律，并对分形的数学过程要有透彻的了解。点云表示可以对复杂模型进行精确的描述， 但预处理过程复杂，点云绘制对图形硬件的像素填充率要求较高，绘制效果的逼真性不够好， 点云模型表示三维对象常常需要利用原始采样点插值逼近原模型细节，而且对于物体中大的 平面表示效率较低。混合方法综合了几何表示和点云表示的优点，能够根据实际情况自动选 择模型的表示方式，但是这种方法需要对模型进行预处理，这种处理增加了时间消耗。

发明内容

针对现有技术的缺点，本发明解决其技术问题所采用的技术方案是：一种基于图像的三 维模型构成方法，其包含以下步骤:

（1）基于图像的三维模型的表示方法：

具体在包围物体的外球面上均匀选择合适数量的顶点，以每个顶点位置为相机的坐标， 以球心位置为相机的目标点，获得三维物体在每个相机视角下的彩色图像与深度图像，通过 彩色图像与深度图像，以及与之关联的相机参数来表示三维模型；三维模型M用一个二元 组＜K,V＞表示，其中K是一单纯复形，表示了采样点的连接关系；V表示采样点的集合， V＝{v_i|i＝1,2,3...|V||}，|V|表示采样点的个数；v_i＝(c_i,d_i,p_i)表示第i个采样点， c_i和d_i分别表示第i个采样点彩色图像和深度图像，p_i表示了第i个采样点相机参数；

（2）基于图像的三维模型获取方法：

根据权利要求1，对包围三维物体的球面，采用三角逼近的方法构造一个以三角形为基 本形的球内接多面体，以多面体的每个顶点位置为相机坐标位置，以球心为相机的目标点位 置，获得三维物体在每个相机视角下的彩色图像与深度图像，由深度图像、彩色图像，以及 与之关联的相机参数一起构成该物体的三维模型。

其中，基于图像的三维模型的表示方法中，采样点图像中的每一个像素根据深度值和相 机参数能够映射到三维空间中的一个点，图像信息和相机参数信息相结合实质上等价于物体 表面顶点集合的位置信息，不同采样点的图像与相机参数一起描述了物体的三维特征。

其中，引入LOD(Level of Details)的概念，根据实际应用对于模型细节的要求，确定球 面三角逼近的层级，从而获取具有不同层次细节和采样点数量的模型。

与传统方法相比，此发明所提出的基于图像的复杂三维模型构成方法的优点如下：

1.在建模的过程中引入了LOD概念，能够根据应用需求确定模型的细节等级，减少不 必要的建模开销。

2.有两种获取模型的方式，既可以采用实际相机拍摄的方法直接获取模型，又可以通过 软件渲染的方式将已有的模型转化为本发明所提出的模型表示形式。

3.本发明提出了一种稳定的三维模型建模方法，建模的复杂程度与被建模物体的几何外 观无关，尤其适合于复杂物体的建模。

附图说明

图1为本发明所采用的流程图；

图2为本发明中三维模型数据的组织结构；

图3为不同LOD分级采样点的数量与位置；

图4为物理坐标到像素坐标的映射过程与其逆过程；

图5为使用实际相机采集到的彩色图像（图中是该彩色图像的灰度图示意图）示意图。

图6为使用实际相机采集到的深度图像；

图7为待求视角与最近的三个采样点的位置关系；

图8为使用三维软件中的虚拟相机采集到的彩色图像（图中是该彩色图像的灰度图示意 图）和深度图像示意图。

具体实施方式

下面结合附图以及具体实施例进一步说明本发明。

一种基于图像的复杂三维模型的构成方法，将物体三维模型由三维空间映射到由相机视 角参数和相机视角下的深度图、彩色图组成的高维空间，用高维空间中的若干个采样点的组 合来表示物体。首先，根据实际应用对于模型细节的要求进行LOD分级，根据LOD确定用 于物体建模的采样点数量；其次，每个采样点对应一个相机视角及通过该视角获取的物体的 深度图像和彩色图像，相机视角由相机位置、相机目标位置、相机焦距等相机参数组成；再 者，根据每个采样点相机视角的参数和深度信息，可将每个彩色图像中的像素映射到三维空 间中，在给定相机位置、目标位置和参数的情况下，通过将采样点图像中的像素从三维空间 映射到这个相机视角下的方法，即可得到在这个相机视角下的图像，这样实现了由相机视角 参数和彩色图像、深度图像表示物体的三维模型的目的。具体实施如下：

1.基于图像的三维模型获取方法

1.1进行LOD分级

不同的实际应用对于模型的细节有着不同的要求。在本发明中引入了LOD的概念。根 据采样点的个数分为5个层级，从Level1（层级1）到Level5（层级5）分别有12、42、92、 162、252个采样点，考虑到物体几何外观的复杂性，采样点越多，物体的细节被采集到的可 能性越大，最终的模型精细程度越高，但是建模的空间复杂度与时间复杂度越大。Level1到 Level5采样点的分布如图2所示。

1.2确定采样点坐标

在采样点数量一定的情况下，为了保证尽可能的不遗漏细节信息，本发明将采样点均匀 的分布在包围物体的球体的表面上，在采样点上架设相机并获得深度图像与彩色图像。设球 面上有n个均匀分布的采样点V，球心坐标为坐标系原点，第i个采样点v_i的球面坐标为 pc_i＝(r,θ_i,φ_i)，则有以下关系：

将球面坐标转换为直角坐标pc_i＝(x_i,y_i,z_i)，则

将公式(1)与公式(2)联立得：

$\left(\begin{array}{c}{x}_i=r(1-\frac{2i-1}{n})\cos \left(\arcsin (1-\frac{2i-1}{n})\sqrt{\mathrm{n\pi }}\right)\\ y_i=r(1-\frac{2i-1}{n})\sin \left(\arcsin (1-\frac{2i-1}{n})\sqrt{\mathrm{n\pi }}\right)\\ z_i=r\cos \left(\arcsin (1-\frac{2i-1}{n})\right)\end{array}\right)---\left(3\right)$

当球心坐标O＝(x₀,y₀,z₀)时，

$\left(\begin{array}{c}{x}_i=r(1-\frac{2i-1}{n})\cos \left(\arcsin (1-\frac{2i-1}{n})\sqrt{\mathrm{n\pi }}\right)+x_0\\ y_i=r(1-\frac{2i-1}{n})\sin \left(\arcsin (1-\frac{2i-1}{n})\sqrt{\mathrm{n\pi }}\right)+y_0\\ z_i=r\cos \left(\arcsin (1-\frac{2i-1}{n})\right)+z_0\end{array}\right)---\left(4\right)$

1.3采集彩色图像与深度图像

在本发明中，以采样点在球面上的位置为相机位置坐标，相机的目标位置为球心，获得 的彩色图像与深度图像按照像素坐标一一对应。本发明所提出的三维模型获取方法有两种实 现途径。一种途径是使用实际相机拍摄获得彩色图像与深度图像，使用此方法可直接获得被 建模物体的三维模型；另外一种途径是使用虚拟相机绘制彩色图像与深度图像。例如，使用 3DMAX导入已有的三维模型，标定虚拟采样点的位置，设置虚拟相机的参数，获得模型在 此虚拟采样点下的彩色图像与彩色图像，使用此方法可以将已有的模型转换成本发明所提出 的模型形式。

2.基于图像的三维模型表示方法

本发明使用彩色图像与深度图像，以及与之关联的相机参数来表示三维模型。三维模型 M用一个二元组＜K,V＞表示，其中K是一单纯复形，表示了采样点的连接关系；V表示 采样点的集合，V＝{v_i|i＝1,2...|V||}，|V|表示采样点的个数；v_i＝(c_i,d_i,p_i)表示 第i个采样点，c_i和d_i分别表示第i个采样点彩色图像和深度图像， p_i＝(pc_i,po_i,asp_i,fov_i,zn_i,zf_i)表示了第i个采样点相机参数，pc_i表示相机位置，po_i表 示相机目标位置，asp_i表示相机视野的纵横比，fov_i表示相机的视角的广度，zn_i与zf_i相机 有效深度的最小值与最大值。

2.1进行三角划分

对包围三维物体的球面，采用三角形逼近球面的方法计算位于球面上的三角形顶点位 置，以三角形顶点位置为采样点相机坐标位置，以球心为采样点相机的目标点位置，获取位 于采样点相机视角下的深度图和彩色图，每个采样点由相机视角参数、深度图像、彩色图像 三部分组成。按照三角划分的结果将采样点分组，一个三角面片三个顶点所代表的采样点属 于同一组。本发明所提出的三维模型数据的组织形式如图3所示。

2.2计算映射关系

本发明所采集到的深度信息存储在深度图中。深度图像中的像素值表征的是被建模物体 表面上的点在相机空间坐标系中的z坐标，相机空间坐标系以相机位置为原点，从相机位置 到相机目标点位置连线的方向为z轴正向，再根据相机正方向(up)，按照右手系规则确定y 轴和x轴。在本发明中，深度图有8bits/像素与16bits/像素两种形式，每一像素的比特长度 越大，深度距离的表示就越精确，深度图像的存储开销越大。以8bit/像素为例说明像素值与 深度距离之间的映射关系。设深度值的有效距离为Z_min到Z_max，像素值为0时对应的深度值 为Z_max，像素值为255时对应的深度值为Z_min，则像素值p与深度距离depth之间的映射关系 如下：

$\mathrm{depth}=z_{\max }+(z_{\min }-z_{\max })\times \frac{p}{255},0\le p\le 255---\left(5\right)$

为了从深度图中区分背景与被建模物体，将深度Z_max设置为大于但接近于被建模物体表 面上的点z坐标的最大值，这样就可以通过p的值为0判断出背景像素。

在采样点所获得的二维图像中的每个像素都可以映射到三维空间中的某个点，这种映射 关系如下：

$\left(\begin{array}{c}\overrightarrow{\mathrm{pixel}}=M·\overrightarrow{\mathrm{object}}\\ \overrightarrow{\mathrm{object}}=M^{-1}·\overrightarrow{\mathrm{pixel}}\\ \overrightarrow{\mathrm{pixel}}=(i,j,1,\mathrm{depth})\\ \overrightarrow{\mathrm{object}}=(x,y,z,\mathrm{depth})\end{array}\right)---\left(\text{6}\right)$

其中表征二维图像中的像素，表征三维空间中的点，i、j是像素坐标，x、y、 z是三维空间坐标，depth是深度图像的像素值。M是可逆矩阵，由相机参数决定。M的求 解过程如图4所示。物体的三维坐标首先经过模型视图变换从世界坐标系转换到相机空间坐 标系，再经过投影变换转化为像素坐标，即：

M＝mProject·mLookAt      (7)

将公式(6)与公式(7)联立得：

$\left(\begin{array}{c}\overrightarrow{\mathrm{pixel}}=\mathrm{mProject}·\mathrm{mLookAt}·\overrightarrow{\mathrm{object}}\\ \overrightarrow{\mathrm{object}}={(\mathrm{mProject}·\mathrm{mLookAt})}^{-1}·\overrightarrow{\mathrm{pixel}}\end{array}\right)---\left(8\right)$

其中，mLookAt是模型视图矩阵，实现从世界坐标系到相机空间坐标系的变换，此矩阵 由相机的位置坐标(pc)、目标点坐标(po)以及正方向坐标(up)决定，具体的形式如下：

$\left(\begin{array}{c}\mathrm{mLookAt}=\begin{array}{}\end{array}\left(\begin{array}{cccc}\overrightarrow{\mathrm{xaxis}}.x& \overrightarrow{\mathrm{yaxis}}.x& \overrightarrow{\mathrm{zaxis}}.x& 0\\ \overrightarrow{\mathrm{xaxis}}.y& \overrightarrow{\mathrm{yaxis}}.y& \overrightarrow{\mathrm{zaxis}}.y& 0\\ \overrightarrow{\mathrm{xaxis}}.z& \overrightarrow{\mathrm{yaxis}}.z& \overrightarrow{\mathrm{zaxis}}.z& 0\\ -\overrightarrow{\mathrm{xaxis}}.\mathrm{po}& -\overrightarrow{\mathrm{yaxis}}.\mathrm{po}& -\overrightarrow{\mathrm{zaxis}}.\mathrm{po}& 1\end{array}\right)\\ \left(\begin{array}{c}\overrightarrow{\mathrm{zaxis}}=\frac{\mathrm{pc}-\mathrm{po}}{|\mathrm{pc}-\mathrm{po}|}\\ \overrightarrow{\mathrm{xaxis}}=\frac{\mathrm{up}\times \overrightarrow{\mathrm{zaxis}}}{|\mathrm{up}\times \overrightarrow{\mathrm{zaxis}}|}\\ \overrightarrow{\mathrm{yaxis}}=\overrightarrow{\mathrm{zaxis}}\times \overrightarrow{\mathrm{xaxis}}\end{array}\right)\end{array}\right)---\left(9\right)$

mProject是投影矩阵，此矩阵由相机的视角广度(fov)纵横比(asp)最近深度(zn)与最远 深度(zf)决定，具体的形式如下：

$\left(\begin{array}{c}\mathrm{mProject}=\left(\begin{array}{cccc}\mathrm{xScale}& 0& 0& 0\\ 0& \mathrm{yScale}& 0& 0\\ 0& 0& \frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 0\\ 0& 0& -\mathrm{zn}*\frac{\mathrm{zf}}{\mathrm{zf}-\mathrm{zn}}& 1\end{array}\right)\\ \left(\begin{array}{c}\mathrm{yScale}=\cot \left(\frac{\mathrm{fov}}{2}\right)\\ \mathrm{xScale}=\frac{\mathrm{yScale}}{\mathrm{asp}}\end{array}\right)\end{array}\right)---\left(10\right)$

因此，通过公式(6)，二维像素坐标与深度值可以映射到三维空间中的点，各个采样点下 的图像实质上等价于三维物体表面的顶点集合，图像与采样点相机参数共同表示物体的三维 模型。

2.3三维模型绘制

本发明提出的三维模型建模方法，其一个重要的目的在于能实现复杂三维模型的快速绘 制，并取得逼真的绘制效果，满足实时交互的应用需求。在给定一个视角参数的情况下，根 据视角参数确定合适的采样点，由采样点图像合成该视角下的图像。

假设待求视角的参数为p_v＝(pc_v,po_v,asp_v,fov_v,zn_v,zf_v)，则待求视角的相机位置pc_v与采样点所在球面的球心的连线，必定与球的内接多面体相交于一点，该点肯定落在某个三 角形的内部，且此三角形的三个顶点是离待求视角最近的三个采样点，位置关系如图7所示。 三个离待求视角最近的采样点为v'₁、v'₂、v'₃。其中，每个采样点下的彩色图像深度图 像相机参数以及待求视角的参数p_v均已知。

$\left(\begin{array}{c}{p}_v=({\mathrm{pc}}_v,{\mathrm{po}}_v,{\mathrm{asp}}_v,{\mathrm{fov}}_v,{\mathrm{zn}}_v,{\mathrm{zf}}_v)\\ p_{v_i^{,}}=({\mathrm{pc}}_{v_i^{,}},{\mathrm{po}}_{v_i^{,}},{\mathrm{asp}}_{v_i^{,}},{\mathrm{fov}}_{v_i^{,}},{\mathrm{zn}}_{v_i^{,}},{\mathrm{zf}}_{v_i^{,}})\end{array}\right)---\left(11\right)$

由公式(6)可知，采样点的图像像素可以映射到物体三维空间中的某个点，同样的，已知 待求视角的参数，利用公式(6)，可以将三维空间中的点映射到待求视角下的图像当中。即： 采样点的图像像素可以映射到待求视角图像中的像素。

$c_v(i,j)=f(c_{v_i^{,}}(i^{,},j^{,}),p_v,p_{v_i^{,}}),i=\mathrm{1,2,3}...---\left(12\right)$

$d_v(i,j)=f(d_{v_i^{,}}(i^{,},j^{,}),p_v,p_{v_i^{,}}),i=\mathrm{1,2,3}...---\left(13\right)$

其中，(i,j)是待求视角彩色图的像素坐标，(i',j')是采样点中彩色图像的像素坐标，c_v(i,j)、 对应于建模物体表面上的同一个点。结合公式(6)、(8)，待 求视角的深度图像像素与采样点的深度图像像素有如下的映射关系：

$\left(\begin{array}{c}\overrightarrow{{\mathrm{pixel}}_v}={\mathrm{mProject}}_v·{\mathrm{mLookAt}}_v·{({\mathrm{mProject}}_{v_i^{,}}·{\mathrm{mLookAt}}_{v_i^{,}})}^{-1}·\overrightarrow{{\mathrm{pixel}}_{v_i^{,}}}\\ \overrightarrow{{\mathrm{pixel}}_v}=(i,j,c_v(i,j))\\ \overrightarrow{{\mathrm{pixel}}_{v_i^{,}}}=(i^{,},j^{,},c_{v_i^{,}}(i^{,},j^{,}))\end{array}\right)---\left(14\right)$

其中mLookAt_v与mProject_v是待求视角的模型视图矩阵与投影矩阵，是采样点相机的模型视图矩阵与投影矩阵，这四个矩阵可以根据公式(9)与公式 (10)分别由p_v与获得。由于同一个采样点的彩色图像与深度图像按照像素坐标一一对应， 因此d_v(i,j)、有着与公式(12)一样的对应关系。即：待求视角的图像可以由采样 点的图像合成，三维模型就以待求视角下图像的形式表现出来。

本发明所提出的基于图像的复杂三维模型的建模方法有两种实现途径。第一种实现途径 是使用实际相机，首先在采样点架设彩色相机获得物体在采样点下的彩色图像，然后再使用 深度相机获得深度图像，使用这种方法可以由被建模物体直接获得三维模型；第二种实现途 径是使用虚拟相机，首先将已有的三维模型导入图形绘制软件，如3DMAX，在软件当中设 定虚拟相机的位置与参数，通过渲染的方法获取以图片形式存放的三维模型，使用这种方法 可以把已有的三维模型转化为彩色图像与深度图像。以下以实际相机为例说明使用本发明所 提出的方法对物体进行建模的过程：

1.确定LOD等级。在实例中以青铜樽作为建模对象。LOD的等级设置为level4，共有 162个采样点。采样点均匀的分布在包围物体的球面上。使用两个步进电机控制相机水平与 竖直方向的移动，确定相机位置，并使相机始终指向球心。

2.确定采样点坐标，并设置相机参数。将r=430.0,n=162带入公式(3)得到所有采样点的 坐标，选择其中三个采样点v₁、v₂、v₃，其中：

${\mathrm{pc}}_{v_1}=(\mathrm{36.3109,413.6335},-111.7535)$

${\mathrm{pc}}_{v_2}=(-\mathrm{256.7944,290.0818,186.5721})$

${\mathrm{pc}}_{v_3}=\left(\mathrm{61.7759,99.9554,413.6335}\right)$

所有采样相机的参数设置如下表所示：

po_ifov_iasp_izn_izf_i(0,0,0) 47' 1.333 350 550

3.拍摄采样点的深度图像与彩色图像。控制两部步进电机旋转到步骤2所求得的采样点 位置，先使用彩色相机获得彩色图像，再使用深度相机获得深度图像，图5与图6分别是其 中三个采样点的深度图像与彩色图像。

图8为以本发明所提出的三维模型建模方法为基础合成的虚拟视角的彩色图像与深度图 像。其中第一行与第三行为合成的彩色图像，第二行与第四行是分别与第一行和第三行对应 的深度图像。

本发明未详细公开的部分属于本领域的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理 解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员 来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显 而易见的，一切利用本发明构思的发明创造均在保护之列。