一种基于贝叶斯和面元模型的增量三维重建方法

摘要

本发明公开一种基于贝叶斯和面元模型的增量三维重建方法，包括以下步骤：步骤一，得到每一视角对应二维图像的投影矩阵；步骤二，对所有的二维图像建立一个球模型，采样一组关键视角对应的二维图像；步骤三，对所述关键视角对应的二维图像进行基于面元的三维重建得到面元云；步骤四，在球模型上定位一个新视角对应的二维图像并对球模型进行更新；步骤五，从面元云中选取一个面元子集；步骤六，比较面元子集中局部三维表面面元密度与面元云的三维表面面元密度平均值；步骤七，通过贝叶斯进行建模，从而实现增量三维重建。本发明实现增量重建可用于将来实时的三维重建和多分辨率重建，可以在任何时间点对已有的相关三维模型进行更新。

说明书

技术领域

本发明涉及计算机视觉三维重建领域，具体是一种基于贝叶斯和面元模型的增量 三维重建方法，能够增量的用二维图像更新三维模型，从而最终生成准确的三维模型。

背景技术

随着计算机技术的发展，计算机已经涉及到与人类自然交互和智能的应用中来， 计算机视觉因此应遇而生。场景感知对计算机是一项巨大挑战。场景感知的基础是获 取场景的三维信息，进而可以用来实现识别和分析。在目前的场景感知技术中，早起 的技术主要偏向于用三维信息获取工具直接获取三维场景，但是由于获取工具像扫描 仪这些只能处理小型物体(对应于大型场景)，并且价格昂贵，所以不能广泛的应用开 来。在所有的环境感知工具中，摄像机和照相机以价格低廉被大量利用，但是如何让 摄像机像人类眼睛一样能从感知数据中获取三维场景信息，是计算机走向智能的必经 之路。

目前三维重建主要建立在将所有的图片信息综合实现三维信息获取，然而这些算 法实际应用受限，因为1)现实中的数据来源大多都是异步的、多样的。像网上的图片 大多来自不同的摄像机拍的，没有任何规律，并且光照条件不一，并且图片上传更新 都是异步的，如何从新来的图片中挖掘信息更新已经存在的三维模型(以前重建的或 者扫描的)是一个急需解决的问题。2)不能实现实时应用。在许多环境下，像实时监 控，机器人的应用中，需要对实时环境数据进行及时综合和分析。

如何实现增量式重建必然是下一个三维重建方面的挑战。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于贝 叶斯和面元模型的增量三维重建方法。

为弥补现有技术的不足，本发明公开了一种基于贝叶斯和面元模型的三维增量重 建方法，包含以下步骤：

步骤一，对输入的一组不同视角下的二维图像进行相机参数标定，得到每一视角 对应二维图像的投影矩阵；

步骤二，对所有的二维图像建立球模型，采样一组关键视角对应的二维图像，并 三角化所采样的二维图像对应的三维点；所述三维点即一个视角对应的二维图像在球 模型上的对应点；

步骤三，对所述关键视角对应的二维图像进行基于面元的三维重建得到面元云 S_initial；

步骤四，在所述球模型上定位新视角对应的二维图像i_new并对球模型进行更新；

步骤五，根据二维图像i_new在球模型上的位置，从面元云S_initial中选取一个面元子 集P_update；

步骤六，比较面元子集P_update中局部三维表面面元密度与面元云S_initial的三维表面 面元密度平均值，使用合成少数采样方法扩展面元子集P_update；

步骤七，通过贝叶斯进行建模，根据最大后验法对面元子集P_update进行更新，从 而实现增量三维重建。

本发明步骤一中，采用稀疏束调整法对二维图像进行相机参数标定，得到每一个 视角下的二维图像对应的投影矩阵P，

$P=\left(\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right),$

其中投影矩阵P是3*4的实矩阵。其中稀疏束调整法详见Manolis I.A.Lourakis， Antonis A.Argyros.“SBA：A software package for generic sparse bundle adjustment“.TOMS， vol.36，no.1，pp.1-30，2009。

本发明步骤二中，建立球模型为：对于任意一个视角对应的二维图像，令其在球 模型上对应的点的坐标为光轴向量N的归一化向量，其中光轴向量 N＝(p₃₁ p₃₂ p₃₃)^T，p₃₁，p₃₂，p₃₃分别对应于其对应投影矩阵P第三行的前三列 元素；采样一组关键视角对应的二维图像的方法为：在区间[0，1]随机采样三个值作为 基准点(v₁，v₂，v₃)，在球模型上寻找与所述基准点点欧氏距离最近的点作为一次采样得到 的三维点，所述三维点对应的二维图形成为关键视角对应的二维图像；通过Delaunay 三角剖分算法将球模型上关键视角对应的二维图像对应的三维点进行三角化。

本发明步骤三中，采用基于面元模型的三维重建方法对步骤二得到的关键视角对 应的二维图像重建得到面元云S_initial，重建方法参见Y.Furukawa and J.Ponce.“Accurate， dense，and robust multiview stereopsis”.PAMI，vol.32，no.8，pp.1362-1376，2010。在面元模型 中，三维表面是由一系列面元覆盖，每一个局部切平面为一个面元，在模型中用规则 的三维矩形来表示。对其中一个面元p，其包含有三个属性：c(p)，n(p)，R(p)。c(p)为面元p 中心坐标；n(p)为法向量，方向指向观察点，用于衡量表面局部曲率；R(p)是面元p对 应的一个二维图像，其具有如下属性：二维图像R(p)是图像集合V(p)中的一张二维图 像，V(p)是一个面元p决定的二维图像集合，所述集合中的每张二维图像都能无遮挡地 完全显示面元p的投影；二维图像R(p)的对应的图像平面与面元p的切平面平行。三 维矩形的两个边的方向尽量做到其中一条边的方向尽量与摄像机坐标系中的x轴方向 平行，矩形拓扑大小是其在R(p)中的投影不超过按轴排列的u*u像素，在本发明中设 为5*5。

本发明步骤四中通过如下公式确定输入的新视角对应的二维图像i_new在球模型上 对应的三角形T：

$T\leftarrow \underset{T}{\arg \max }{\Sigma }_{v\in T}\left|x_{i_{\mathrm{new}}}^v\right|,$

其中v为球模型当中一个三角形T的一个顶点，是二维图像i_new与顶点v对应 的二维图像通过尺度不变特征变换得到匹配点集合。即：T是一个与二维图像i_new拥有 最大匹配量的三角形；

将三角形T的质心坐标归一化后作为二维图像i_new在球模型上的三维点坐标，记为 点(x，y，z)，将点(x，y，z)与三角形T的三个顶点两两连接，得到更新后的球模型。

本发明步骤五中，从初始化面元集合S_initial中选取与二维图像i_new相关性最高的面 元子集。这种相关性体现在：二维图像i_new中可以看见这个面元并且面元切平面与二维 图像i_new的图像平面夹角相对较小。面元子集P_update按照如下公式得到：

$P_{\mathrm{update}}=\underset{v\in T}{\cup }\left\{p\right|p\in S_{\mathrm{initial}},\mathrm{visR}\left(p\right)\}.$

本发明步骤六中，对面元子集P_update集合进行扩展，扩展步骤充分利用二维图像 i_new的像素信息和三维模型的几何信息，并且能够让三维表面面元分布尽量均匀，做到 充分利用新输入图像的信息在低分辨率的三维表面区域扩展出一些新的面元。扩展步 骤如下：对面元云S_initial中的任何一个面元p计算局部密度，用面元p的邻居面元集合 N(p)中的邻居面元数量D_p等价代替其局部密度，邻居面元数量D_p的计算方式如下：

N(p)＝{p′|p′∈S_initial，|(c(p)-c(p′))·n(p)|+|(c(p)-c(p′))·n(p′)|＜ρ}，

D_p＝|N(p)|，

其中ρ为阀值；ρ通过计算面元p和面元p′的中心对应到二维图像R(p)中的像素个数 β的深度距离自动决定，在本发明是其为面元p和面元p′的中心对应到二维图像R(p) 中的2个像素的深度距离乘以2。

通过对所有在面元云S_initial中的面元的局部密度D_p求算术平均计算面元云S_initial的 三维表面面元密度平均值D_g；对面元子集P_update中的任一面元p，如果局部密度D_p小 于二分之一的三维表面面元密度平均值D_g，采用合成少数过采样方法在面元p和邻居 面元p之间扩展出新面元k。其中合成少数过采样方法详见Nitesh V.Chawla，Kevin  W.Bowyer，Lawrence O.Hall and W.Philip Kegelmeyer.“SMOTE：Synthetic Minority  Over-sampling Technique”.JAIR，vol.16，pp.321-357，2002.

本发明步骤七中，通过下式对面元子集P_update更新实现贝叶斯增量三维建模：

$p\left(S\right|i_{\mathrm{new}})=\frac{1}{Z}p\left(i_{\mathrm{new}}\right|S)p\left(S\right),S\in \Omega ,$

其中S为真实的三维模型，i_new是步骤四中的二维图像，p(S|i_new)是三维模型S 在二维图像i_new下的后验概率，Z为归一化常数，Ω为三维模型的概率空间，将概率 空间Ω降维到步骤五中的面元子集P_update上。概率p(S)为三维模型的平滑先验； p(i_new|S)是二维图像i_new的似然概率，用于衡量三维模型S和二维图像i_new的似然程度， 表示为：

p(i_new|S)∝exp(-ηE_p)，

$E_p=\frac{1}{\left|S\right|}\underset{p\in S}{\Sigma }\frac{1}{\left|V\left(p\right)\right|-1}\underset{i\in V\left(p\right)/i_{\mathrm{new}}}{\Sigma }h(p,i_{\mathrm{new}},i),$

其中E_p为能量函数，用于衡量三维模型S中任一面元p在其可见二维图像中的准 确性，任一面元的法向量的变化和面元拓扑信息的变化都会在在图像上有其间接的测 量反映。所述准确性由任一面元p在二维图像i_new和二维图像i中的投影之间的相关性 h(p，i_new，i)决定，其中i是图像集合V(p)中的二维图像，η为控制变量，h计算步骤如下： 在面元p上覆盖一个u*u的网格，本发明中网格大小为5*5；通过双线性插值计算网 格中每一个点在二维图像i_new和二维图像i中的投影；用1减去网格在两幅二维图像中 投影的归一化正相关量。由此可见，完全准确时，任一两图片之间的h为0，最后E_p也为0达到最小，但是由于测量误差和面元p的恢复是一个逆向问题，所以E_p总是大 于0，当E_p比较小时，说明在现有的测量环境下，面元p越准确。η为控制变量，本 发明中为0.7。

先验p(S)衡量三维表面的平滑程度，一定程度上表现了三维表面的几何信息。先 验通过能量函数E₁和能量函数E₂表示为：

p(S)∝exp(-{λE₁+ζE₂})，

其中能量函数E₁用于衡量三维表面的平滑性，本发明中用面元局部的曲率变化来 衡量局部的光滑性。能量函数E₂衡量面元在整个三维表面的离异程度，因为在E₁中仅 仅用法向量来表示表面的平滑程度，但是对于一些法向量之间平滑，但是坐标落在三 维表面外部的面元要有一个阀值控制，这样可以起到过滤奇异面元的目的，并且做到 真正意义上的平滑。能量函数E₁和能量函数E₂计算方法为：

$E_1=\frac{1}{\left|S\right|}\underset{p\in S}{\Sigma }\frac{1}{\left|N\left(p\right)\right|}\underset{n\in N\left(p\right)}{\Sigma }f(p,v),$

$f(p,v)=\sqrt{{(n\left(p\right)-n\left(v\right))}^T(n\left(p\right)-n\left(v\right))},$

$E_2=\frac{1}{\left|S\right|}\underset{p\in S}{\Sigma }\frac{1}{N\left(p\right)}\underset{v\in N\left(p\right)}{\Sigma }d(p,v),$

d(p，v)＝|n(p)·(c(v)-c(p))|，

其中f(p，n)为面元p和面元n法向量的之间的欧氏距离，d(p，v)是面元p和面元v 在法向量n(p)上的绝对值距离，λ，ζ是两控制参数，本发明中分别为0.3，0.2。

最大化后验p(S|i_new)得到最大似然三维模型，即对于P_update中的面元参数进行更 新；所述参数即为在概率空间Ω(P_update)中每一个面元的三维坐标和法向量。最终得 到一个收敛的解，相当于：

c(p)，n(p)←arg max(exp(-{λE₁+ζE₂+ηE_p})，p∈P_update。

取负对数操作，其为：c(p)，n(p)←arg min(λE₁+ζ₂+ηE_p)，p∈P_update，通过对面 元集合P_update的更新最终得到更新后的面元云。

本发明中采用共轭梯度进行优化问题求解。在本发明中为了进一步降低维数，在 优化问题中，面元p中心坐标c(p)只在初始点和投影中心的连线上移动，这样将三维 坐标空间降低到了一维，降低了自由度；同时法向量n(p)用两个欧拉角近似代替。所 以每一个面元p仅用三个自由度建模，增加了优化速率。当输入新的二维图像时，本 发明又返回到步骤四执行。

有益效果：本发明通过贝叶斯框架有效的整合了已重建出的三维几何信息和新加 入的二维图像信息，突破了现有的三维重建算法只注重图像信息，并且不能实现增量 重建的漏洞，为将来的实时、异步重建等现实中的三维应用开了一个好头，为计算机 实现智能做出贡献。本发明可以作为开发一个系统的核心技术，在无人汽车驾驶、三 维试衣间、智能家居、大规模城市建模中扮演从摄像机传递数据到三维模型的更新过 程，以便下一步分析，应用智能提供可靠的数据。由于对图像数据来源的要求低，所 以在很大程度上增加了鲁棒性。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/ 或其他方面的优点将会变得更加清楚。

图1为本发明的球模型示意图。

图2为本发明面元模型建模三维表面的示意图。

图3为本发明扩展新的面元的示意图。

图4为本发明与E₁先验相关的示意图。

图5为本发明与E₂相关的示意图。

图6a1～图6c5是本发明三个实施例数据集下的实验结果示意图。

图7为本发明执行流程示意图

具体实施方式

如图7所示，本发明包含如下步骤：步骤一，对输入的一组不同视角下的二维图 像进行相机参数标定，得到每一视角对应二维图像的投影矩阵；步骤二，对所有的二 维图像建立一个球模型，采样一组关键视角对应的二维图像，并三角化所采样的二维 图像对应的三维点；所述三维点即一个视角对应的二维图像在球模型上的对应点；步 骤三，对所述关键视角对应的二维图像进行基于面元的三维重建得到面元云S_initial；步 骤四，在球模型上定位一个新视角对应的二维图像i_new并对球模型进行更新；步骤五， 根据二维图像i_new在球模型上的位置，从面元云S_initial中选取一个面元子集P_update；步 骤六，比较面元子集P_update中局部三维表面面元密度与面元云S_initial的三维表面面元密 度平均值，使用合成少数采样方法扩展面元子集P_update；步骤七，通过贝叶斯进行建模， 根据最大后验法对面元子集P_update进行更新，从而实现增量三维重建。

下面结合附图对本发明做详细的介绍。

步骤一中，采用稀疏束调整法对二维图像进行相机参数标定，得到每一个视角下的 二维图像对应的投影矩阵P，

$P=\left(\begin{array}{cccc}{p}_{11}& p_{12}& p_{13}& p_{14}\\ p_{21}& p_{22}& p_{23}& p_{24}\\ p_{31}& p_{32}& p_{33}& p_{34}\end{array}\right),$

其中投影矩阵P是3*4的实矩阵。其中稀疏束调整法详见Manolis I.A.Lourakis，Antonis  A.Argyros.“SBA：A software package for generic sparse bundle adjustment“.TOMS，vol.36， no.1，pp.1-30，2009。

步骤二中，建立球模型为：对于任意一个视角对应的二维图像，令其在球模型上 对应的点的坐标为光轴向量N的归一化向量，其中光轴向量N＝(p₃₁ p₃₂ p₃₃)^T， p₃₁，p₃₂，p₃₃分别对应于其对应投影矩阵P第三行的前三列元素；采样一组关键视角 对应的二维图像的方法为：在区间[0，1]随机采样三个值作为基准点(v_l，v₂，v₃)，在球模型 上寻找与所述基准点欧氏距离最近的点作为一次采样得到的三维点，所述三维点对应 的二维图形成为关键视角对应的二维图像；采样的三维点的数量一般是数据集大小的 三分之一；通过Delaunay三角剖分算法将球模型上关键视角对应的二维图像对应的三 维点进行三角化。图1为三角化的球模型，从图中到可以看到一个三维点代表一个二 维图像；关键视角对应的二维图像通过三角化方法形成三角形覆盖球面。

步骤三中，采用基于面元模型的三维重建方法对步骤二得到关键视角对应的图像重 建得到面元云S_initial，重建方法参见Y.Furukawa and J.Ponce.“Accurate，dense，and robust multiview stereopsis”.PAMI，vol.32，no.8，pp.1362-1376，2010。在面元模型中，三维表面近 似的以局部切平面覆盖，如图2所示，每一个局部切平面为一个面元，在模型中用规 则的三维矩形来表示。对其中一个面元p，其包含有三个属性：c(p)，n(p)，R(p)。c(p)为面元 p中心坐标；n(p)为法向量，方向指向观察点，用于衡量表面局部曲率；R(p)是面元p 对应的一个二维图像，其具有如下属性：二维图像R(p)是图像集合V(p)中的一张二维 图像，V(p)是一个面元p决定的视角图像集合，所述集合中的每张二维图像都能无遮挡 地完全显示面元p的投影；二维图像R(p)的对应的图像平面与面元p的切平面平行。 三维矩形的两个边的方向尽量做到其中一条边的方向尽量与摄像机坐标系中的x轴方 向平行，矩形拓扑大小是其在图片中的投影不超过按轴排列的u*u像素，在本发明中 设为5*5。

步骤四通过如下公式确定输入的新视角对应的二维图像i_new在球模型上对应的三角 形T：其中v为球模型当中一个三角形T的一个顶点，是二维图像i_new与顶点v对应的二维图像通过尺度不变特征变换得到匹配点集合。其实 T是一个与二维图像i_new拥有最大匹配量的三角形；将三角形T的质心坐标归一化后作 为二维图像i_new在球模型上的三维点坐标，记为点(x，y，z)，将点(x，y，z)与三角形T的 三个顶点两两连接，得到更新后的球模型。

图1中可以看到新的视角i_new和三角形的三个顶点相互连接，得到了一个更新后的 球模型。

步骤五中，从初始化面元集合S_initial中选取与二维图像i_new相关性最高的面元子集。 这种相关性体现在：二维图像i_new中可以看见这个面元并且面元切平面与二维图像i_new的图像平面夹角相对较小。面元子集P_update按照如下公式得到：

$P_{\mathrm{update}}=\underset{v\in T}{\cup }\left\{p\right|p\in S_{\mathrm{initial}},\mathrm{visR}\left(p\right)\}.$

本发明步骤六中，对面元子集P_update集合进行扩展，扩展步骤充分利用二维图像 i_new的像素信息和三维模型的几何信息，并且能够让三维表面面元分布尽量均匀，做到 充分利用图片信息在低分辨率的三维表面区域扩展出一些新的面元。扩展步骤如下： 对面元云S_initial中的任何一个面元p计算局部密度，用面元p的邻居面元集合N(p)中的 邻居面元数量D_p等价代替其局部密度，邻居面元数量D_p的计算方式如下：

N(p)＝{p′|p′∈S_initial，|(c(p)-c(p′))·n(p)|+|(c(p)-c(p′))·n(p′)|＜ρ}，

D_p＝|N(p)|，

其中ρ通过计算面元p和面元p′的中心对应到二维图像R(p)中的像素个数β的深度距 离自动决定，在本发明是其为面元p和面元p′的中心对应到二维图像R(p)中的2个像素 的深度距离乘以2；通过对所有在面元云S_initial中的面元的局部密度D_p求算术平均计算 面元云S_initial的三维表面面元密度平均值D_p；对面元子集P_update中的任一面元p，如果 局部密度D_p小于二分之一的三维表面面元密度平均值D_g，采用合成少数过采样方法 在面元p和邻居面元p之间扩展出新面元k。从图3中可以看出，p₀和p₁之间连线的 线性空间上随机新生成了一个新的面元p_new，其坐标和法向量按照p_new在线段中的位 置对p₀和p₁的一致属性加权平均得到。其中合成少数过采样方法详见Nitesh V.Chawla， Kevin W.Bowyer，Lawrence O.Hall and W.Philip Kegelmeyer.“SMOTE：Synthetic  Minority Over-sampling Technique”.JAIR，vol.16，pp.321-357，2002.。

本发明步骤七中，通过下式对更新问题进行贝叶斯建模：

$p\left(S\right|i_{\mathrm{new}})=\frac{1}{Z}p\left(i_{\mathrm{new}}\right|S)p\left(S\right),S\in \Omega ,$

其中S为真实的三维场景，i_new是步骤四中的二维图像，p(S|i_new)是三维模型S在二维 图像i_new下的后验概率，Z为归一化常数，Ω为三维模型的概率空间，我们将其降维 到一个面元子集上，即在步骤五中的面元子集P_update。概率p(S)为模型的平滑先验； p(i_new|S)是二维图像i_new的似然概率，用于衡量三维模型S和二维图像i_new的似然程度， 表示为：

p(i_new|S)∝exp(-ηE_p)，

$E_p=\frac{1}{\left|S\right|}\underset{p\in S}{\Sigma }\frac{1}{\left|V\left(p\right)\right|}\underset{i\in V\left(p\right)}{\Sigma }h(p,i_{\mathrm{new}},i),$

其中E_p为能量函数，用于衡量三维模型S中任一面元p在其可见二维图像中的准确性， 任一面元的法向量的变化和面元拓扑信息的变化都会在在图像上有其间接的测量反 映。所述准确性由任一面元p在二维图像i_new和二维图像i中的投影之间的相关性 h(p，i_new，i)决定，其中i是图像集合V(p)中的二维图像，η为控制变量，h计算步骤如下： 在面元p上覆盖一个u*u的网格，本发明中网格大小为5*5；通过双线性插值计算网 格中每一个点在二维图像i_new和二维图像i中的投影；用1减去网格在两幅二维图像中 投影的归一化正相关量。由此可见，完全准确时，任一两图片之间的h为0，最后E_p也为0达到最小，但是由于测量误差和面元p的恢复是一个逆向问题，所以E_p总是大 于0，当E_p比较小时，说明在现有的测量环境下，面元p越准确。η为控制变量，本 发明中为0.5。

先验P(S)衡量3D表面的平滑程度，一定程度上挖掘了三维表面的几何信息。先验 其通过能量函数E₁和能量函数E₂表示为：

p(S)∝exp(-{λE₁+ζE₂})，

其中E₁用于衡量三维表面的平滑性，本发明中用面元局部的曲率变化来衡量局部的光 滑性。E₁不能准确衡量其表面平滑性，其缺陷体现在图4中，虽然面元p和周围的邻 居有着平滑的法向量即曲率，但是由于它脱离了原来的拟合表面，所以它为一个离异 面元。所以本发明中提出E₂衡量面元p在整个三维表面的离异程度，对坐标落在三维 表面外部的面元有一个阀值控制，这样可以起到过滤奇异点的目的，并且做到真正意 义上的平滑。能量函数E₁和能量函数E₂计算方法为：

$E_1=\frac{1}{\left|S\right|}\underset{p\in S}{\Sigma }\frac{1}{\left|N\left(p\right)\right|}\underset{n\in N\left(p\right)}{\Sigma }f(p,v),$

$f(p,v)=\sqrt{{(n\left(p\right)-n\left(v\right))}^T(n\left(p\right)-n\left(v\right))},$

$E_2=\frac{1}{\left|S\right|}\underset{p\in S}{\Sigma }\frac{1}{N\left(p\right)}\underset{v\in N\left(p\right)}{\Sigma }d(p,v),$

d(p，v)＝|n(p)·(c(v)-c(p))|，

其中f(p，n)为面元p和面元n法向量的之间的欧氏距离，从图5中标注可以看到，d(p，v) 是面元p和面元v在法向量n(p)上的绝对值距离；λ，ζ是两控制参数，本发明中分别 为0.3，0.2。

最大化后验p(S|i_new)得到最大似然三维模型，即对于P_update中面元参数进行更新； 所述参数即为在概率空间P_update中每一个面元的三维坐标和法向量。最终得到一个收敛 的解，相当于：

c(p)，n(p)←arg max(exp(-{λE₁+ζE₂+ηE_p})，p∈P_update取负对数操作，即：

c(p)，n(p)←arg min(λE₁+ζE₂+ηE_p)，p∈P_update

这样通过对面元集合P_update的更新最终得到更新后的面元云。

本发明中采用共轭梯度进行优化问题求解。在本发明中为了进一步降低维数，在优 化问题中，面元p中心坐标c(p)只在初始点和投影中心的连线上移动，这样将三维坐 标空间降低到了一维，降低了自由度；同时法向量n(p)用两个欧拉角近似代替。所以 每一个面元p仅用三个自由度建模，增加了优化速率。

当输入新的图片时，算法又返回到步骤四执行。

实施例

如图7所示，本实施例的步骤包括：对所有输入的二维图像用稀疏束调整法进行相 机参数标定，然后计算各个视角对应的二维图像的光轴向量，并将其进行归一化得到 三维点，依此建立球模型，其中球模型上的三维点代表一个视角对应的二维图像；采 用随机算法随机选择关键视角对应的二维图像，对重复的选择不予处理；将选择得到 的二维图像对应的三维点采用三角网格剖分算法对它们进行三角化；对关键视角对应 的二维图像进行基于面元的三维重建。初始化工作完成，接着进入增量环节。读入新 的视角对应的二维图像，用尺度不变特征变换匹配算法与球模型，找到一个三角形， 并依此选择面元子集P_update；对球模型进行更新；接着用合成少数过采样方法扩展 P_update，在稀疏的区域扩展出新的面元；最后通过在贝叶斯框架下求解一个优化问题对 面元子集P_update进行更新达到总体三维模型的更新。随着新图像的不断读入，增量环 节当中的步骤不断执行。

图6a1～图6c5是列举出了三个数据集下的实验结果(由于是图片，只能采用灰度 形式表现)。图6a1为恐龙图像数据集，图6a2用从恐龙图像数据集采样得到的关键视 角对应的二维图像进行基于面元模型的恐龙图像三维重建得到的面元云效果图，图 6a3～图6a5为不断读入新视角对应的二维恐龙图像后增量更新的面元云效果图。图6b1 为头颅骨图像数据集，图6b2用从头颅骨图像数据集采样得到的关键视角对应的二维 图像进行基于面元模型的头颅骨三维重建得到的面元云效果图，图6b3～图6b5为不断 读入新视角对应的二维头颅骨图像后增量更新的面元云效果图。图6c1为庙堂图像数 据集，图6c2用从庙堂图像数据集采样得到的关键视角对应的二维图像进行基于面元 模型的庙堂三维重建得到的面元云效果图，图6c3～图6c5为不断读入新视角对应的庙 堂二维图像后增量更新的面元云效果图。可以看出，面元云越来越密，并且越来越准 确。在这个三个实施例中本发明得到了一个比较好的结果。

本发明提供了一种基于贝叶斯和面元模型的增量三维重建方法，具体实现该技术 方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技 术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和 润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分 均可用现有技术加以实现。