一种针对图像序列的三维重建方法

摘要

本发明提供了一种针对图像序列的三维重建方法,针对未知排列的图像序列对，利用局部优化的思想和面片模型方案来改善稀疏重建和稠密重建中存在的问题。稀疏重建时，提出一种局部区域划分的匹配策略，并结合匹配策略使用基于最大生成树思想的增量式稀疏重建方案得出稀疏点云；稠密重建中，提出一种基于立体匹配的面片扩散优化方案进行面片扩散，通过立体匹配中的传播和随机搜索过程寻找到待扩散面片，最终得到高精度的稠密重建模型。本发明能够应对多图像序列下的重建需求，并能有效地提升图像序列的稀疏重建效果和稠密重建效果，生成一个高质量的三维重建模型。

说明书

技术领域

本发明涉及一种二维图像三维重建的方法，特别涉及一种无序二维图像的稀疏重建和稠密重建方法，属于计算机视觉和图像处理领域。

背景技术

三维重建是一个很复杂的系统过程，目前国内外学者研究绝大多数都是侧重重建中某个环节进行重点研究。随着深度学习和人工智能的广泛发展，虽然也有不少学者针对重建中某个具体过程(如深度信息获取)进行研究，但是并不是从端到端进行生成三维模型。目前基于图像序列的三维重建主要存在着三个普遍的问题，(1)图像匹配中误匹配导致的稀疏点云生成很差；(2)稀疏重建中由于添加图像的拓扑结构问题，会导致累积误差的存在；(3)稠密点云生成中，由于局部最优导致的模型不够稠密的问题。。

发明内容

本发明为解决上述问题，提出一种基于无序图像序列的端到端自动化重建方案，并针对重建中存在的问题提出改进方案。这种方法能够应对图像序列的重建需求，同时采用该方法可以得到高质量的稀疏重建和稠密重建结果。

本发明的技术方案包括以下步骤：

步骤1：对采集到的图像序列采用SURF算法和LSD算法分别进行点特征和线段特征的检测；

步骤2：采用基于最近邻与次近邻比的匹配策略做匹配计算；

步骤3：将图像划分为不同的局部区域，以局部区域作为研究对象进行匹配过滤依据；

步骤4：针对同一局部区域，对某种图像分别计算其相邻两侧图像的特征向量，相同则保留相异则过滤；

步骤5：提出一种基于最大生成树思想的增量式恢复重建，对图像序列进行稀疏重建，得到稀疏点云；

步骤6：利用稀疏点云进行特征初匹配，得到稠密重建中的种子点云；

步骤7：利用面片模型相关理论，将稀疏重建得到的稀疏点云进行建立面片模型，并进行面片过滤；

步骤8：提出一种基于立体匹配的面片扩散优化方案进行面片扩散，通过立体匹配中的传播和随机搜索过程寻找到待扩散面片，最终得到高精度的稠密重建模型。

作为本发明的进一步改进，所述步骤2-4的具体过程如下：首先对特征匹配策略进行评测，定义最近邻与次近邻比为p＝d

作为本发明的进一步改进，所述步骤5的具体过程如下：

步骤5.1：首先对所有待匹配的二维图像集合中两两匹配，并将其中匹配对数最多的两个二维图像提取出来，并将这个二维图像计算旋转矩阵和平移矩阵，结合三角测量的原理计算出三维场景中某个点的坐标，重建出初始场景；

步骤5.2：添加下一个二维图像，在之前的模型中找到同一个三维场景中的点，然后利用PnP原理进行求解，结合三角测量，更新新的二维图像的平移矩阵和旋转矩阵；在原有基础上，引入图论模型，来优化平移矩阵和旋转矩阵，以及三维场景中的点；在优化过程中，需要计算二维图像的重投影误差，并进行迭代优化，然后祛除误差外的点；

步骤5.3：重复步骤5.2直到二维图像添加完毕；

结合最大生成树思想，基于图像序列的稀疏重建过程中，可以把二维图像作为图的顶点，而二维图像对之间的匹配关系(匹配个数)视为图的边，因此可以把二维图像之间的对应匹配关系转换为图论中完成最大生成树的问题；接下来开始建立数学模型，设二维图像待匹配集合为E，已经完成匹配的集合为V，而其中无向加权图G表示已经匹配过的路径。

作为本发明的进一步改进，所述步骤6-8的具体过程如下：

(一)面片确定

为了准确地进行二维图像的选择，使用双层视图的思想；在图像层这层视图，作为全局性上的考虑，进行全局性视图选择，为参考面片从待匹配的面片中挑选正确的邻域面片集合，作为全局性的视图集合；在像素层这层视图上，作为局部性上的考虑，进行局部性视图选择，从上述的全局视图选择的邻域面片集合中为每个面片寻找最适配的面片，最适配的面片通常与待匹配面片相关；

(a)全局视图选择

在对参考面片进行全局视图选择过程中，每个面片都要确定其邻域集合；在选择全局视图过程中，要考虑到二维图像中图像信息以及二维图像之间重叠区域；需要结合距离函数来衡量每个面片与其待匹配面片之间的距离，从而找到最佳匹配面片；将稀疏重建生成的稀疏点云作为种子面片，对种子面片计算面片之间的共同特征点，特征点匹配的越多，表示面片之间越匹配，二维图像之间重叠度也就越高。

对于每个面片来说，参考面片邻域集合中的每个面片的距离函数可尝试多种距离衡量，采用欧式距离作为最简单的距离衡量函数；在集合中对邻域面片中所有匹配面片对的积的权重函数，从而使得匹配面片可以在原有较好解决视差的基础上，更好的实现面片的匹配；在对两个面片的特征点进行匹配计算时，其相似性衡量也要考虑分辨率的问题；

(b)局部视图选择

在上述的全局式选择中，选择的邻域中的面片个数视情况而定，并且参考面片的待匹配面片也在集合中；在目标匹配面片中的像素中，在像素级别上以该像素点为研究对象，从待匹配的图像中进行像素级别的匹配，从局部视图中需要将待匹配图像进行更新；通常像素和面片都是具有方向性的；对于一个像素来说，当已知像素的深度和法向量，在相机坐标系下进行求解三维场景下的点，并且可以获取每个参考面片和待匹配面片在摄像机光心下光线的角度；此外，针对每个待匹配面片，需要计算待匹配面片与参考面片的摄像机光心之间的距离；根据上述的距离与夹角的乘积，以乘积为依据，把全局视图获取到的邻域面片集合中的待匹配面片进行排序，并且乘积排序是升序排序；在升序序列中，选取乘积最小的；计算出三维场景中的点在二维图像中处于可见位置，选择该面片作为参考面片的最佳匹配搜索面片；从当前像素计算以局部视图进行选择候选面片；

(二)面片匹配

在对候选面片进行匹配的过程中，利用匹配代价函数，结合立体匹配思想搜索最佳匹配面片；把种子面片上的每一个像素点为研究对象，搜索像素点对应三维场景下的局部切平面，最终使得参考面片与候选的待匹配面片在上述的匹配代价函数计算，从而完成代价最小的目的；上述的切平面类似于面片模型中的面片，可以用某个三维场景中的点以及从点到相机光心组成的法向量来描述；

对于一个参考面片I

假设参考面片和待匹配面片的摄像机参数为{K

匹配代价函数ANCC方法作为面片匹配中的相似度测量，该方法结合到像素级别的色度领域空间以及空间几何空间中考虑邻近性，并做权重衡量计算，从而计算对应面片之间的匹配代价，ANCC方法公式表达为：

在公式中，匹配代价的范围是[-1，1]；通常，应该保证C为正值，因此可以用1-C来代替匹配代价C；

(三)面片随机搜索

假设在面片中某个像素点的坐标为(x，y)，已知像素点及其邻居像素点的深度信息和法向量方向；将邻居像素点的信息传递给该像素点，并计算在像素点的匹配代价；如果代价变小，说明邻居像素点搜索效果较好，应该把邻居像素点的深度信息和法向量传递给该像素点，否则的话不做处理；在搜索次数为奇数的时候应该从面片的右下角开始往左上角进行搜索，否则的话应该从左上角往右上角进行搜索；在搜索的时候，对深度和法向量可以添加随机偏移量，并从均匀分布的随机偏移量样本中进行选取，从而防止局部最优的限制。

与现有技术相比，本发明的有益效果在于：利用局部优化的思想和面片模型方案来改善稀疏重建和稠密重建中存在的问题；稀疏重建时，提出一种局部区域划分的匹配策略，并结合匹配策略使用基于最大生成树思想的增量式稀疏重建方案得出稀疏点云；稠密重建中，提出一种基于立体匹配的面片扩散优化方案进行面片扩散，通过立体匹配中的传播和随机搜索过程寻找到待扩散面片，最终得到高精度的稠密重建模型；本发明能够应对多图像序列下的重建需求，并能有效地提升图像序列的稀疏重建效果和稠密重建效果，生成一个高质量的三维重建模型。

附图说明

图1为本发明的整体流程图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

如图1所示，本发明主要包括两个过程，即基于图像序列的稀疏重建算法和基于图像序列的稠密重建算法，下面针对每一部分进行详细说明：

一、基于图像序列的稀疏重建算法

如图所示，将该场景的图像作为输入。在本发明中的图像重建方案中，采取了以下流程进行计算：

步骤1：对采集到的图像序列采用SURF算法和LSD算法分别进行点特征和线段特征的检测。

本发明首先对二维图像进行特征检测，具体实施步骤包括：

(1)将二维图像用高斯函数求导，然后进行卷积数学运算，从而计算出二维图像在竖直方向和水平方向上的导数；

(2)计算梯度外积的三个图像；

(3)对二维图像用高斯函数卷积，通常来说用来卷积的高斯函数比较大；

(4)利用上述推导出公式计算感兴趣量。

(5)确定阈值，从而检测出特征点所在位置。

步骤2：采用基于最近邻与次近邻比的匹配策略做匹配计算：

首先对特征匹配策略进行评测，定义最近邻与次近邻比为p＝d1/d2，公式中d1和d2分别表示最近邻距离与次近邻距离。对基于固定阈值的特征匹配、基于最近邻的特征匹配和基于次近邻的特征匹配策略的三种二维图像特征匹配策略进行评测，确定好最近邻距离与次近邻距离的匹配策略。其次，将图像划分为不同的局部区域，针对同一局部区域，对某种图像分别计算其相邻两侧图像的特征向量，如果某个局部区域相邻图像均存在特征向量匹配，则不予处理，否则将其过滤。

步骤3：将图像划分为不同的局部区域，以局部区域作为研究对象进行匹配过滤依据；

步骤4：针对同一局部区域，对某种图像分别计算其相邻两侧图像的特征向量，相同则保留相异则过滤；

选择图像序列重建的匹配策略时，要考虑到除了传统图像对匹配外，图像序列重建存在着其特殊性，即空间连续性。所选取的匹配策略应该所有图像匹配对平均后的匹配误差(距离衡量)最小。一种有效的策略便是在计算某个图像对时，考虑其相邻两侧图像的匹配情况，如果不同时匹配则进行过滤。

步骤5：提出一种基于最大生成树思想的增量式恢复重建，对图像序列进行稀疏重建，得到稀疏点云；

在一个加权连通图中，假设顶点集合为V，边的集合为E，这是输入的开始；此后，开始初始化的操作，V＝{x}，E＝{}，其中x为点集合中的任意一点；重复如下操作直至没有顶点和边可以添加：(1)在集合E中选取权值最大的边(u，v)，其中顶点u表示已经添加过的顶点，而v表示没有添加的顶点；(2)将顶点v添加到集合V中，并把边(u，v)添加到集合E中。在此基础上，可以用顶点集合V和边集合E来描述经过上述步骤实现的最大生成树。

二、基于图像序列的稠密重建算法

步骤6：利用稀疏点云进行特征初匹配，得到稠密重建中的种子点云。

首先，对一个二维图像进行Harris和DoG算子检测其角点特征，在上述的全局一致性约束和局部区域约束下，利用三角测量的原理可以完成稀疏面片的生成。以二维图片为研究对象，将其进行网格划分，这些网格是上述Harris和DoG检测出的容器。对于二维图像序列中每个二维图像都依次作为参考集S(p)，并且计算剩余集合中的二维图像与连线夹角作为图像集T(p)，然后将T(p)与S(p)进行匹配。匹配过程为：参考集中某一个兴趣点为m，图像集中待匹配的兴趣点为m’，待匹配的兴趣点通过上述的约束条件求解到。将所有约束条件内的待匹配点作为集合，并将集合内的每一个点对进行三角测量，在网格内需要找到局部最优值，利用二维图像与其摄像机连线作为生成稀疏面片中的三维点坐标进行排序，最后以此类推把所有面片进行遍历。

其次，在初始化面片的过程中需要依次初始化参考集S(p)和图像集T(p)。把面片中某个点作为中心，该点到相机连线仍为参考矢量。用公式初始化参考集S(p)，并且用公式初始化中心点以及参考矢量法向量。考虑到生成的稀疏面片很多都是不对的，因此需要假定参考矢量法向量与光心夹角小于阈值的时候面片应该具有可见性，即：

随后，当待匹配面片初始化结束后，需要将面片存储至上述描述到的网格内，并把生成的面片记录下来。由于只是进行初始化，未考虑异常情况，如果生成失败需要更换别的面片上的点进行面片的生成，以此类推直至面片重建成功。在初始化特征匹配处理过程中，不同的二维图像会含有同一个面片，且面片在这些二维图像中可见。生成的面片可以通过二维图像的个数决定，并且这个面片被这些二维图像可见。此外，在算法的处理流程中，一旦面片完成重建并保存下来后，就要剔除面片所在的图像块上的特征，从而达到加速效果。

步骤7：利用面片模型相关理论，将稀疏重建得到的稀疏点云进行建立面片模型，并进行面片过滤；

在上述的面片生成和扩散过程中，存在着误差较大的面片，这些误差较大的面片会导致累积误差的问题，进而生成更多的错误面片，因此需要进行面片过滤的操作，从而提高稠密重建的准确性。针对错误的面片过滤主要有三种滤波器，这三种滤波器都是基于可视一致性而设计的，只是侧重点不同。

(1)第一类滤波器对可视性要求比较宽松，主要针对场景中的障碍物而设计的滤波器。设面片p的可视图像集的补集(即不可见的集合)为E(p)，根据不连续性的性质，可以进行过滤，筛选条件为：

(2)第二类滤波器相对比较严格，对面片p统计深度测试得到的可视集合数目，如果数量太小就过滤掉。

第三类滤波器考虑邻域的面片所占比例。对每一个面片p在图像集合内统计其映射到面片p所在的图像块以及邻域的图像块。如果统计结果是面片的八邻域内面片数量与所统计的所有面片数量比例小于0.25，则认为面片异常，将面片过滤。

步骤8：提出一种基于立体匹配的面片扩散优化方案进行面片扩散，通过立体匹配中的传播和随机搜索过程寻找到待扩散面片，最终得到高精度的稠密重建模型。

将每个面片作为参考面片，为每个种子面片寻找待匹配面片，核心算法使用立体匹配思想，通过立体匹配中的传播和随机搜索过程寻找到待扩散面片，具体过程包括面片确定，面片匹配，面片随机搜索三个过程。

(1)面片确定

为了准确地进行二维图像的选择，借鉴了双层视图的思想。在图像层这层视图，作为全局性上的考虑，进行全局性视图选择，为参考面片从待匹配的面片中挑选正确的邻域面片集合，作为全局性的视图集合；在像素层这层视图上，作为局部性上的考虑，进行局部性视图选择，从上述的全局视图选择的邻域面片集合中为每个面片寻找最适配的面片，最适配的面片通常与待匹配面片相关。

(2)面片匹配

在对候选面片进行匹配的过程中，利用匹配代价函数，结合立体匹配思想搜索最佳匹配面片。把种子面片上的每一个像素点为研究对象，搜索像素点对应三维场景下的局部切平面，最终使得参考面片与候选的待匹配面片在上述的匹配代价函数计算，从而完成代价最小的目的。上述的切平面类似于面片模型中的面片，通常可以用某个三维场景中的点以及从点到相机光心组成的法向量来描述。

(3)面片随机搜索

假设在面片中某个像素点的坐标为(x，y)，已知像素点及其邻居像素点的深度信息和法向量方向。将邻居像素点的信息传递给该像素点，并计算在像素点的匹配代价。如果代价变小，说明邻居像素点搜索效果较好，应该把邻居像素点的深度信息和法向量传递给该像素点，否则的话不做处理。在搜索次数为奇数的时候应该从面片的右下角开始往左上角进行搜索，否则的话应该从左上角往右上角进行搜索。在搜索的时候，对深度和法向量可以添加随机偏移量，并从均匀分布的随机偏移量样本中进行选取，从而防止局部最优的限制。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代均属于本发明的保护范围。