基于特征的图像序列三维场景重建技术研究

摘要

由图像序列恢复三维场景结构与摄像机运动是计算机视觉领域中重要的应用之一。三维场景重建分为基于特征与基于光流场两种方法，本文主要研究基于特征的图像序列三维场景恢复技术。主要内容如下：
　　 ⑴提出了一种加速鲁棒性参数估计策略：MLESAC-A，通过设置预检验与后检验，不仅可以过滤病态抽样，还能使MLESAC 能够采用动态次数抽样的方法从而提高算法效率。合成图像的实验表明加速策略的效率得到极大提高，且当outlier的比例低于30[％]时，RANSAC和MLESAC-A(EM)以及MLESAC-A(ME)所消耗的时间没有明显区别，RANSAC 还略优一些；但当此比例超过30[％]时，RANSAC 耗时呈指数增加，而无论是EM 还是ME，MLESAC-A 耗时并没有显著增加，表明MLESAC-A 比RANSAC 更稳定。
　　 ⑵指出了传统的鲁棒性策略是基于一维数据，这将限制获取的对应点数量从而影响后续的场景重建效果。提出了基于二维数据的MLESAC 策略，用每组对应点的匹配点数与匹配强度指导抽样过程。对简单场景的图像对与复杂场景的图像对进行了实验，对应点的数量分别提高了16.7[％]与56.8[％]。
　　 ⑶提出了一种简化的三视图几何约束关系的实现策略，避免了求解三焦张量，通过对三视图进行全局的特征点匹配过程，能够获得最大数量的对应点，并通过误差矩阵对全局匹配进行限制，提高了搜索效率。
　　 ⑷以三视图为重建单元，提出了一种可并行迭代式分层射影重建策略。使用三视图的几何关系，避免了传统迭代重建中两视图几何关系的不确定性。可并行分层方法不断合并重建单元的对应点，直至最终只剩一个重建单元。对长度为n的序列，传统迭代方法需要进行n-1 次重建单元合并，且重建层数为n-1；可并行迭代策略需要进行n-2 次单元合并，重建层数为[log2(n-1)]，且每一层的单元合并完全可并行，从而能够提高重建过程的效率。
　　 ⑸为了避免迭代式重建策略所存在的累积误差效应，提出了一种线性回溯射影结构恢复策略。每恢复一幅图像之后，将所有当前可见的结构用最新的数据进行回溯估计，并用新的结构更新摄像机的运动。回溯步骤会降低重建效率，然而由于重建方法全部是线性算法，而且结构与运动的恢复过程相比对应点合并过程，其增加的计算量可以忽略，因此对重建过程的效率影响非常小。
　　 ⑹对由上述方法获得的射影重建的初始结果利用非线性优化方法——光束法平差进行了非线性优化。利用Pollefeys的线性自标定方法快速的将射影重建的结果恢复至度量空间，在度量空间再次使用光束法平差进行非线性优化从而获得最终的在度量空间下可视化的场景结构与摄像机运动。