基于单目图像序列光流的三维重建关键技术研究

摘要

单目图像序列光流不仅包含了物体或场景的运动参数，还携带了丰富的三维结构信息，因此由单目图像序列光流重建运动物体或场景的三维运动与结构是计算机视觉研究领域的一个热点问题，研究成果被广泛应用于机器人视觉、航空航天、军事、医学研究等领域。本论文主要针对基于单目图像序列光流的三维运动估计与结构重建理论与技术进行研究，以提高计算效率、改善重建算法鲁棒性、拓宽重建算法适用范围等为研究目标。从改进变分光流计算模型、降低邻域误差影响、改善亮度突变情况下像素点漂移现象、减少特征直线光流重建模型的约束条件、建立点线光流对应关系等方面入手，提出基于单目图像序列光流的三维重建新思路与新方法。主要研究工作与成果如下：
　　1).从变分光流计算基本理论出发，通过添加局部约束和图像梯度守恒改进变分光流能量函数的数据项，设计基于图像梯度的各向异性扩散平滑项改变运动物体或场景边缘区域的光流扩散方式；针对光流计算的时效性问题，采用细胞神经网络对变分光流估计模型进行优化，提出基于自适应细胞神经网络的各向异性扩散光流算法。实验表明该模型能够较好地应对图像中包含的噪声，具有计算精度高、时间消耗少等优点。
　　2).为了减小局部邻域内光流估计误差对三维重建结果的影响，预防“边缘扩张”现象的产生，根据图像像素点光流与三维运动的对应关系构造基于稠密像素点光流的三维运动估计与结构重建线性模型，并通过范数定理对该模型的鲁棒性进行了分析证明。实验证明，该模型能够减少边缘区域光流扩散对重建结果的影响，保留物体或场景的边缘信息。
　　3).为避免光流计算对重建结果带来的误差影响，通过光流计算亮度守恒假设和像素点光流与三维运动的对应关系推导出基于图像亮度的三维运动守恒假设，构造基于变分光流的三维运动估计与结构重建模型，为了应对图像序列中包含的大位移运动，在运动估计过程中采用图像金字塔分层的方法。针对纯旋转运动物体的三维重建问题，利用三维点的空间位移代替其运动轨迹，提出了纯旋转运动情况下的三维运动估计与结构重建模型。实验表明该模型能够较好地应对图像序列中光照变化和大位移运动等情况，部分解决了运动遮挡情况下重建算法的鲁棒性问题。
　　4).对基于直线光流的三维重建技术进行研究，阐述了直线光流的概念及计算方法，根据直线的表示方式和3D直线与2D直线的对应关系构建了基于直线光流的三维运动估计线性模型，由三维运动估计结果能够重建直线特征的三维结构。实验证明，该模型最少只需两条直线光流就可以分步计算出运动物体或场景的三维旋转和平移参数。
　　5).针对复杂场景下直线特征的跟踪、匹配问题，首先推导点、线光流基本约束方程，然后确定直线光流与直线上点光流的对应关系，提出基于点光流的图像序列运动直线筛选、跟踪和匹配方法；根据运动直线跟踪结果计算直线光流，由直线光流估计运动物体或场景的三维运动参数，并重建其表面稠密结构和稀疏直线特征，建立基于点、线光流的三维重建模型。实验表明该方法能够准确筛选出图像序列中的运动直线，并对连续两帧图像中的运动直线进行跟踪、匹配；重建结果既能够描述物体或场景的表面细节信息，又保留了其表面直线拓扑结构。

目录

封面

声明

中文摘要

英文摘要

目录

注释表

第一章 绪 论

1.1研究背景

1.2光流场

1.3国内外研究现状

1.4本文的主要研究内容及章节安排

第二章 基于自适应细胞神经网络的各向异性变分光流算法

2.1引言

2.2变分光流算法原理

2.3各向异性扩散变分光流能量函数

2.4基于自适应细胞神经网络的各向异性扩散光流算法

2.5实验与分析

2.6本章小结

第三章 基于稠密光流的鲁棒运动估计与表面结构重建

3.1引言

3.2图像光流与三维运动的对应关系

3.3基于稠密光流的鲁棒运动估计与表面结构重建

3.4实验与分析

3.5本章小结

第四章 基于变分光流的三维运动估计与深度重建直接方法

4.1引言

4.2基于图像亮度不变的三维运动守恒假设

4.3基于变分光流的三维运动估计模型

4.4基于变分光流的深度结构重建

4.5实验与分析

4.6本章小结

第五章 基于直线光流的三维运动估计与结构重建

5.1引言

5.2直线的表示

5.3基于直线光流的三维运动估计与轮廓重建

5.4实验与分析

5.5本章小结

第六章 基于点、线光流结合的三维重建技术研究

6.1引言

6.2基于点光流的运动直线跟踪、匹配

6.3基于点、线光流结合的刚体三维重建

6.4实验与分析

6.5 本章小结

第七章 结论与展望

7.1主要结论

7.2工作展望

参考文献

致谢

在学期间的研究成果及发表的学术论文