基于深度图像的视图合成技术研究

摘要

逼真场景的生成是虚拟现实研究的核心内容。从现有场景的几幅离散图像合成任意视点新视图，就是根据虚拟现实的应用需求而诞生的。视图合成技术研究如何使用两幅或多幅关于某个场景的图像，生成该场景在新视点下的相应图像。
　　基于深度图像的视图合成研究的内容主要包括深度图像的获取和视图合成算法的研究。本文研究使用计算机视觉的相关算法获取图像的深度信息。主要包括相机定标、基础矩阵估计、立体匹配和深度估计等内容。本文首先研究了当前的相机定标方法，提出了改进的基于液晶显示器的相机快速定标方法。然后使用基于角点的特征匹配获得视图的稀疏匹配，通过使用改进M-Estimators方法计算得到鲁棒的基础矩阵F，再使用基于双阈值的分阶段立体匹配获取两幅视图的稠密匹配。最后通过对应点的匹配信息计算得到匹配点的三维信息。
　　基于深度图像的视图合成是本文研究的重点。本文基于物体表面深度的连续性，利用对应共轭极线的整体匹配性和保序性，以及深度图像中隐含的基于广义视差的图像边界点信息，提出了基于逆向映射的深度图像视图合成算法。从一幅主参考源视图获取新视图对应像素的深度信息，进而通过逆向映射算法得到新视图在参考视图中的对应像素信息，从而得到新视图像素点的灰度信息，最终得到新视图。由于遮挡关系和投影区域扩张的原因导致新视图中不可避免地存在空洞。本文根据对极几何的相关知识，提出了改进的单点逆向映射空洞填补算法。使用了少量参考源视图，完成对合成的新视图中的空洞进行填补，并最终得到完整的新视图。

目录

封面

声明

中文摘要

英文摘要

目录

1 绪论

1.1 引言

1.2 视图合成技术研究现状

1.3 本文的研究内容

2视图合成基础与相机定标

2.1 引言

2.2 基础概念和理论

3对极几何与基础矩阵

3.1 引言

3.2 对极几何

3.3 基础矩阵求解方法

3.4 本文使用的矩阵估计算法

4 立体匹配与深度估计

4.1 引言

4.2 立体匹配

4.3 立体匹配的方法

4.4 本文使用的立体匹配算法

4.5 基于立体匹配的图像深度估计

4.6 实验结果与分析

5 基于深度图像的视图合成

5.1 引言

5.2 基于深度图像的视图合成

5.3 基于三维变换的视图合成

5.4 基于逆向映射的视图合成

5.5实验结果与分析

6 总结与展望

6.1 工作总结

6.1 未来展望

参考文献

攻读硕士期间发表的论文及所取得的研究成果

致谢