基于双目视觉的新视点图像生成算法的研究

摘要

基于图像的绘制技术是近几年兴起的一种新的虚拟场景绘制策略,已成为当前计算机视觉的一个研究热点。基于图像的绘制技术结合了计算机视觉、计算机图形学、图像处理、摄像测量学等科学的理论和成果,用真实的图像代替传统的几何建模,使绘制的图像真实自然,绘制的速度不依赖于场景的复杂度。本文对基于双目视觉的新视点图像生成技术进行了研究,主要包括基本矩阵的计算、图像校正、多窗口对称立体匹配和基于相对仿射结构的新视点图像生成等。 基本矩阵包含了摄像机所有的内参数和外参数信息,是新视点图像生成的基础,在立体视觉中起到重要的作用。本文研究了数据规范化算法在基本矩阵估计中的应用,使用非等向性数据规范化算法对基本矩阵求解,具有较高的准确性和稳定性。 图像校正使外极线与其共轭外极线对齐,并且转换为水平扫描线,将匹配点的搜索从二维空间降到一维空间,从而提高搜索速度和精度。本文采用了基于雅可比行列式的立体像对校正方法,能够较好地保持源图像对的采样,使校正后的图像形变减小。 立体匹配通过对所选择的特征进行计算,将同一空间点在不同图像中的投影点对应起来。本文采用了基于马尔科夫随机场的对称多窗口立体匹配方法,实验证明该方法具有较强的鲁棒性。 生成的新视点图像具有较高真实感,可以用来表示虚拟场景。新视点图像是在两幅同一目标景物、不同视点的图像之间生成一系列连续的期间过渡图像。本文采用了一种基于相对仿射结构的新视点图像生成方法,以双目视觉的两幅图像作为参考图像,突破了基线的限制、扩大了新视点的范围。

目录

文摘

英文文摘

声明

1前言

1.1研究背景及意义

1.1.1虚拟场景绘制

1.1.2双目图像分析

1.2基于图像的绘制技术

1.2.1基于图像的生成绘制技术的发展历史

1.2.2基于图像的生成绘制技术的分类

1.2.3基于图像的生成绘制技术的比较

1.3课题主要研究内容

2双目视觉中基础矩阵的分析

2.1引言

2.2摄像机模型

2.2.1图像坐标系、摄像坐标系与世界坐标系

2.2.2线性摄像机模型

2.3外极几何和基础矩阵

2.3.1外极几何约束

2.3.2基本矩阵

2.4基于整体最小二乘法的基础矩阵估计

2.4.1整体最小二乘法

2.4.2误差模型

2.4.3整体最小二乘误差分析

2.4.4数据规范化算法

2.5实验结果及分析

2.6本章小结

3图像校正

3.1引言

3.2图像透视校正

3.2.1透视变换对图像的影响

3.2.2图像局部信息的失真尺度

3.3基于雅各比行列式的立体像对校正方法

3.3.1透视变换的数学描述

3.3.2透视变换的优化计算

3.3.3水平缩放矩阵的计算

3.4实验结果及分析

3.5本章小结

4基于马尔科夫随机场的对称多窗口立体匹配

4.1引言

4.2立体匹配过程

4.2.1相似性测度

4.2.2匹配约束条件

4.2.3马尔科夫随机场

4.3模型描述

4.3.1先验模型

4.3.2观测模型

4.3.3左右一致性项

4.3.4最终模型

4.4实验结果

4.5本章小结

5基于相对仿射结构的新视点图像的生成

5.1引言

5.2相对仿射结构

5.2.1同射变换与双目几何

5.2.2相对仿射结构

5.3新视点图像的合成

5.3.1相对仿射结构的点变换

5.3.2刚体运动的线性组合

5.3.3虚拟摄像机方位的确定

5.4实验结果

5.5本章小结

6总结与展望

6.1本文主要研究工作

6.2今后的工作

致谢

参考文献

附录