基于手持拍摄方式的柱面全景图的自动识别和生成

摘要

随着虚拟现实技术、计算机网络技术的迅猛发展，基于图像绘制技术的全景图技术得到了广泛的应用。其中，基于手持拍摄方式获取组图进而重建全景图的方法被广泛地应用于网站建设、产品展示、虚拟展览、旅游宣传和多媒体效果等。本文主要就基于手持拍摄方式的柱面全景图的自动识别与生成方法进行了研究。针对手持拍摄方式的复杂性和随机性，本文在关键点的检测与匹配、光束平差调整和图像融合等方面进行了算法上的改进，生成了效果理想的柱面全景图。 关键点的检测和匹配是全景图拼接成功的基础和前提。在分析了手持拍摄方式获取的组图特性的基础上，本文采用了基于特征的彩色尺度不变特征变换(CSIFT)方法对序列图像进行关键点的检测与匹配，使得描述符对颜色变化和几何变化都能够保持很好的鲁棒性；同时，针对室外场景的特殊性，对颜色不变量的形式进行了简化，建立了效率更高的CSIFT算法。 由于手持拍摄方式的随机性，造成相机运动非常复杂，使得光束平差方法不能直接用于此类素材的全景图拼接。本文提出了一种新的基于不变量理论的光束平差方法，通过建立一种简化且不受旋转矩阵影响的光束平差代价函数，可在不直接考虑相机方向参数的情况下对全景图进行后期处理，实现了对全景图重建效果的精细调整。 全景图拼接后还需要进行图像补偿和图像融合的平滑处理，来消除明显的亮度差异和拼接线痕迹，保证输出的全景图达到令人满意的效果。本文建立了基于权重补偿和改进的多波段色彩融合的平滑处理算法。首先，通过对光度测量参数的处理，减轻了拼接处亮度的明显变化。然后，采用了适合手持拍摄方式的色彩融合算法，即通过图像外插保证了重叠区域高度和宽度的相等，同时根据相邻图像特征在不同频率带的差异得出相应频率带内融合区域的大小和加权系数，从而消除了重叠区域的拼接线痕迹，实现了图像的平滑过渡。 最后，本文就提出和建立的系列算法的可行性和有效性进行了实验验证。实验结果表明，改进后的CSIFT能很好地适用于室外场景中的关键点检测和特征匹配；新的光束平差方法能够对手持拍摄的全景图进行很好的精细调整，大大改善了全景图的重建效果，同时对复杂的手持拍摄情况下的误差调整保持了很好的鲁棒性；平滑处理算法能够消除重叠区域明显的亮度差异和拼接线痕迹，从而输出了效果更好的柱面全景图。

目录

文摘

英文文摘

声明

第一章绪论

1.1课题的研究背景与意义

1.2全景图技术的研究状况及应用

1.2.1全景图的定义和类型

1.2.2全景图的国内外研究现状

1.2.3全景图的关键技术

1.2.4全景图的应用

1.3论文的主要研究内容

第二章 CSIFT的关键点检测与匹配

2.1图像的采集与投影

2.1.1图像的采集

2.1.2小孔成像模型

2.1.3像素坐标及焦距f像素值

2.1.4圆柱面投影算法原理

2.1.5柱面投影图像的性质

2.2采用CSIFT关键点的原因

2.3几何不变性和光度测量不变性

2.3.1几何不变性

2.3.2光度测量不变性

2.4室外场景CSIFT描述符的建立和特征匹配

2.4.1关键点的检测

2.4.2描述符的建立

2.4.3特征匹配

2.5图像匹配

2.5.1采用RANSAC方法的单应性估计

2.5.2验证图像匹配的概率模型

2.6本章小结

第三章 全景图的光束平差调整和校正

3.1光束平差法

3.1.1光束平差法介绍

3.1.2直接计算线性系统的快速方法

3.2基于不变量理论的光束平差法

3.2.1 改进光束平差法的原因

3.2.2改进的光束平差法

3.3全景图的自动校正

3.4本章小结

第四章全景图的补偿、融合与显示

4.1权重补偿

4.2多波段色彩融合

4.2.1拉普拉斯塔层图像

4.2.2图像外插

4.2.3色彩融合算法

4.2.4完整算法

4.3全景图显示

4.4本章小结

第五章实验结果及分析

5.1 CSIFT的关键点检测与特征匹配

5.2全景图的光束平差调整

5.3柱面全景图的自动识别与生成

5.4本章小结

第六章结论与展望

6.1本文主要的研究成果与贡献

6.2课题展望

参考文献

作者在攻读硕士学位期间公开发表的论文

作者在攻读硕士学位期间所作的项目

致 谢