基于鱼眼相机的全景环视系统关键技术研究

摘要

从2013年以后，虚拟现实在全世界范围异军突起。各大游戏公司、互联网巨头都或多或少的致力于虚拟现实的发展。其中最具代表性的就是Facebook20亿美金收购了虚拟现实公司Oculus VR。国内的盛大网络也强势收购了一家美国VR公司，暴风影音与乐视影音也将自己的虚拟现实设备推向了市场。谷歌也在不断的强化街景服务，并提出了三维立体街景概念。本文主要研究方向是基于鱼眼图像的虚拟现实生成技术。主要从以下方面展开研究工作。
　　(1)鱼眼摄像机标定与鱼眼图像的矫正
　　本文使用张正友标定与全向摄像机标定两种不同的标定方法对鱼眼摄像机进行相机标定。针对张氏标定与全向摄像机标定的不足之处提出一种基于等距投影模型的鱼眼摄像机棋盘格标定方法。在鱼眼图像的畸变矫正算法上，本文实现了三种矫正方法，一是基于透视投影模型；二是基于球极平面射影模型；三是基于图像的内容。
　　(2)基于鱼眼图像的虚拟现实生成技术
　　本文对虚拟现实的成像设备与观看设备进行深入研究与分析之后，认为基于图像的虚拟现实生成技术中的关键点为球面全景图拼接算法。球面全景图拼接技术主要包括图像预处理、图像特征点的提取与匹配点对的生成、球面全景图像定位与捆绑调整、图像曝光优化、全景图的输出与显示。在进行图像定位时，经过对成像设备与实验结果的分析，本文将摄像机之间的平移运动忽略。最后，本文实现了上述所有算法，完成了全向图的生成。
　　(3)基于360度全向图的360度全景辅助驾驶系统
　　本文使用两种不同的方式进行车载环境的硬件平台搭建，一是使用传统360度全景相机；二是利用将多个车载专用摄像机加装到真实的车身上。将基于鱼眼图像的虚拟现实技术应用到车载系统中，设计并开发了基于鱼眼摄像机的360度全景环视辅助驾驶系统。不同于鸟瞰俯视系统之处在于，该系统可以实现车身四周360度全景的任意角度查看，而不仅仅俯视。车辆上加装的多个鱼眼摄像机实时的将车体四周场景输入到该系统中，该系统对多路多媒体数据流进行处理后快速生成全向图，最终，用一种人机交互的方式将3D场景展示给驾驶员，使得驾驶员可以自由的查看车身四周360度任意角度的场景。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1研究工作的背景与意义

1.2国内外研究现状和发展态势

1.3本文主要研究内容及改进

1.4本文结构安排

第二章 鱼眼摄像机的相机模型与畸变矫正

2.1鱼眼摄像机成像原理概述

2.2鱼眼摄像机标定技术

2.3鱼眼图像矫正算法

2.4本章小结

第三章 基于鱼眼图像的虚拟现实

3.1成像设备概述

3.2基于图像的虚拟现实的技术原理

3.3图像预处理

3.4图像特征点提取与匹配

3.5图像定位与捆绑调整

3.6全景图输出模型

3.7本章小结

第四章 基于虚拟现实的辅助驾驶系统

4.1基于虚拟现实生成技术的360度全景辅助驾驶系统概述

4.2软硬件环境搭建与采集图像输入

4.3基于等距投影的鱼眼相机模型与畸变矫正

4.4 360度全向图生成与全向图实时输出

4.5人机交互式实时预览

4.6本章小结

第五章 全文总结与展望

5.1全文总结

5.2后续工作展望

致谢

参考文献