基于全景相机组的立体视觉系统设计与实现

摘要

当前虚拟现实(Virtual Reality，VR)技术发展迅猛，可以应用于各个行业，比如购物，影视，游戏等行业。当前市场上的大多数制作虚拟现实场景的算法都是以拼接算法为基础，拼接算法应用于生成具有立体信息的VR全景需要耗费大量的硬件及软件计算，它在实际使用时的成本是非常巨大的，而且拼接算法总会产生部分拼接失败的细节场景。因此，本文设计实现了VR全景环形立体视觉视频系统，以此实现以全景环形镜头为基础的视频观看体验，能够直接获取较大范围的立体信息，给用户带来全新的观影感觉。本文使用的硬件是两个全景环带镜头，通过对两个矫正的环状图像进行立体匹配获取立体信息，优化算法加快运行速度，使用快速加权滤波优化立体信息，通过立体信息恢复另一只眼睛的图像，最终设计与实现了VR全景环形立体视觉视频系统。本文的主要工作包括:
　　(1)视频采集模块开发:使用VS2013开发工具结合Qt5以及环形镜头SDK实现对环形镜头的控制，制作镜头控制软件。软件的基本功能包括连接镜头，开启镜头获取图像，停止镜头获取图像，截图，录像，白平衡，自动曝光，开启直播，停止直播。
　　(2)图像算法处理流程设计与实现:实现了对获取环形图像后进行矫正，立体匹配，滤波，重映射，补全空洞，相比于业界已有的拼接图像获取全景方式，本文的方式能够更加快速地得到较精确的深度图像，在深度图像和原始环形图像基础上进行重映射得到双眼视觉图像，得到良好的视觉体验。
　　(3)接收视频端应用的设计与实现:实现了佩戴3Glasses公司的虚拟现实头盔D2，进而观看直播推流过来的全景视频功能。该接收端应用包括眼球模型的制作，直播流的解析，3Glasses SDK的接入，协同实现虚拟现实头盔控制观看影片，从而能够得到相应的体验。
　　(4)对整体视觉系统的测试:测试了系统功能模块和系统性能，验证了系统功能的鲁棒性，对之后的性能改进提供了展望。
　　本文对基于全景相机组的立体视觉系统进行了测试，结果显示系统能够快速正常地运行展示360°立体画面。本文所设计实现的系统探索了利用双全景镜头生成立体全景画面的新方法，相比拼接生成全景的方式更加快速且没有拼接产生的场景违和感，为未来的全景环形镜头直播方案迈出了关键性的一步。

目录

声明

摘要

缩略词表

第一章 绪论

1．1 论文研究背景

1．2 国内外研究现状

1．2．1 立体视觉

1．2．2 全景成像法

1．3 论文研究内容

1．4 论文组织结构

第二章 相关技术概述

2．1 相机标定

2．2 立体匹配

2．3 图像滤波

2．4 NVIDIA CUDA

2．5 本章小结

第三章 基于全景相机组的立体视觉系统总体设计

3．1 用户需求分析

3．2 立体视觉算法系统框架设计

3．3 本章小结

第四章 环带相机镜头控制器设计与实现

4．1 环带相机镜头控制器界面设计与实现

4．1．1 主界面设计与实现

4．1．2 子界面设计与实现

4．2 全景环带相机镜头控制功能设计与实现

4．3 本章小结

第五章 全景环带图像立体信息提取预处理

5．1 全景相机立体标定

5．2 图像预处理

5．2．1 图像平滑

5．2．2 图像增强

5．3 本章小结

第六章 全景环带图像的立体信息深度获取及视点恢复

6．1 自适应权值立体匹配

6．1．1 确定权值

6．1．2 确定匹配窗口

6．1．4 计算视差

6．2 一致性检测

6．3 视差迭代求精

6．4 快速加权中值滤波

6．4．1 联合直方图

6．4．2 中值追踪

6．4．3 无序双向循环表

6．4．4 实验对比

6．5 立体信息获取

6．6 反映射新视点图像

6．7 图像修复

6．8 本章小结

第七章 立体视觉系统播放端设计与实现

7．1 双眼模型的设计与实现

7．1．2 天空盒映射

7．1．3 球体映射

7．1．4 模型实现

7．2 播放端的逻辑实现

7．3 系统实现效果展示

7．4 本章小结

第八章 系统测试

8．1 测试环境与测试方案

8．2 功能测试

8．3 性能测试

8．4 本章小结

9．1 总结

9．2 展望

致谢

参考文献