基于全景视频的网络直播系统的设计与实现

摘要

进入21世纪，虚拟现实技术获得了长足的发展，如今一些全景视频的出现，结合3D立体技术的发展，掀起了开发虚拟现实的热潮。全景技术在当今社会也取得了越来越广泛的应用，包括网络直播、虚拟现实以及全景地图等。在单视点平面视频的观看需求被满足之后，人们越来越希望能够在网络上看到多视点并富有立体感的视频，以获得更加逼真的视觉享受。基于网络的全景视频直播已经成为人类视觉研究的一个重要的发展方向。
　　本文设计并实现了基于环形360度全景视频的网络直播系统，相对于传统的单视点网络直播，本系统通过获取水平方向多个视点视频并处理得到环形360度全景视频，继而对其进行实时编码压缩并传输给远程用户终端。本文的主要工作包括以下三个方面:
　　1)全景视频的采集和制作。本系统采用6个小蚁相机作为直播的视频采集源，首先对摄像机进行参数的设定，包括位置、焦距、分辨率、白平衡、曝光率等，然后结合相应参数进行图像拼接得到360度全景视频。考虑到直播系统对实时性要求较高，本文采用改进后的SURF算法进特征点提取和匹配，并采用多线程处理多视点图像拼接和融合，从而加快全景图像获取速度。
　　2)全景视频的实时网络传输。首先对获取的全景视频和音频进行编码，由于全景视频数据量较大，本文采用H.264编码标准编码对原始全景视频和音频，并对音视频进行同步;其次，设计合理的网络直播架构，本系统采用传统C/S模式进行网络传输和视频分发，通过搭建Nginx流媒体服务器接收采集端发送的实时视频并转发给用户终端。
　　3)全景视频的终端接收、展示及交互。此过程通过网络传输协议接收服务器端的直播流，采用设备3Glasses来展示全景视频，3Glasses头盔设备内置了九轴传感器和AMOLED屏，增强了用户交互性，特别适合展示立体全景视频。
　　本系统的关键是多个视点视频的特征点匹配以及拼接融合得到相应的水平360度全景视频，此过程对处理速度要求较高，并且对拼接效果有一定的要求。经过系统测试，在现有网络带宽直播系统延时较低，能够满足实时性要求，并且全景画面衔接自然，给用户终端沉浸感和交互性，在虚拟视觉领域具有较高的科研和应用价值。

目录

声明

摘要

缩略语对照表

第一章 绪论

1．1 研究背景及意义

1．2 国内外研究现状

1．2．1 立体技术发展状况

1．2．2 全景技术发展状况

1．2．3 立体全景技术在直播中的发展

1．3 论文研究内容

1．4 论文组织结构

第二章 相关知识介绍

2．1 直播系统整体框架

2．2 全景图像技术基础

2．2．1 全景图像和全景视频

2．2．2 全景视频的获取

2．2．3 全景视频显示

2．3 视频编解码

2．3．1 编解码基本概念

2．3．2 视频编解码流程

2．3．3 FFmpeg介绍

2．3．4 多视点视频编解码

2．4 网络传输

2．4．1 流媒体技术

2．4．2 网络传输模式

2．4．3 网络传输协议

2．5 终端显示

2．6 本章小结

第三章 系统整体架构设计

3．1 系统功能和性能需求

3．1．1 系统需求分析

3．1．2 系统关键点和难点

3．2 系统整体架构设计

3．2．1 全景图像的获取

3．2．2 音视频编码和网络传输

3．2．3 用户终端接收并显示直播流

3．3 系统关键点设计

3．4 本章小结

第四章 系统详细设计与实现

4．1 前端全景图像的采集和制作

4．1．1 相机配置以及全景框架

4．1．2 图像拼接

4．1．3 图像融合与多线程处理

4．2 视频直播流编码与网络传输

4．2．1 音视频数据的编码压缩

4．2．2 音视频封装与网络传输

4．2．3 流媒体服务器

4．3 终端接收与用户交互

4．3．1 流媒体的接收与解码

4．3．2 全景图像显示

4．4 本章小结

第五章 系统测试

5．1 测试目的

5．2 测试环境与测试过程

5．2．1 测试环境

5．2．2 测试设计与执行

5．3 测试结果

5．4 本章小结

6．1 工作总结

6．2 未来展望

致谢

参考文献