基于网络摄像头的多视全景视频技术研究

摘要

全景作为一种方兴未艾的技术，能扩大视角、在同一时刻显示大范围场景信息，在卫星航拍、视频会议、场景监控、交通导航、虚拟现实、摄影等多种科研、商业及艺术领域具有广泛的应用前景。 目前，对于静态全景图像，除少数应用中采用超广角镜头或鱼眼镜头直接拍摄外，主要采用图像拼接及融合等软件算法来实现。对于动态视频，则主要依靠特殊的硬件系统：一种方案是采用快球系统，通过快球的高速运动捕获大范围的场景，但由于旋转速度的限制，不可避免的存在盲区；另一种方案是采用配有全景镜头的专业摄像系统，但这类系统存在价格昂贵、使用复杂、无法扩展等缺陷。 本文在对现有软硬件全景技术深入分析的基础上，提出一种基于网络摄像头的多视全景视频生成方法，并通过实验证明了该系统的可行性与实用性。首先，对全景视频所涉及的技术进行了广泛调研，并概述了本系统的基本框架。其次，分章节详细阐述了特征提取、特征匹配、实时投影及融合等主要模块的算法原理及实现细节。然后，对系统进行了GPGPU(General-Purpose computation on GPUs，即GPU上的通用计算)优化。最后，对系统的整体性能进行了实验分析与评价。本文主要工作和特色如下： 1.针对现有全景视频系统需要特殊硬件的限制，提出基于普通网络摄像头的多视全景视频生成方法，同时采用模块化设计，可根据需要对摄像头的数量进行调整，因此本方法具有价格低廉、使用方便、易于扩展等优点； 2.设计了基于SIFT算法的特征提取与匹配模块，可处理平移、大角度旋转等极端情况下的视频帧配准，从而使摄像头的拍摄角度和方向灵活可调； 3.针对视差情况下的鬼影现象，提出一种非线性融合算法，当相邻摄像头间存在较大视差时，该算法可有效避免经典线性融合算法的鬼影现象； 4.研究了GPGPU优化技术，并对系统中运算量最大的特征提取单元进行了硬件加速，从而提升了系统的处理速度。

目录

文摘

英文文摘

论文说明：图表目录

声明

第1章 绪论

1.1本课题研究背景和意义

1.2 国内外研究现状

1.3本文内容和组织结构

1.3.1内容

1.3.2组织结构

第2章 多视全景视频系统基本框架与技术概述

2.1本章引言

2.2多视全景视频系统的基本框架

2.2.1硬件框架

2.2.2软件框架

2.3图像配准技术概述

2.3.1 基于像素值的配准技术

2.3.2基于变换域的配准技术

2.3.3基于特征的配准技术

2.4图像融合技术概述

2.4.1均值融合

2.4.2线性融合

2.4.3 多分辨率融合

2.5投影显示模型

2.5.1二维平面投影

2.5.2三维几何体投影

2.6本章小结

第3章 多视全景视频系统主要模块设计与实现

3.1本章引言

3.2 多视全景视频系统流程图

3.3基于SFIT算法的特征提取

3.3.1 尺度空间极值检测

3.3.2特征点筛选及精确定位

3.3.3特征点方向分配

3.3.4生成特征点描述符

3.3.5实验结果与分析

3.4基于K-D树的快速特征匹配

3.4.1 ANN搜索与K-D树

3.4.2实验结果与分析

3.5基于RANSAC的精确匹配

3.5.1 RANSAC算法原理

3.5.2实验结果与分析

3.6最优投影矩阵的确定

3.7投影平面配准

3.8重叠区域融合

3.8.1 双线性加权融合

3.8.2非线性融合

3.8.3实验结果与分析

3.9有效区域裁剪

3.10本章小结

第4章 基于GPU的全景视频系统优化方案

4.1本章引言

4.2 GPU体系结构分析

4.2.1 3D图形管线结构

4.2.2非图形功能结构

4.3基于GPU的通用计算模型

4.3.1流式编程模型

4.3.2编程接口及着色器语言

4.4特征提取模块的GPU加速

4.4.1纹理存储设计

4.4.2尺度空间生成

4.4.3局部极值检测与梯度计算

4.4.4特征点列表生成及重组

4.5实验结果与分析

4.6本章小结

第5章 多视全景视频系统的性能测试与分析

5.1本章引言

5.2视频采集

5.3实验结果与分析

5.4本章小结

第6章总结和展望

6.1总结

6.2下一步工作计划

参考文献

致谢

在学期间发表的学术论文与研究成果