多视点立体视频系统的研究与实现

摘要

随着多媒体技术和网络通信技术的发展，视频作为多媒体的最重要模态，已经在工业生产和人们生活得到广泛使用。传统高质量二维平面视频虽能较好的反映客观物体的纹理，但是却不能带给人们深度的感知。为了使人们能够更方便的观看高质量的立体视频，新一代多视点立体视频系统应运而生。通常典型的多视点立体视频系统由采集模块，校正模块，编码模块，传输模块，解码模块，立体显示模块组成。
　　本研究主要内容包括：⑴多视点摄像机采集到的视频会存在水平和垂直方向以及缩放与旋转误差，为了提高最终合成的立体视频的显示质量，提出了一种改进的多视点视频校正算法。⑵校正后的多视点视频需要编码和传输，为了减小巨大的数据量，提出了一种基于九宫图格式视频的帧内优化编码算法和图像采样算法。⑶解码后的多视点视频需要合成才可以呈现到裸眼立体显示设备上。提出了一种可控参数的零视差点选取算法。⑷基于上述算法，开发了多视点立体视频演示系统。

目录

声明

致谢

摘要

序

1 绪论

1．1 引言

1．2 课题研究背景及意义

1．3 国内外研究现状

1．4 论文的研究内容及章节安排

1．4．1 研究内容

1．4．2 章节安排

2 多视点立体视频系统

2．1 引言

2．2 立体深度感知原理

2．3 双目视差模型

2．4 多视点摄像机采集阵列

2．5 系统框架和需要解决的问题

2．5．1 系统基本组成框架

2．5．2 采集模块存在的问题

2．5．3 校正模块存在的问题

2．5．4 编码传输模块存在的问题

2．5．5 立体显示模块存在的问题

2．6 本章小结

3 多视点立体图像校正

3．1 引言

3．2 摄像机成像模型

3．3 摄像机参数标定

3．4 基于标定的立体图像校正

3．4．1 Matlab工具箱标定和校正

3．4．2 基于OpenCV库的立体校正

3．5 基于标定的多视点图像校正

3．5．1 多视点摄像机模型

3．5．2 多视点平行摄像机阵列校正的理想效果

3．5．3 多个视点摄像机的理想旋转矩阵

3．5．4 多个视点摄像机的理想平移向量

3．5．5 多个视点摄像机的理想公共内参

3．5．6 多个视点摄像机的理想映射矩阵

3．5．7 多视点图像校正映射变换

3．5．8 实验结果比较

3．6 本章小结

4 多视点视频帧内优化编码

4．1 立体电视格式

4．2 基于九宫图视频的制作方法

4．3 基于九宫图格式视频的帧内优化编码算法

4．4 帧内优化编码参考帧的选取和编码排列顺序的分析

4．5 视频下采样方法

4．6 实验结果和分析

4．7 本章小结

5 多视点立体显示相关研究

5．1 零视差校准

5．1．1 零视差原理

5．1．2 特征点的提取和匹配

5．1．3 参数可控的零视差点选取算法

5．1．4 图像平移、裁剪和采样

5．2 基于棱柱镜的多视点立体图像合成

5．2．1 多视点子像素映射算法

5．2．2 多视点立体图像合成算法

5．2．3 裸眼自由立体显示器相关参数的工程测量方法

5．2．4 实验结果

5．3 本章小结

6 系统的软硬件实现

6．1 八视点立体视频系统

6．1．1 硬件模块

6．1．2 软件界面和功能

6．1．3 软件程序编写中遇到的问题

6．2 四视点立体视频系统

6．2．1 系统软硬件模块

6．2．2 程序编写中遇到的问题

6．3 立体摄像机的采集显示

6．4 本章小结

7 总结与展望

7．1 工作总结

7．2 工作展望

参考文献

作者简历

学位论文数据集