多视点视频编码和虚拟视图合成技术的研究

摘要

任意视点电视是一种新型的交互式三维电视，它允许用户自由选择观看的视点视频，并能实现立体视频的播放。本文重点研究了任意视点电视系统中的两个重要模块—多视点视频编码和虚拟视图的合成。 与传统的单视点视频编码相比，除了视点内图像的时间冗余，多视点视频编码还需根据多视点视频视点间图像的相关性特征，引入视点间预测以消除视点间图像的冗余。本文详细介绍了多视点视频编码的时间/视点间混合参考预测结构，提出评价此结构随机访问性能的数学模型。利用这套数学模型，本文结合压缩效率进一步研究了参考预测结构的随机访问性能与图像组长度的变化关系，总结出编码时选择图像组长度应遵循的原则。另外，由于多视点视频编码引入视点间预测，提高了编码复杂度，降低了多视点视频的随机访问性能。因此，本文对参考预测结构的视点间预测关系作了一些修改，限制某些图像预测编码时参考图像的选取范围。在几乎不影响编码效率的情况下极大地降低了编码复杂度，改善了随机访问性能。 对于虚拟视图合成模块，本文的研究工作主要在光线空间领域进行。文中根据光线空间数据的方向性特征，提出两种光线空间插值算法，分别是基于行的方向检测插值算法和基于滑动窗口的方向检测插值算法。这两种插值方法分别从不同程度上消除了图像纵向边界的重影，可以获得较清晰的纹理，而且降低了方向检测时的计算复杂度，节省了运行时间。

目录

文摘

英文文摘

声明

第一章绪论

第二章FTV概述

2.1 FTV系统

2.2 FTV的实现方法

2.2.1基于3D模型的方法

2.2.2基于光线空间的方法

2.3小结

第三章关于MVC的研究

3.1基于H.264/AVC的MVC

3.1.1多参考图像预测

3.1.2参考图像管理

3.1.3分层B帧预测结构

3.2 MVC的研究内容

3.3 MVC的功能需求和测试条件

3.3.1功能需求

3.3.2测试序列和测试条件

3.4.MVC预测结构

3.4.1 MVC参考预测结构

3.4.2参考预测结构的性能评价指标与性能分析

3.5改进的MVC预测结构

3.5.1改进的预测结构介绍

3.5.2实验

3.5.3实验结果和性能分析

3.6小结

第四章FTV虚拟视图的合成

4.1基于图像的视点图像生成

4.2基于光线空间的视图生成技术

4.2.1光线空间 slice的特征

4.2.2已有的插值方法

4.2.3基于方向性特征检测的光线空间插值

4.2.4基于行的方向性检测插值算法

4.2.5基于滑动窗口的方向检测插值算法

4.3小结

结束语

致 谢

参考文献

研究成果