多视点信息融合与合成技术研究

摘要

立体视频(Three Dimension Video,3DV)作为一种新型的视觉信息媒体,已经深入到了人们生活、工作和娱乐的各个方面。与传统的二维视频相比,立体视频可以向用户提供场景中的深度信息,产生更加真实生动的视觉效果;但同时也具有数据量庞大、数据相关性复杂等特点,这对立体视频系统的推广与普及带来的巨大挑战。
　　近年来,立体视频体系中相关技术的研究已经成为国际视频研究领域的热点问题。对三维场景信息更加有效的采集、表示、编码、合成以及显示,是研究立体视频必须解决的重要问题。目前,立体视频的标准化进程已经启动,并且将多视点视频(Multi-view Video)以及多视点纹理加深度视频(Multi-view plus depth)作为立体视频的主要表示形式。在编码端对多视点视频信号的压缩编码效率,以及在终端合成的虚拟视点质量,将成为影响整个立体视频体系的关键环节。本文针对这两个问题分别进行探讨研究,并针对现有问题提出了有效的解决方案,获得了较好的性能提升。
　　在多视点视频编码中,虽然基于H.264/AVC标准的MVC编码体系考虑到视点间的信息冗余,提高了多视点视频的编码效率,同时也增加了编码端的数据交互和计算复杂度,使其无法应用于编码端能耗或计算性能受到严格限制的情形。分布式多视点视频编码(Distributed Multi-view Video Coding,DMVC)是一种基于Wyner-Ziv理论的分布式编码框架,可以在解码端挖掘视点间的相关性,从而减轻了编码的负担,适用于上述应用场景。在DMVC中解码端会生成两种边信息:时间边信息与视点间边信息;对这两种边信息进行适当融合,可以提升DMVC编码效率,改进重建帧的质量。本文提出了基于条件随机场模型的边信息融合算法,利用二维网格型的条件随机场对融合边信息建模,充分挖掘出多视点视频中的时间上的连续性与空间结构的一致性。在条件随机场建模过程中,将当前帧的时间边信息、视点间边信息以及相应的预测误差信息作为观测值,利用状态势函数描述边信息局部区域的可靠性,利用转移势函数描述边信息空间结构的规则性。条件随机场模型的参数由已重构帧集合通过训练不断更新,结点的标签状态根据置信传播算法推断得出,并用来融合时间边信息与视点间边信息。经过实验证实,本文提出的基于条件随机场模型的融合算法性能要优于现有融合方案。
　　在立体视频体系中,虚拟视点的合成质量对最终的用户体验有着重要影响。基于深度图像的绘制方法(depth-image based rendering,DIBR)是目前虚拟视点合成的主流算法,由多视点纹理以及深度信息可以合成出一定视角范围内的任意虚拟视点。虽然该算法具有绘制速度快、所需输入视点数目少等优点,但目前深度信息的生成需要人机交互,这就使得立体视频的制作成本大大增加。基于图像域变形的算法(Image Domain Warping)可以在没有深度信息的前提下合成出较高质量的虚拟视点,近年来也得到了研究人员的广泛关注。本文针对现有合成技术中存在的时间不连续现象以及轮廓失真、鬼影等问题,提出了基于时空一致性的虚拟视点合成算法。一方面,利用视频序列中的运动信息对变形函数的时间连续性进行约束,消除因局部或全局运动引起的形状失真。另一方面,采用基于显著性曲线检测的算法,增加视觉敏感区域的视差约束,减少变形失真造成的鬼影效果。实验证明,本文提出的基于时空一致性合成方案,有够有效地去除合成视点中的运动变形、鬼影以及抖动等失真问题,得到高质量的虚拟视点序列。

目录

封面

声明

中文摘要

英文摘要

目录

插图索引

表格索引

第一章 绪论

1.1 引言

1.2 立体视频技术的相关研究

1.3 本文主要贡献和章节安排

第二章 立体视频技术中的基本理论知识

2.1 引言

2.2 图像成像模型

2.3 人眼视觉系统及成像原理

2.4 本章小结

第三章 分布式多视点视频的边信息融合

3.1 引言

3.2 分布式多视点视频编码

3.3 基于条件随机场模型的边信息融合

3.4 实验结果与分析

3.5 本章小结

第四章 虚拟视点的合成技术研究

4.1 引言

4.2 基于深度图的虚拟视点绘制技术

4.3 基于图像域变形的虚拟视点合成算法

4.4 基于时空一致性的虚拟视点合成算法

4.5 实验结果与分析

4.6 本章小结

第五章 总结与展望

5.1 全文总结

5.2 未来工作展望

参考文献

致谢

攻读学位论文期间发表的学术论文和科研成果目录