2D-3D视频系统中深度图传播算法的研究

摘要

立体视频技术不断发展，将在娱乐、医疗、教育等方面发挥重要作用。与传统2D视频相比，3D视频能够更加真实展示场景画面，给观众带来沉浸式体验。3D显示设备数量的快速增长导致消费者市场对3D片源需求非常迫切。优质的3D片源短缺已经成为制约3D视频产业发展的重要因素。2D-3D视频技术是一种高效制作3D片源的方式。此外，2D-3D视频技术可以将经典的传统2D视频生成3D视频，产生巨大的商业价值。目前，商用化的2D-3D视频制作主要依靠人力，制作周期长。半自动2D-3D在保证深度图质量的同时，可以有效地降低人力成本。半自动2D-3D技术利用人机交互给出关键帧的深度值，通过深度图传播算法得到其余帧的深度信息；最后通过虚拟视点合成技术得到最后的3D视频。深度图传播算法是在半自动2D-3D系统中的重要步骤，针对现有算法的不足，提出了两种改进的深度图传播算法。
　　本文提出了基于结构优先的深度图传播算法。目前基于运动矢量和双边滤波的深度图传播算法对运动估计误差敏感以及在遮挡区域容易带来深度传播误差。针对这两方面问题，结构优先的深度图传播算法利用视频的时域连续性设计了两种不同的深度传播策略。视频帧分成一致性区域和非一致性区域。在一致性区域使用位移双边滤波算法得到深度传播结果。在非一致性区域，错误的运动估计和物体遮挡的发生，基于运动的深度传播算法会带来传播差错。非一致性区域深度的空洞填充问题被定义为马尔科夫随机场估计问题，用改进的结构优先置信传播算法求解。张量投票算法被用来预测空洞区域的结构显著性。利用结构显著性信息，本文提出的结构优先的置信传播算法可以提升置信传播算法计算效率，保护深度图结构性。
　　基于张量投票的深度图传播算法首先生成稀疏点集的深度信息，通过基于张量投票的插值算法得到完整的深度图。张量投票算法在两个方面发挥作用。利用四维张量投票算法，排除特征点集合中的错误匹配，保证利用运动信息估计的像素点的深度估计的可靠性。其次，通过张量投票算法计算得到高维空间的局部平滑结构，建立位置、运动和颜色特征与深度信息的相关性。进一步，令输入特征投影到切面空间中，在稀疏点集的邻域内进行深度值插值，得到稠密的深度图。基于张量投票的深度图传播算法在前景物体快速移动和遮挡情况下都能够可靠的估计深度信息。实验结果证明，基于张量投票的深度传播算法相较于现有的算法有明显的性能提升。

目录

声明

第一章 绪论

1.2 立体视频技术

1.3 深度图提取技术

1.4 论文研究内容

第二章 2D-3D视频技术

2.2 自动2D-3D视频系统

2.3 半自动2D-3D视频系统

2.4 本章小结

第三章 结构优先的深度图传播算法

3.2 结构优先的深度图传播

3.3 结构优先的置信传播算法

3.4 实验结果与分析

3.5 本章小结

第四章 基于张量投票的深度图传播算法

4.2 张量投票算法概述

4.3 基于张量投票的深度图传播算法

4.4 实验结果和分析

4.5 本章小结

第五章 总结与展望

5.2 未来工作展望

参考文献

致谢

攻读学位论文期间发表的学术论文和科研成果目录