2D到3D视频转换中的深度图像传播和上采样的研究

摘要

随着3D显示技术的迅速发展，立体3D功能能够提供更加栩栩如生的视觉感受和视觉冲击已经成为高端电视的一个卖点。然而，根据最近的一项调查表明，由于缺乏立体3D内容，消费者在观看3D电视过程中其中使用立体3D功能的时间不到整个观看时间的1％。为了解决这个问题，2D转3D是一个非常有前景的方法。其中，深度图的估计是2D转3D的一个关键技术，我们所需要做的是从已存的2D视频中估计出准确的深度图并利用深度图像渲染技术来合成高质量的立体3D视频。在本文中，我们通过对现有深度图像估计方法的深入研究。讨论了基于纯手工、半自动和全自动的深度图像估计方法，并分析了各自方法的优缺点。通过对半自动深度图像估计技术中的传统深度图像估计框架的深入研究，提出了四种改进的深度图像估计算法。另外，考虑到现今深度图像采集系统在预处理深度上采样过程中存在不可避免的出现文本复制、孔洞等降低深度图像质量的问题，我们提出了一种改进的方法。本文深入讨论了3D立体视频生成过程中的深度图像估计算法以及深度图像采集系统中深度图像上采样方法，主要从以下几个方面开展了工作：
　　1、分析了2D视频立体化的原理，重点讨论了基于纯手工、半自动和全自动的深度图像估计方法。
　　2、提出了一种基于联合测地距离的2D视频立体化方法，为了产生高质量的深度图，我们利用了一种从关键帧深度图像到非关键帧深度图像估计的半自动方法。基于块匹配来估计当前帧和参考帧之间的运动向量，并结合参考帧深度图和运动估计向量来深度补偿当前帧深度图，最后利用联合测地距离滤波进行深度图的优化。实验结果证明，改进的方法可以提高深度图像的估计质量。
　　3、提出了一种基于超像素匹配并联合双边滤波的2D转3D视频方法。基于超像素匹配来估计当前帧和参考帧之间的运动向量，并结合参考帧深度图和运动估计向量来深度补偿当前帧深度图，最后利用联合双边滤波进行深度图的优化。实验结果证明，改进的方法可以提高深度图像的估计质量。
　　4、提出了一种基于自适应图像引导的自回归模型并联合超像素匹配的半自动2D转3D视频深度传播方法。基于超像素匹配来估计当前帧和参考帧之间的运动向量，并结合参考帧深度图和运动估计向量来深度补偿当前帧深度图，最后利用自回归模型来最小化深度误差。实验结果证明，改进的方法可以得到高质量深度图。
　　5、提出了一种基于超像素匹配并利用快速加权中值滤波的深度传播方法。基于超像素匹配来估计当前帧和参考帧之间的运动向量，并结合参考帧深度图和运动估计向量来深度补偿当前帧深度图，最后利用快速加权中值滤波进行深度图的优化。实验结果证明，改进的方法可以提高深度图像的估计质量。
　　6、提出了一种消除纹理复制和深度孔洞的边界保护深度上采样方法。在深度图上采样之前我们基于回滚滤波对高分辨率的彩色图像进行滤波处理，具有保护物体边界，同时成功消除纹理复制的特性。此外，低分辨率深度图像受到噪声影响，包含沿着物体边界的孔洞存在。因此，我们利用快速加权中值滤波消除噪声并填充孔洞。

目录

封面

声明

英文摘要

中文摘要

Illustrations Index

Table Index

Symbol Table

Abbreviations Table

目录

Chapter 1 Introduction

1.1Background and Research Status

1.2Our Contributions

1.3Thesis Organization

Chapter 2 Related Works

2.1 The Principle Framework of 2D to 3D Video Conversion

2.2The Depth Map Generation in 2D to 3D Video Conversion

2.3 Depth Upsampling in Stereo-Plus-Depth Image Capturing System

Chapter 3 Joint Geodesic Depth Propagation for 2D-to-3D Video Conversion

3.1 Introduction

3.22D to 3D Conversion Using Joint Geodesic Distance

3.3Experimental Results

3.4 Conclusions

Chapter 4 Superpixel Matching-Based Depth Propagation for 2D-to-3D Video Conversion

4.1 Introduction

4.2 Superpixel Matching-based Depth Propagation for 2D to 3D Video Conversion

4.3Experimental Results

4.4 Conclusions

Chapter 5Boundary-Preserving Depth Upsampling without Texture Copying Artifacts and Holes

5.1 Introduction

5.2Boundary-Preserving Depth Upsampling without Texture Copying Artifacts and Holes

5.3Experimental Results

5.4 Conclusions

Chapter 6 Summary and Future Plan

6.1 Summary

6.2Future Plan

参考文献

致谢

Biography