深度视频信号预处理及其在编码中的应用研究

摘要

多视点视频能够让观众体验到震撼逼真的立体感，应用前景非常广阔。多视点视频系统采用基于MVD(Multi-view video plus depth)的3D场景表示形式，与单视点视频系统相比，传输需要占用的带宽和数据量成倍增加。MVD视频信号中相同视点的深度视频与对应的彩色视频相比较，纹理更少，更加平坦。在相同编码的条件下，深度视频平均只占彩色视频序列20％左右的码率。利用基于深度的虚拟视点绘制方法可以由少数的几个视点绘制得到多个视点，大大降低MVD编码传输的数据量。但是，受现有的深度视频获取技术的局限，目前得到的深度视频并不准确，其时域和空域相关性较弱，对编码效率有很大的影响。深度视频的不准确性还会导致在虚拟视点绘制的过程中空洞的出现，进而影响虚拟视点的质量。本文开展深度视频预处理及其在编码中的应用研究，拟提高编码码率、编码速度和虚拟视点的绘制质量，主要包含以下三个部分。
　　（1）深度视频预处理算法设计的空域滤波器常采用的是规则的矩形窗口，那么同一窗口内可能会覆盖不同的对象，这样滤波后会导致深度视频存在一定程度的失真，最终影响虚拟视点的绘制质量。本文提出了一种深度视频空域预处理方法，其中滤波窗口的大小和形状可以自适应改变。首先，提取深度视频中的边界区域、不连续区域、前景和背景区域。然后，采用高斯滤波器对不连续区域进行滤波，采用基于自适应窗口的空域滤波器对连续区域的前景区域和连续区域的背景区域分别进行处理，其中各个区域中属于边界区域的像素跳过不处理。实验结果表明，提出的方法能够平均提高绘制得到的虚拟视点的PSNR达0.21dB，同时节省8.33%-34.39%的码率。
　　（2）现行主流的多视点视频编码结构大部分都包含了B帧和P帧，编码效率的贡献主要在于时域上的挖掘。因此，仅仅从空域上对深度视频处理是不够的。本文提出了一种深度视频时空域联合增强算法。首先，分析了深度失真与虚拟视点绘制质量关系，结合人类视觉系统特性，得出JNDD(Just noticeable depth distortion)模型。然后，对深度视频进行基于JNDD的时空域增强。实验结果表明，提出的方法能够节省11.28%-46.70%的编码码率。绘制得到的虚拟视点的主观质量和客观质量都没有明显的变化。
　　（3）深度视频快速编码对于3D视频实时传输意义重大。传统的快速编码方法由于不可避免的存在误匹配，编码码率一般会基本不变或者在一定范围内增加，且虚拟视点的绘制质量难以提高，结合预处理的深度视频快速编码算法可以弥补传统快速编码的弊端。本文提出一种联合预处理的深度视频快速编码方法。首先对深度视频进行预处理增强时空相关性，然后根据各个区域宏块模式分布规律特性，设计不同的宏块模式选择策略来提高编码速度。实验结果表明，提出的方法可以使深度视频编码时间节省88.21%-90.68%，码率节省0.24%-36.02%，虚拟视点绘制质量基本不变。

目录

封面

声明

中文摘要

英文摘要

目录

引言

1绪论

1.1选题背景与研究意义

1.2国内外研究现状

1.3本文的研究内容和创新点

2多视点视频系统

2.1多视点视频信号的采集

2.2多视点视频编码技术

2.3基于深度的虚拟视点绘制技术

2.4多视点显示技术

2.5本章小结

3基于自适应窗口的深度视频空域预处理方法研究

3.1深度视频空域一致性分析

3.2基于自适应窗口的深度视频空域预处理方法

3.3实验结果及分析

3.4本章小结

4深度视频时空域联合增强方法研究

4.1深度视频时空相关性分析

4.2深度视频时空联合增强方法

4.3 JNDD模型的建立

4.4深度视频空域相关性增强

4.5深度视频时域相关性增强

4.6实验结果及分析

4.7本章小结

5联合预处理的深度视频快速编码方法研究

5.1深度视频掩膜提取

5.2深度视频空域增强

5.3深度视频时域增强

5.4深度视频快速编码

5.5实验结果及分析

5.6本章小结

6总结与展望

6.1本文工作总结

6.2未来研究展望

参考文献

附录A 多视点视频测试序列

在 学 研 究 成 果

致谢