三维视频中深度辅助纹理编码技术研究

摘要

随着3D采集和显示设备技术的不断成熟，3D视频逐渐走入人们的生活并显示了巨大的商业潜力。近年来，多视角纹理视频加深度视频(Multiview Videoplus Depth，MVD)的3D视频系统逐渐成为了研究的热点。MVD仅需要传输有限个视角的纹理视频和逐像素对应的深度视频，就可以在播放端实现任意视角的视频点播，数据量相对于多视角视频有了极大的下降。这种优势使MVD成为当下最具潜力的3D视频数据表达形式，并被采纳为下一代3D视频编码标准的基础格式。然而，MVD仍需要传输多个视角的数据，用H.264/MVC分别压缩纹理数据和深度数据虽然简单易行，但效率不高。因此有必要根据MVD的特点提出新的技术实现更高效的压缩。
　　 本文重点研究深度辅助纹理视频编码技术，开发纹理和深度之间的冗余，设计出了高效率、低复杂度的纹理视频压缩算法。论文的主要工作及创新之处在于:
　　 1.提出了一种高效率的基于深度的纹理视频的运动矢量预测(MotionVector Prediction，MVP)算法。MVP是压缩运动矢量的基础方法且基于MVP的Skip/Direct模式是视频编码中的一种极为高效的编码模式。在3D视频编码中，视角间预测的加入使运动矢量场的分布更为复杂，使得原本基于中值操作的MVP不再适用。本文首先针对纹理视频的常规帧间模式提出了基于方向的MVP算法，能够根据参考帧类型自适应地决定编码块的MVP;然后针对Skip/Direct模式提出利用候选运动矢量对应的深度失真选择最优运动矢量预测值。
　　 2.提出了一种低复杂度的基于块的虚拟合成预测(View Synthesis Prediction，VSP)算法。VSP能够利用深度图像建立视角间的非线性对应关系，是3D视频编码的一项重要技术。传统的VSP技术采用前向投影，需要合成一幅完整的虚拟参考帧并放在参考帧列表中，复杂度极高，内存消耗极大。但是，深度图的噪声较高导致虚拟参考帧的质量有限，因此实际上选择虚拟参考帧的预测块的比例并不会很高。因此本文提出利用后向投影技术只合成那些会被用作参考的块，这种基于块的虚拟合成预测技术可以很好地与H.264/AVC中以块为单元的运动补偿操作兼容。
　　 本论文在3D-AVC（Advanced Video Coding based3D video）参考代码3D-ATM(Test Mode for3D-AVC)上实现以上两个算法并且对其性能进行测试。实验结果表明算法一的平均码率节省可达8.4％，最高的码率节省为12.5％。算法二不仅不会降低编码性能，而且能够使解码时间下降20％，同时不会有额外的内存开销。这些结果充分表明本文提出的方法行之有效。这两项技术均被正在制定中的3D-AVC所采纳。

目录

声明

摘要

第1章 绪论

1．1 研究背景

1．2 问题的提出及研究意义

1．3 全文内容安排

第2章 三维视频编码基础知识概述

2．1 视频编码原理概要

2．1．1 视频编码标准H.264／AVC

2．1．2 多视角视频编码标准

2．2 三维视频基础知识概要

2．2．1 深度图像估计技术

2．2．2 虚拟视角合成技术

2．2．3 三维视频标准的发展

第3章 基于深度的运动矢量预测技术

3．1 H.264／AVC运动矢量预测技术

3．1．1 运动矢量预测

3．1．2 Skip／Direct模式

3．1．3 分析

3．2 基于深度的运动矢量编码技术

3．2．1 基于方向的运动矢量预测技术

3．2．2 基于深度失真的Skip模式

3．3 实验结果和讨论

3．4 本章小结

第4章 基于块的虚拟合成预测技术

4．1 前向投影的虚拟合成预测技术

4．1．1 基于前向投影技术的现有改进算法

4．1．2 前向投影技术的缺点

4．2 基于块的虚拟合成预测技术

4．3 实验结果和分析

4．4 本章小结

第5章 总结与展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果