基于深度下采样的三维立体视频编码技术的研究

摘要

目前多视点联合深度（Multiview video plus depth，MVD）格式的三维视频数据在编码时，经常在编码前对深度图进行降采样处理，以达到降低码率的目的。然而引入的降采样失真将会影响合成视点的质量，而如何有效地在解码端进行深度图上采样就成为了这种编码方案需要解决的关键问题。因此本文提出了在深度图上采样过程中利用深度图的时间连续性、空间相关性及与其对应的视频纹理图像的相关性的深度图上采样方案，提高了上采样算法的性能和最终合成虚拟视点的质量。
　　另外，在MVD格式三维视频编码中提高深度视频编码性能的最终目的是为了提高合成虚拟视点的质量，因此在深度图编码过程中衡量编码性能应基于合成的虚拟视点的质量，失真函数的计算应该是基于最终合成虚拟视频的失真而非深度视频的失真，因而利用传统的率失真函数模型来控制降采样深度图编码的码率分配已不适用。为此本文优化了基于深度图下采样的深度编码方案中的率失真计算函数，大大提高了深度图编码的效率，同时也减小了合成虚拟视点的失真。总结本文主要工作如下:
　　(1)提出了在视频纹理图像指导下利用深度图的空时相关性对深度图进行上采样的算法和奇偶分帧降采样算法，并且利用深度序列在时域的连续性和空域冗余大的特性在视频纹理图像的指导下对深度图进行上采样，以减小深度图的失真。
　　(2)提出了基于视频纹理图与深度图时空梯度信息的深度图上采样算法，在深度图上采样过程中，通过利用深度图的时间梯度、水平梯度和垂直梯度来确定深度图的时空相关性，进而决定像素点上采样的方法，该方法更加充分的利用了深度图的特性，提高了深度图编码的性能。
　　(3)在基于深度下采样的三维视频编码方案中，优化了深度图编码过程中的率失真函数。在下采样后的深度图编码过程中为了减小最终合成视点的失真，提出了一种高效并基于虚拟合成视点的率失真计算函数，在率失真优化过程中，将深度图下采样、图像映射和渲染等过程对深度图编码的影响考虑在内，优化合成视点的质量。实验结果验证了本文提出的率失真计算模型大大提升了编码的性能，并提高了最终合成的虚拟视点的主客观质量。

目录

声明

致谢

摘要

序

1 绪论

1．1 引言

1．2 论文研究背景及意义

1．3 三维视频编码研究现状

1．4 本论文主要工作及系统框架介绍

1．5 本论文组织结构

2 三维视频编码基础

2．1 引言

2．2 三维视频编码相关技术

2．2．1 三维视频的获取

2．2．2 虚拟视点合成和三维视频显示技术

2．2．3 常见的三维视频数据格式

2．3 MVD格式三维视频数据中深度视频的特点

2．4 本章小结

3 基于深度空时相关性的深度采样及编码

3．1 传统的基于深度采样的视频编码分析

3．1．1 基于深度采样的视频编码框图

3．1．2 传统深度上采样算法存在的问题

3．2 基于深度空时相关性的深度编码及采样方案

3．2．1 深度序列时域相关性的分析

3．2．2 优化的基于深度采样的视频编码方案

3．2．3 基于深度空时相关性的深度上／下采样算法

3．3 实验结果与分析

3．4 本章小结

4 基于纹理信息与深度空时梯度的深度图上采样算法

4．1 深度图空间和时间梯度的分析

4．1．1 深度图空间梯度的分析

4．1．2 深度图时间梯度的分析

4．2 基于纹理信息与深度空时梯度的深度图上采样算法

4．2．1 深度上采样过程中空时梯度的应用分析

4．2．2 深度图上采样算法的实现及步骤

4．3 实验结果与分析

4．4 本章小结

5 基于深度图下采样的三维视频编码率失真优化

5．1 二维视频编码中的码率控制分析

5．1．1 二维视频编码中的率失真模型分析

5．1．2 基于率失真模型的码率控制

5．2 三维视频编码率失真计算模型的分析

5．3 基于深度下采样的率失真优化编码

5．3．1 基于合成视点的率失真近似

5．3．2 基于深度下采样的率失真分析

5．3．3 基于深度下采样的率失真优化编码

5．4 实验结果与分析

5．5 本章小结

6 总结与展望

6．1 工作总结

6．2 工作展望

参考文献

作者简历

学位论文数据集