三维视频滤波及预测编码技术研究

摘要

三维视频是多媒体领域的研究热点。近些年，人们将反映物体与相机距离的深度图引入传统三维视频中，形成了基于深度的三维视频系统。利用虚拟视合成技术，此系统可以生成任意视点位置的虚拟视图像。虚拟视合成利用深度信息求得视点间的视差，进而将像素点映射到虚拟视图像平面。在此过程中，深度噪声会引起视差计算错误，导致合成视的几何失真，深度图滤波方法是三维视频的主要研究方向之一。此外，三维视频所包含的巨大数据量是制约其普及的关键因素，人们已提出多种基于视差的视点间预测编码方法来提高编码效率，但这些方法仍有待优化。本文围绕上述内容开展了如下研究工作。
　　1、深度图空域滤波方法：指出像素点的相关性由它们在真实空间中对应点的相关性决定，从三维空间位置临近性、纹理相似性和运动一致性三个方面对像素之间的相关性进行建模，提出了三维空间距离-纹理-运动三边滤波方法。将纹理图从YUV彩色空间转换到RGB彩色空间以充分利用视频中的色度信息，并根据纹理相似性确定参与滤波的像素点，进而提出深度图边界修复滤波方法。
　　2、深度图空-时域滤波方法：在空域滤波的基础上，从三维空间位置临近性、纹理相似性和时间临近性三个方面对空-时域像素之间的相关性进行建模，提出了三维空间距离-纹理-时间深度图空-时域滤波方法。针对滤波过程中纹理图和深度图可靠性难以判断这一问题，通过联合利用纹理和深度信息，引入了像素向量的定义，并利用像素向量的相似性对像素的相关性进行建模，进而对最终参与滤波过程的空-时域参考像素点进行筛选，并利用中值滤波方法得到滤波结果，实现了的基于像素向量的深度图空域-时域滤波方法。
　　3、基于深度的分块预测方法（视点间预测）优化：发现了此预测方法将无用的模式标志位（不可能使用此模式的情况）写入码流的漏洞，并利用此模式分块为非正方形这一特点，对其码流写入方法进行修正。
　　上述空域和空-时域滤波方法取得了较好的滤波效果，提高了虚拟视合成结果的质量。此外，所提出的码流写入优化方法也有效提高了编码效率。

目录

封面

声明

中文摘要

英文摘要

目录

第一章 绪 论

1.1 研究工作的背景与意义

1.2 国内外研究现状和发展态势

1.3 本文主要研究内容及创新点

1.4 本文结构安排

第二章 基于DIBR的虚拟视合成

2.1 虚拟视合成技术

2.2 深度图中噪声对虚拟视合成的影响

2.3 视差在视点间预测编码技术中的应用

2.4 本章小结

第三章 三维视频深度图空域滤波方法

3.1 典型空域滤波方法

3.2 三维空间距离-纹理-运动三边滤波方法

3.3 深度图边界修复滤波方法

3.4 本章小结

第四章 三维视频深度图空-时域滤波方法

4.1 三维空间距离-纹理-时间深度图空-时滤波方法

4.2 基于像素向量的深度图空-时域滤波方法

4.3 本章小结

第五章 视点间预测编码方法优化

5.1 基于深度的分块预测优化方法

5.2 本章小结

第六章 全文总结与展望

6.1 全文总结

6.2 后续工作展望

致谢

参考文献

攻读硕士学位期间取得的成果