三维视频视觉质量及增强处理研究

摘要

三维视频是近十年来视频处理领域的一大热点。它将传统的平面图像生动地拓展到三维空间，带给观众更为真切的视觉体验。继传统的双目立体视频系统之后，一种新式的基于深度的三维视频系统正逐渐兴起:它通过虚拟视点合成由参考视点的纹理和深度图像产生目标虚拟视点的纹理图像，从而可由参考视点和虚拟视点图像共同构成具有合适视差的立体视频，实现用户自定义的、更为舒适的三维立体视觉体验，因此被ITU和MPEG等组织确立为第二代三维电视系统。
　　三维视频的视觉质量较二维视频更为复杂。双目立体观看中，不同的双目图像将激发深度感知、双目融合和双目竞争等多种双目视觉特性，从而引入双目感知相关的视觉质量影响因素。因此，三维视频的视觉质量被认为是包含图像质量和深度感受等若干因素的多维问题;求解这个复杂问题，可能需要对众多因素分而治之，依据视觉特性建立定量计算模型，从而逐步完善理论基础。
　　三维视频系统包括内容获取、压缩传输、三维重现等多个环节，其中每一环节均可能扭曲理想的三维视频信号、引入视觉失真。三维视觉质量增强既可以从消除视觉敏感的某些类型失真出发，直接提升图像的视觉自然度，也可以从更好地保持受损信号与理想信号之间的信号保真度出发，降低失真的整体强度，间接地增强主观质量。
　　本文第一章对比传统双目立体视频系统和新一代基于深度的三维视频系统，并简要阐述三维视觉质量的多种影响因素以及三维视频系统中视觉失真的引入途径。随后，总结回顾近年来三维视频视觉质量和三维视频处理领域的发展状况，进而阐明三维视觉质量的研究思路和三维视觉质量增强处理的两个可行方向。
　　第二章详细阐述三项关于三维视觉质量影响因素建模的研究工作，这些研究包括:1）创新地提出结合人眼视觉敏感度、视觉暂留、最近效应等多个重要视觉特性，通过时空域联合分析受损视频视觉失真强度的客观质量评价算子，其系统地模拟主观质量评价过程，并且在多个质量评价数据库上稳定地取得了世界领先的评价准确度;2）率先提出基于双目融合特性和掩蔽效应的双目最小可辨别差异模型，它将传统的双目最小可辨别差异模型拓展为更完善的双目模型，为双目信号失真感知提供理论基础;3）建立了世界首个双目竞争失真的主观样本数据库，其指明三维视频处理可能引起人眼敏感的双目竞争现象，并为双目竞争失真的检测和抑制方法研究提供主观实验样本。
　　第三章围绕虚拟视点合成模块，通过深入的理论分析，回答了两个重要问题:为什么合成图像中物体边缘区域容易产生显著的视觉失真？以及怎样通过视点合成使三维视频能够自动地呈现舒适的深度感？基于这些问题的分析结果，提出了两项视觉质量增强方法:1）抑制物体边缘失真的纹理图像改善方法，它从根本上分析并防止边缘失真的形成，相比于传统方法具有更好的理论性能和实际效果;2）在不同显示器上保持相同舒适深度感受的三维体验增强方法，该方法已经被JCT-3V组织采纳为三维视频后处理的一种辅助增强方法。以上两项工作分别从纹理真实度和深度舒适度出发，提高三维视频的视觉自然度。
　　第四章以三维视频编码为中心，提出面向重建三维视频保真度的理论模型与增强方法。一方面，通过理论推导，建立不引起视点合成图像变化的深度失真容限模型，该模型是面向目标虚拟视点图像质量的深度压缩等处理的理论基础，并基于该深度失真容限模型提出改善深度编码效率的两项编码预处理方法。另一方面，通过深度指示的视间对应关系，率先提出在非对称纹理编码应用中，以重建的高质量视点信号增强低质量视点图像保真度的编码增强后处理，该方法明显提升低质量视点的信号保真度，并帮助抑制其中的振铃效应和块效应。这两项研究工作目标在相同的传输代价下产生具有更高保真度的解码端图像，因而也有助于提高三维视频系统的运行效率和服务质量。
　　第五章首先总结本文的研究工作;之后，对三维视频质量分析和增强处理的未来动向作简要分析，并对三维视频产业的发展进行初浅的前瞻。
　　综上所述，本文的研究工作以认识和提高三维视频的视觉质量出发，通过主观实验和理论分析，增进了对三维视频视觉质量的理解，提出了三维视频质量评价和增强处理方面的一些创新理论和技术方法，帮助解决三维视频视觉质量改善方面的多个热点科学问题，为今后三维视频的广泛应用提供理论积淀和技术储备。

目录

声明

致谢

摘要

图目录

表目录

第1章 绪论

1．1．研究背景

1．1．1．传统双目立体视频系统

1．1．2．基于视点合成的三维视频系统

1．2．国内外研究现状

1．2．1．三维视频视觉质量及其损失来源

1．2．2．三维视频视觉质量研究概览

1．2．3．三维视频视觉质量增强研究概览

1．2．4．文献综述小结

1．3．本文所要研究的问题及论文的组织

第2章 三维视频视觉质量的影响因素及其建模

2．1．双目图像质量相关的部分视觉特性

2．1．1．单目视觉特性

2．1．2．双目视觉特性

2．1．3．三维视频图像质量损失的系统模型

2．2．基于单目视觉特性的图像质量评价

2．2．1．主观质量评价模型

2．2．2．模拟主观评价的视觉感知质量指数算子

2．2．3．实验结果及分析

2．3．基于双目融合特性的双目最小可辨别差异模型

2．3．1．实验环境设计

2．3．2．实验一：亮度掩蔽效应及双目噪声融合

2．3．3．实验二：对比度掩蔽效应

2．3．4．双目最小可辨别差异模型

2．4．双目竞争失真研究

2．4．1．双目竞争数据库的建立

2．4．2．实验结果及分析

2．5．本章小结

第3章 面向视觉自然度的三维视频处理

3．1．视点合成概述

3．1．1．三维投影

3．1．2．视点融合

3．1．3．空洞填充

3．1．4．合成失真的产生

3．2．视点合成中边缘失真的抑制方法

3．2．1．传统边缘失真消除方法

3．2．2．边缘失真的产生分析

3．2．3．基于边缘失真成因的失配抑制对齐增强法

3．2．4．边界点定位算法

3．2．5．实验结果与分析

3．3．基于视点合成的深度舒适度增强方法

3．3．1．不适深度感的成因

3．3．2．面向不同显示器的深度感保持技术

3．3．3．深度感保持与舒适区域关系

3．4．本章小结

第4章 面向信号保真度的三维视频处理

4．1．面向目标虚拟视点图像质量的深度处理优化理论

4．1．1．视点合成无误差的深度模型

4．1．2．基于视点合成无误差的深度模型的深度编码优化

4．2．视间纹理信号保真度增强滤波

4．2．1．非对称编码中视间对应像素的一致性

4．2．2．基于视间一致性的保真度增强滤波

4．2．3．实验结果及分析

4．3．本章小结

第5章 总结与展望

参考文献

作者在攻读博士学位期间的科研成果与科研工作