基于深度图像绘制中的空洞填充

摘要

近年来，随着3D显示技术的迅速发展，3D电视已成为我们日常生活中的一个重要电子产品。基于深度图像绘制(depth-image-based rendering, DIBR)是3D显示的关键技术。它能够合成一定范围内的任意视点的视图，从而使3D电视系统具有交互性和立体感。但这一技术有一个缺陷——合成的视图会产生“空洞”。
　　本论文的目的是提出高性能的空洞填充算法，提高合成视图的质量，为DIBR技术在3D电视系统中的广泛应用提供理论和技术支撑。
　　论文主要研究了基于深度图像绘制的视图合成空洞填充算法。根据空洞的特点，本论文提出了三种空洞填充算法：基于运动矢量(Motion vector, MV)泛三维图像变换的空洞填充算法，基于时空搜索的空洞填充算法以及基于Delaunay三角剖分的空洞填充算法。
　　论文的主要研究成果包括：
　　①为了寻找到目标图像中可用于空洞填充的图像内容，引入了运动矢量(MV)泛三维图像变换的概念，提出了一种基于MV泛三维图像变换的空洞填充方法。研究了适用于平行摄像机设置和非平行摄像机设置的MV泛三维图像变换函数，对其性质和正确性进行了分析，并利用两种方式来填充空洞：1)利用参考图像MV从参考图像序列的其他帧拷贝内容；2)利用目标图像MV从目标图像序列的其他帧拷贝内容。实验表明后一种方式的性能更好，适合于运动物体造成的空洞的填充。
　　②为了保证所填区域的时空一致性，提高合成视图的图像质量，提出了一种基于时空搜索的空洞填充算法。该算法利用目标图像序列以及当前目标图像的参考图像来填充空洞。算法首先引入了序列暴露区域（sequence-disoccluded region, SDR）搜索算法以寻找真实内容来填充空洞；然后利用三维图像逆变换从参考图像中拷贝内容来填充剩下的部分空洞；最后采用图像修复算法填充边缘空洞。实验表明该算法不仅大大减少了伪像，保证了结果的时空一致性，而且相比于深度图像预处理的方法避免了非空洞区域图像质量的降低。
　　③针对目标图像中由旋转或者缩放物体产生的空洞，提出了一种基于Delaunay三角剖分的空洞填充算法。该算法充分利用了Delaunay三角剖分在图像变形技术中的特性。算法首先对深度图像进行特征点检测以及Delaunay三角剖分，然后通过三角形映射关系确定目标图像三角形空洞像素点在参考图像对应三角形中的像素点，接着采用双线性插值方法确定填充的像素，最后从参考图像中复制像素进行边缘空洞的填充。实验结果显示该算法适用于处理目标图像中存在旋转或缩放物体的情形。
　　上述研究成果可为DIBR视图合成技术在3D电视中的应用提供具有实用价值的新方法。

目录

封面

中文摘要

英文摘要

目录

符号说明

术 语 表

1 绪 论

1.1 研究立项依据

1.2论文研究内容及结构安排

2 基于MV泛三维图像变换的空洞填充

2.1 引言

2.2MV的泛三维图像变换

2.3 MV泛三维图像变换函数

2.4 实验

2.5 本章小结

3 基于时空相结合的空洞填充

3.1 引言

3.2 算法描述

3.3实验结果

3.4本章小结

4 基于Delauny三角剖分的空洞填充

4.1 引言

4.2 Delaunay三角剖分和Harris算子

4.3 算法描述

4.4 实验结果与对比分析

4.5 本章小结

5 总结与展望

5.1 本文工作总结

5.2 后续工作展望

致谢

参考文献

附录

A. 作者攻读期间发表的相关科研论文

B. 作者攻读期间申请的相关专利

C. 作者攻读期间参与的相关科研项目

D. 作者攻读期间参与的竞赛获奖

E. 相关代码的SVN路径