基于深度图像的虚拟视点绘制算法研究

摘要

随着通信系统的高速发展，近几年，社会发生了一个从二维多媒体技术到三维多媒体技术的巨大转变。三维多媒体技术广泛应用于三维电视(Three dimensionalTelevision，3DTV)，自由视点电视，3D影院，家庭影院，PC游戏，体育，教育，医学，商务，计算机可视化等领域，为人们提供更佳的视觉体验。该技术中的自由视点视频(Free-viewpoint Television，FTV)技术可以在用户无需借助任何工具的情况下实现三维立体场景的构建，因此受到广泛关注。
　　基于深度图像绘制(Depth-image Based Rendering，DIBR)技术是FTV系统中的关键技术。它通过纹理图和其相应的深度图合成虚拟视点。相比较基于模型的虚拟视点绘制技术（Model-based Rendering，MBR）和基于图像的虚拟视点绘制技术(Image-basedRendering，IBR)。DIBR技术具有带宽需求小，输入图像数量少，绘制速度快的优点。单向DIBR技术映射速度快，双向DIBR技术能够利用左右视图实现对遮挡区域的信息互补。单向DIBR技术应用在3D-HEVC编码技术中，双向DIBR技术应用于VSRS软件中。但是，无论单向DIBR技术还是双向DIBR技术都仍然存在空洞，重采样，重叠和伪影问题。双向DIBR技术还存在计算复杂度较高的问题。这些问题影响了合成视点的质量。本论文针对单双向DIBR技术里面的空洞、重采样和重叠问题以及双向DIBR技术中的计算复杂度高的问题进行改进。
　　本文通过分析DIBR技术中的空洞，重采样，重叠和伪影问题的成因和解决方案，提出了以下研究创新点:
　　(1)针对单向DIBR技术中产生的空洞问题，提出基于深度与梯度混合的Criminisi算法。该算法先对优先级进行改进，加入指数形式的置信度项和新的数据项，加强对细节部分的填补。在搜索最佳匹配块时，采用新的颜色匹配因子，添加梯度因子，结合深度因子，对映射后的纹理图和相对应的深度图进行搜索匹配，有效填补图像中的空洞。
　　(2)针对双向DIBR技术中产生的重采样和重叠问题，提出一种改进整数像素判断方法的一对四像素(One Pixel to Four Dots，OPFD)算法。该算法首先使用一种新的方法确定分像素。然后使用新的方法判断整数像素空洞，即利用周围确定的分像素信息推断出所求整数像素深度值。接着，通过定义合适的初始深度阈值和极限深度阈值，筛选出满足条件的分像素。最后，使用改进的分像素融合公式，使分像素和整数像素深度值保持一致，避免像素点融合错误情况的出现。实验结果表明，改进算法较传统细小空洞填补算法的主客观评价更好，且时间复杂度降低，运行时间缩短。
　　(3)针对双向DIBR技术会产生空洞，重采样，重叠问题，提出一种改进的正反向映射技术。该技术主要从四个方面改进了双向DIBR技术。一提出一种深度差值估计法，提升了寻找主要参考图像的精确度。二在3D-warping过程中使用改进的基于Z-buffer的OPFD算法，有效解决重采样和重叠问题。三对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。四改进反向映射过程，通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性，选择不同的空洞填补算法填补彩色虚拟图像中的空洞以达到更好的填补效果。改进技术降低了算法复杂度。
　　实验结果表明，以上改进算法较传统算法的在主观图像质量与客观峰值信噪比(Peak Signal to Noise Ratio，PSNR)以及结构相似(Structural SIMilarity，SSIM)都有所提高。

目录

声明

摘要

1．1 论文研究背景和意义

1．2 自由视点视频技术的发展及研究现状

1．3 论文选题依据

1．4 论文的主要工作和创新点

1．5 论文的组织结构

2．1 DIBR技术

2．1．1 DIBR技术原理

2．1．2 单向DIBR技术

2．1．3 双向DIBR技术

2．2 DIBR技术遇到的问题和解决方法

2．2．1 重叠问题

2．2．2 重采样问题

2．2．3 空洞问题

2．2．4 伪影问题

2．3 本章小结

3 基于深度与梯度混合的Criminisi算法

3．1 经典的Criminisi算法

3．1．1 优先级计算

3．1．2 最佳匹配块的寻找

3．1．3 置信度更新

3．2 改进的Criminisi算法

3．2．1 优先级的改进

3．2．2 匹配块搜索的改进

3．2．3 改进的算法步骤

3．3 改进算法的实验参数配置与算法性能评定

3．3．1 实验参数配置

3．3．2 实验结果与分析

3．4 本章小结

4 改进整数像素判断方法的OPFD算法

4．1 改进的OPFD算法

4．1．1 算法框架

4．1．2 OPFD改进算法

4．1．3 具体实施方案

4．2 改进算法的实验参数配置与算法性能评定

4．2．1 实验参数配置

4．2．2 实验结果与分析

4．3 本章小结

5 基于深度图像绘制技术的正反向映射技术的改进

5．1 改进算法

5．1．1 算法框架的改进

5．1．2 改进算法的步骤

5．1．3 具体实施方案

5．2 实验结果与分析

5．2．1 实验参数配置

5．2．2 实验结果

5．3 本章小结

6．1 全文总结

6．2 研究展望

参考文献

攻读硕士学位期间所取得的研究成果

致谢