基于GPU和RGBD数据的虚拟视点绘制方法研究

摘要

随着多媒体技术的持续发展和人们对视觉体验追求的不断提高，传统的2D显示已无法满足大众需求。自由视点视频可以让用户通过交互的方式从任意的视角选择、操作具有立体感的多媒体视频，体验身临其境的观赏效果。近年来，计算机技术、网络通信技术、数据采集技术及立体显示技术的快速发展，进一步推动了自由视点视频的研究和应用，使其成为多媒体领域的极具发展前途的方向。虚拟视点绘制技术利用现有的参考视点图像绘制出新视点下的图像，作为自由视点视频的核心与关键，其绘制质量和效率之间的矛盾性，已成为目前制约自由视点视频应用普及的瓶颈。　　根据绘制过程中是否建立三维几何模型，虚拟视点绘制技术可以分为基于模型和基于图像的绘制两大类。基于模型的绘制方法需要建立场景的三维几何模型，因此，其绘制复杂度会随着场景复杂度的提高而增加；同时，这种高度密集型计算对显示设备的性能也提出了更高的要求。基于图像的绘制方法在绘制过程中不需要建立场景的三维几何模型，因此，虚拟视点图像的绘制速度与场景复杂度无关，通过插值或者采样点重新映射，直接绘制得到虚拟视点图像。基于深度图像的虚拟视点绘制（Depth Image Based Rendering，DIBR）作为基于图像绘制方法的一种，是当前虚拟视点绘制技术中的研究热点。其绘制过程仅需纹理图像及其对应的深度信息和参考视点摄相机的内外参数，即可在终端进行快速坐标映射还原出任意虚拟视点的图像，从而有效减少了需要传输的视点数量，降低了网络传输压力。但是，由于受深度数据的影响，DIBR技术在绘制过程中会遇到空洞、伪影、重叠、裂缝和绘制效率等问题。其中，空洞问题导致虚拟视点图像出现大范围的信息缺失；伪影问题导致在图像背景区域出现前景轮廓的现象；重叠问题导致在图像中某些区域出现背景可见而前景不可见的情形；裂缝问题导致图像出现局部信息缺失的现象；绘制效率低下导致图像不能实时绘制等。　　本文对以上基本问题进行研究，提出有效解决裂缝、伪影和绘制效率的方法，并通过实验与现有方法进行了对比，实现了虚拟视点绘制原型系统。针对裂缝问题，本文提出自适应中值滤波算法，当坐标处于裂缝区域时，算法会自动选取窗口的中值作为当前的像素值，从而既可以保持非裂缝区域原有的图像细节，避免传统的中值滤波所带来的轮廓平滑，又能够有效提升裂缝区域滤波效果，改善图像的主观质量。针对伪影问题，由于深度图像的量化误差、映射过程重采样误差和摄像机参数不准确等原因，导致前景中包含背景像素的现象，本文提出基于深度图像的帧内分层映射算法，将前景和背景分别映射，并用前景图像覆盖背景图像，解决了前景背景相互混杂的问题。文中实验使用了微软亚洲研究院交互可视化多媒体组提供的“Breakdancers”和“Ballet”视频图像序列，将本文提出的虚拟视点绘制方法与传统的单视点绘制、逆向映射方法绘制、传统的双视点绘制以及经典的RSVS软件和Kwan-Jung Oh方法绘制的虚拟视点图像进行对比。实验结果表明，本文提出的方法不论在主观质量评价还是客观质量评价方面，均取得了较好的结果。为提高绘制效率，本文引入基于GPU的并行绘制算法，对3D映射和虚拟视点图像融合部分进行并行处理，通过CUDA C编程，把绘制过程中的高密集计算部分放在GUP上并行处理，系统绘制速度相比在CPU上处理有较大程度的提升。　　本文从提高虚拟视点绘制质量和绘制效率的目标出发，使用C++和CUDA C编程语言实现了实用性更强的虚拟视点绘制原型系统。文中针对严重影响虚拟视点图像质量的重叠、空洞、伪影、裂缝等问题所提出的改进方法和基于 GPU加速的并行处理技术，对于推动自由视点视频的进一步发展将起到应有的作用。

目录

封面

声明

中文摘要

英文摘要

目录

第1章 绪论

1.1 引言

1.2 研究背景和意义

1.3 研究内容和创新点

1.4 本文组织结构

第2章 虚拟视点绘制技术

2.1 虚拟视点技术分类

2.2 基于深度图像的虚拟视点绘制

2.3 DIBR技术中存在的基本问题

2.4 本章小结

第3章 基于深度图像的帧内分层映射算法

3.1 绘制算法的总体思路

3.2 自适应中值滤波算法

3.3 基于深度图像的帧内分层映射算法的原理

3.4 基于双视点图像融合

3.5 本章小结

第4章 虚拟视点绘制质量分析

4.1 图像质量评价标准

4.2 实验结果比较

4.3 本章小结

第5章 基于GPU的并行绘制算法

5.1 通用GPU计算架构

5.2 基于CUDA的虚拟视点绘制算法

5.3 本章小结

第6章 总结和展望

6.1 本文工作总结

6.2 未来工作展望

参考文献

攻读学位期间取得的学术成果

攻读学位期间参与的研究项目

致谢