基于信息融合的虚拟视点绘制技术研究

摘要

近年，随着三维视频技术在人类生活中的慢慢普及，自由视点技术也得到了快速发展，虚拟视点绘制作为自由视点技术中关键问之一，成为现今热门研究课题。虚拟视点绘制是利用已知图像和场景的几何信息还原出物体在真实场景的三维信息，并通过投影或仿射变换绘制出虚拟视角的图像。虚拟视点绘制主要分为两类，一类是基于模型的虚拟视点绘制，另一类是基于图像的虚拟视点绘制。针对复杂场景中的虚拟视点绘制利用基于图像的虚拟视点绘制方法较多，但在基于图像的虚拟视点绘制中单一的图像信息使得获得虚拟视点图像质量不是很理想，使其应用在实际中还需要进一步研究。因此本文通过信息融合的思想，利用多种图像信息或场景几何信息进行多种方法融合，以获得较好的虚拟视点图像为目的，在改进传统的基于图像虚拟视点绘制技术方面取得如下成果:
　　给出了一种图像变形(Iamge morphing)的改进算法一多特征融合的图像变形算法。图像变形技术是基于图像虚拟视点绘制技术的一种方法，图像变形算法中特征基元提取和匹配方式大部分都是采用人机交互的方式进行，并且在遮挡区域变形时出现较多的鬼影和模糊现象，使得针对同一场景图像变形实现繁琐且效果不佳，针对这些问题本文提出一种基于多特征融合的自动图像变形算法。通过实验及其效果显示，自动的提取特征基元有效的减少了人工操作，而多特征融合匹配有效的抑制了图像变形时边缘或遮挡区域鬼影的产生。
　　给出了一种基于kinect的虚拟视点绘制技术。Kinect体感设备是获得的深度图像存在空洞和噪点问题，使其很难直接利用在虚拟视点绘制中;而传统的基于深度图像的虚拟视点绘制方法需要相机进行标定，这个过程是繁杂耗时的。针对这两个问题本文利用时域的均值滤波和联合双边滤波对kinect的深度图像进行修复，然后在利用特殊场景的几何信息直接利用kinect进行虚拟视点绘制。实验结果表明通过场景的几何信息可以替代相机的标定操作，而深度图像的修复使得kinect体感设备可以直接利用虚拟视点绘制技术中，并有很好的插值效果。

目录

声明

摘要

第一章 绪论

1．1 研究背景及意义

1．2 虚拟视点绘制技术的发展和现状

1．3 本文主要工作和贡献

1．4 论文的组织结构

第二章 相关工作概述

2．1 信息融合理论

2．2 虚拟视点绘制技术

2．2．1 Image morphing技术

2．2．2 DIBR技术

2．3 深度信息获取方法研究

2．3．1 Kinect原理及介绍

2．3．2 立体匹配技术

2．4 本章小结

第三章 基于多特征融合的图像变形技术

3．1 算法概述

3．2 特征基元提取算法分析与选取

3．2．1 Surf特征算子

3．2．2 Harris角点

3．2．3 特征基元选取

3．3 特征基元匹配与三角剖分

3．3．1 匹配约束条件

3．3．1 匹配与三角剖分

3．4 图像变形

3．5 实验结果与分析

3．6 本章小结

第四章 基于彩色图像与深度图像融合的虚拟视点绘制

4．1 算法概述

4．2 Kinect深度图像修复

4．2．1 基于时域均值滤波空洞修复

4．2．2 加权联合双边滤波

4．3 基于深度图像的虚拟视点绘制

4．3．1 3D-Warping方法

4．3．2 基于场景几何信息虚拟视点绘制方法

4．4 视点融合

4．5 本章小结

第五章 总结与展望

5．1 总结

5．2 展望

参考文献

致谢

附录(攻读学位期间发表论文目录)