基于Kinect的虚拟现实应用中关键问题研究

摘要

随着计算机视觉技术、多媒体技术的不断发展，传统二维的互联网交互方式已经远远不能满足人们需求。这一状况因虚拟现实的出现及快速发展将得到逐渐改善。虚拟现实是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真，利用计算机生成模拟环境，并使用户沉浸到该环境中真正体验到身临其境的感觉。随着国内外科技巨头在虚拟现实领域的大量布局，虚拟现实相关技术的研究成为极具吸引力和应用前景的热点。　　本文利用微软公司开发的 Kinect摄像机采集的深度图像和彩色图像，针对虚拟现实应用中的相机自标定、动态三维点云数据模型重建、基于GPU的计算优化等问题进行了研究，主要研究内容如下：　　首先，本文研究了虚拟现实应用中的相机自标定技术，针对微软 Kinect Fusion自标定过程中仅利用深度图像信息和硬件环境需求高的问题，提出了基于 RGBD图像的相机自标定技术通过对 Kinect摄像机获取的数据进行分析，探寻数据噪声产生的原因，并在此基础上提出了改进中值滤波方法对获取的深度图像进行降噪处理。本文通过深度图像坐标系和彩色图像坐标系间的转换关系，计算对应的转换矩阵，并利用转换矩阵将彩色图像进行重映射，完成了深度图像和彩色图像对齐。针对传统基于RGB图像特征点的提取和匹配方法应用于深度图像中精度低的问题，提出了基于RGBD图像特征点的提取和匹配方法提高了深度图像匹配精度。　　其次，本文研究了动态三维点云数据的模型重建中逼真度和实时性的问题，在点云精简过程中为了尽量保留点云的结构信息，提出了基于深度图像梯度约束的分区域点云精简方法，在点云精简过程中较好的保留了点云的结构信息。　　最后，基于GPU计算优化方面，针对三维点云坐标系转换过程耗时高的问题，引入了CUDA并行计算优化算法，对三维点云坐标系转换过程进行并行计算优化。　　实验结果表明，本文相机自标定方法在保证相机精度的前提下，大大降低了系统对硬件环境的需求；本文点云精简方法在点云精简过程中可以很好的保留点云结构信息；基于CUDA并行计算优化算法使三维点云坐标系转换过程效率大大提高。

目录

声明

第1章 绪论

1.1 研究背景与意义

1.2 国内外研究现状

1.3 论文主要内容和创新点

1.4 论文组织结构

第2章 基于RGBD图像的相机自标定技术

2.1 Kinect图像数据及其预处理

2.2 基于RGBD图像的相机自标定流程

2.3 深度（Depth）图像和彩色（RGB）图像对齐

2.4 基于RGBD图像特征点的提取和匹配

2.5 相机参数估算

2.6 基于RGBD图像的相机自标定实验结果分析

2.7 本章小结

第3章 基于Depth图像的动态三维点云重建技术

3.1 基于Depth图像的动态三维点云重建流程

3.2 点云精简

3.3 三维点云数据的模型重建

3.4 本章小结

第4章 计算优化

4.1 GPU计算架构

4.2 基于GPU 三维点云坐标系转换

4.3 本章小结

第5章 总结和展望

参考文献

攻读学位期间参与的研究项目

致谢

附 录A