虚拟现实中实时交互方法研究

摘要

虚拟现实（Virtual Reality，简称VR）技术主要是通过计算机模拟产生一个3D虚拟世界，让用户在其中通过视觉、听觉、触觉等感知体验，产生身临其境的感觉。沉浸感、交互性和构想性是虚拟现实系统的三个基本特征。近年随着智能手机性能的提高，基于手机的虚拟现实系统（文中称之为移动虚拟现实系统）因其便携、易用、价格低廉以及支持用户在物理空间自由移动等优点，越来越受到青睐，在游戏、教育等领域得到广泛应用。但是，该类系统因受其计算与存储能力等因素制约，在实时交互等方面还面临不少挑战。
　　首先，虚拟现实系统更强调交互的自然性。显然，传统的基于鼠标和键盘的交互方式不能适应这种需求。一种自然地实时交互方式是用户通过在物理空间的自身运动，来驱动虚拟场景的相应变化。因此，对用户的位置进行跟踪是此类虚拟现实系统的一个重要组成部分。位置跟踪的精度则会影响用户真实感体验。在实际应用中，考虑到便携性、成本、易于布置实现等因素，常用单个RGB-D相机（如Kinect）进行用户跟踪。但是，在支持多人协同交互的虚拟现实系统中，对于多人跟踪，采用单个相机必然存在遮挡问题。特别是对于长时间、完全遮挡问题，目前还没有很好的解决办法。为此，本文在低成本、便携、易于布置等实际需求下，研究了如何基于单个RGB-D相机进行多人跟踪问题，以解决长时间、完全遮挡问题，支持多人间更好的实时协同交互。
　　另外，虚拟场景绘制速度也是影响实时交互体验的一个重要因素。目前，基于智能手机的虚拟现实系统越来越多。该类应用系统如虚拟博物馆系统等可能面对不同的用户，其采用的手机设备也可能不同。受不同设备性能的制约，各类系统所显示的虚拟场景的规模还比较有限。目前的建模方式很少考虑不同手机设备的多样性和实际的运行能力，适用性较差。本文针对此类需求，研究了可适应不同手机设备实时交互显示的虚拟场景优化布置策略，以实现不同型号、不同实际运行性能的设备上实时交互显示不同规模的虚拟场景。
　　本文还探索研究了支持用户创新设计和多通道自然交互的虚拟现实新模式。目前，常见的虚拟场景设计系统中，虚拟场景的设计一般不是最终用户进行设计，而是由系统提供者事先设计好后提供给最终用户使用。但是，如何支持用户表达自己的创造力并体验自己创造的虚拟场景成为目前的一种新的需求。为此，本文研究提出一种支持用户创新设计和多通道自然交互体验的移动虚拟现实新模式，为用户提供融合虚实空间的虚拟场景内容设计的功能支持，使用户借助日常标记工具（如粉笔、彩带），仅仅利用智能手机即可快速实现虚拟世界的构造，并通过物理空间与虚拟空间的融合进行自然交互体验自己设计的虚拟场景。
　　归纳的，本文的创新点和主要贡献包括以下几个方面:
　　1.提出了融合影子线索的多用户实时位置跟踪算法
　　针对多人协同交互的虚拟现实系统中，单个RGB-D相机进行多人跟踪存在的遮挡问题，本文首次引入用户影子作为一个重要线索实现被遮挡用户的跟踪，而不像目前已有方法一样将影子作为一个噪声等干扰因素进行剔除。并通过融合RGB-D相机中捕获的用户的影子图像信息和骨架数据，提出了一种新的基于RGB-D相机的多人位置跟踪算法，实现多用户的实时跟踪。具体地说，当RGB-D相机可以检测到用户骨架时，系统直接利用骨架数据进行用户检测和跟踪;当骨架数据丢失时，系统便采用用户影子的图像信息进行位置估计。在不需要额外传感器设备的情况下，本文方法可实现单RGB-D相机的多人位置实时跟踪。该算法已经成功应用在消防模拟训练系统和迷宫游戏系统等移动虚拟现实系统。实验结果和应用实践表明，本文提出的方法可以较好地解决用户长时间、完全被遮挡情况下的跟踪问题。此外，提出的方法也可以解决因非遮挡导致的用户跟踪丢失问题，从而提高了Kinect的人体跟踪能力。
　　2.提出了可适应不同手机设备实时交互显示的虚拟场景优化布置策略
　　考虑不同手机设备的多样性和实际的运行能力，本文针对手机设备上迷宫等室内场景的快速绘制问题，提出了一种可适应不同设备实时交互显示的虚拟场景优化布置策略。该策略主要特点是:在场景设计阶段即将用户体验端的设备性能作为设计布置虚拟场景的重要因素之一，考虑如何优化布置虚拟场景，以适应不同型号的手机设备性能;并设置特殊数据结构，给出基于该数据结构的加速绘制方法，实现了不同手机设备上实时绘制大规模场景的能力。
　　3.提出了支持用户创新设计和多通道自然交互的虚拟现实新模式
　　本文还提出一种支持用户创新设计和多通道自然交互的虚拟现实新模式，为用户提供融合虚实空间的虚拟场景内容设计的功能支持，使用户借助日常标记工具（如粉笔、彩带），仅仅利用智能手机即可快速实现虚拟世界的构造，并通过物理空间与虚拟空间的融合进行自然交互体验自己设计的虚拟场景。此模式可以很好地将物理空间与虚拟空间，创新设计与VR体验进行融合，给用户一种新的体验:为一般用户提供快速、灵活的虚拟现实内容创作平台;提供用户与虚拟世界互动的实时自然交互方式，用户的运动和姿态将影响着虚拟世界的变化;支持多人协同设计与体验，增强体验的趣味性和参与性，保证用户之间的社交互动。特别的，本文提出了通过日常工具在物理空间中进行虚拟场景创作的概念，这使得一般用户可以快速、灵活地设计虚拟场景。用户测试结果表明，本文提出的新模式有促进用户的积极参与的潜力，能提供更丰富的、互动性和沉浸感更强的体验。

目录

声明

摘要

第1章 引言

1．1 研究背景与动机

1．2 研究内容和创新点

1．3 组织结构

第2章 相关工作

2．1 虚拟现实系统模式

2．2 多用户位置跟踪

2．3 实时绘制

第3章 融合影子线索的多用户实时位置跟踪

3．1 算法思想

3．2 根据影子线索计算遮挡用户的位置

3．3 计算非遮挡但未被Kinect识别的用户位置

3．4 实验结果及分析

3．5 讨论

3．6 小结

第4章 适应不同手机设备实时交互显示的虚拟场景优化布置策略

4．1 基本思想

4．2 基于手机设备性能的虚拟场景优化布置

4．3 基于潜在可见集合的虚拟场景实时绘制

4．4 实验设计及结果分析

4．5 小结

第5章 支持用户创新设计和多通道自然交互的虚拟现实新模式

5．1 融合虚实空间的虚拟现实新模式

5．2 融合虚实空间的虚拟场景设计

5．3 融合虚实空间的多通道自然交互

5．4 用户测试

5．4．1 实验设计

5．4．2 实验对象

5．4．3 实验任务

5．4．4 测量

5．4．5 实验过程

5．4．6 实验结果及分析

5．4．7 讨论

5．5 小结

第6章 总结与展望

6．1 全文总结

6．2 工作展望

参考文献

致谢

攻读学位期间发表的科研成果

攻读学位期间参与科研项目情况

外文论文