基于Unity3D与Kinect的体感交互技术应用研究

摘要

虚拟现实技术作为一门新兴的、处于研究前沿的人机交互技术，融合了多媒体、计算机图形、网络、传感器等技术，因其具有强烈的视觉冲击和丰富的互动性，虚拟现实系统广泛应用于工业仿真、虚拟漫游、影视游戏、医学、军事、航天等各个领域。目前大部分的虚拟漫游系统还是通过虚拟眼镜、头盔、手套等外接可穿戴传感设备的方式进行交互，对于自然交互方式的应用研究较少。本文通过对虚拟现实引擎Unity3D软件及Kinect体感设备进行研究，设计并实现了一款虚拟场景体感漫游系统。论文主要完成以下内容:
　　首先，对人体姿态捕捉方式进行研究，分析了Kinect体感设备的功能和Kinect设备在windows平台下的软件开发包Kinect for Windows SDK的体系架构，并通过Unity3D虚拟现实平台成功获取了深度图像数据和骨骼跟踪数据，并对数据进行了预处理，得出在Unity3D中结合Kinect体感设备自定义用户姿势的方法，通过该方法实现了在Unity3D中识别用户自定义姿势来完成与虚拟场景交互。
　　其次，在虚拟漫游场景的创建工作中，结合Unity3D虚拟现实引擎、DEM系统、可视化建模软件等，实现了快速创建真实地形虚拟漫游场景的方法。该方法具有一定的通用性，可以广泛应用于工业仿真、建筑可视化、虚拟驾驶等领域中。在创建的虚拟漫游场景中，进行了体感交互控制研究，通过交互逻辑设计、骨骼数据获取、空间向量数学建模计算等方法，结合Unity3D中的Playmaker插件进行程序开发，成功实现了以体感的方式控制虚拟漫游场景中第一人称视角的结果。
　　最后，通过二维和三维两种呈现方式，进行了虚拟场景体感漫游系统的测试与发布，实现了通过自然交互的方式与虚拟现实系统进行互动的系统设计思路。在该系统的实现过程中，积累了丰富的理论知识和研究经验;在系统测试过程中，其具有良好的互动性、实用性、扩展性，对虚拟现实技术的发展及体感技术的运用有着良好的借鉴意义。

目录

声明

摘要

1 绪论

1．1 课题研究背景及意义

1．2 国内外研究现状

1．2．1 虚拟现实技术国内外研究现状

1．2．2 体感技术国内外研究现状

1．3 研究内容和组织结构

1．3．1 研究内容

1．3．2 组织结构

2 体感交互系统关键技术研究

2．1 Kinect体感设备研究

2．1．1 Kinect体感设备简介

2．1．2 Kinect for Windows开发库构架

2．1．3 深度图像获取

2．1．4 人体骨骼运动数据获取

2．2 结合Unity3D进行骨骼跟踪数据处理

2．2．1 Unity3D虚拟引擎介绍

2．2．2 中间件开发研究

2．2．3 用户姿势检测与识别

2．3 自定义用户姿势方法

2．4 体感交互系统应用开发步骤

2．5 小结

3 系统虚拟漫游场景开发

3．1 虚拟漫游系统原理

3．2 开发环境

3．3 虚拟场景设计

3．3．1 虚拟场景创建准备工作

3．3．2 虚拟场景设计过程

3．3．3 虚拟场景内容设计

3．3．4 虚拟场景功能设计

3．3．5 程序界面设计

3．4 虚拟场景制作过程

3．4．1 场景模型制作

3．4．2 虚拟漫游场景搭建

3．4．3 场景元素添加

3．5 小结

4 虚拟场景体感交互控制方法

4．1．2 用户骨骼跟踪数据处理

4．1．3 空间向量法计算关节点运动数据

4．2 体感程序触发方式研究

4．2．1 Kinect空气鼠标

4．2．2 Kinect手势识别

4．3 Playmaker体感控制程序开发

4．4 小结

5 虚拟场景体感漫游系统发布及测试

5．1 虚拟场景体感漫游系统发布

5．1．1 二维虚拟漫游系统发布

5．1．2 三维虚拟漫游系统发布

5．2 虚拟漫游系统测试

5．3 小结

结论

致谢

参考文献

攻读学位期间的研究成果