基于自然人机交互技术的虚拟漫游系统设计

摘要

自然人机交互技术是当今计算机科学研究领域最为前沿和热门的方向之一，而其中基于微软Kinect的应用开发最受注目。Kinect自然人机交互技术包含了深度图像、骨骼跟踪、面部跟踪、语音识别等重要技术，在医疗康复、虚拟仿真、机器人视觉、游戏娱乐、三维建模等方面具有广阔的应用前景。
　　本文基于Kinect自然人机交互技术，研究了原地走路识别算法、面控鼠标算法以及在虚拟漫游项目中的应用。首先本文对人体原地行走的步态进行分析，提出基于屈膝角度识别原地走路的方法，这是一种根据人体关节点坐标计算膝盖屈伸角度的方法，利用了Kinect骨骼跟踪技术和三角几何知识，消除了传统离地高度识别所带来的个体身高差异问题，提高了原地走路识别的普遍适用性。在面控鼠标方面，本文提出一种简单的实现方法，通过Kinect面部跟踪技术，计算出面部的俯仰角度和偏航角度，再映射成屏幕坐标，进而改变鼠标的坐标位置，达到通过面部控制鼠标的目的。最后本文利用Unity3D设计了一套虚拟漫游系统，通过原地走路触发系统中的前进按键，通过面控鼠标实现系统中的视角变化，通过语音命令切换系统的主要功能模块，并设计了有线和无线两种硬件连接方式。通过实验验证了本文的原地走路识别算法和面控鼠标算法的有效性。
　　本文开发的“基于自然人机交互技术的虚拟漫游系统”，是将自然人机交互的前沿技术系统地应用到虚拟漫游项目中，实现了一种高自由度的计算机操作方式，是一种高沉浸感、较易推广的虚拟现实方案。

目录

声明

摘要

第一章 绪论

1．1 研究背景与意义

1．1．1 自然人机交互和虚拟漫游概述

1．1．2 研究背景

1．1．3 研究意义

1．2 研究现状综述

1．3 本文研究内容与结构

1．3．1 研究内容

1．3．2 本文结构

第二章 系统概述与开发环境

2．1 系统概述

2．2 系统开发环境

2．2．1 系统开发工具

2．2．2 系统开发硬件

2．2．3 系统开发语言

2．3 本章小结

第三章 系统设计

3．1 系统的体系结构图

3．2 系统的硬件连接图

3．2．1 有线方式的硬件连接图

3．2．2 无线方式的硬件连接图

3．3 系统的用户操作流程图

3．4 本章小结

第四章 Kinect自然人机交互技术

4．1 深度图像成像技术

4．2 骨骼跟踪技术

4．3 面部跟踪技术

4．4 语音识别技术

4．5 本章小结

第五章 自然人机交互设计

5．1 识别原地走路

5．1．1 人体走路动作的运动规律

5．1．2 基于踝关节高度的原地走路动作识别

5．1．3 基于屈膝角度的原地走路动作识别

5．1．4 实验分析

5．1．5 触发按键事件

5．2 面控鼠标

5．2．1 面控鼠标的设计

5．2．2 实验分析

5．3 语音识别的设计

5．4 本章小结

第六章 岳麓山虚拟漫游系统的实现

6．1 三维真实地形的建模

6．1．1 获取地形数据

6．1．2 生成地形模型

6．2 三维场景数据库

6．2．1 建筑模型的制作

6．2．2 植被的制作

6．3 漫游功能的实现

6．3．1 步行漫游功能的实现

6．3．2 飞行漫游功能的实现

6．4 岳麓山虚拟漫游系统测试运行

6．5 本章小结

第七章 总结与展望

7．1 本文的主要工作总结

7．2 本文工作的展望

参考文献

攻读学位期间主要的研究成果

致谢