基于Kinect的人机交互技术及在矿井火灾逃生模拟系统中的应用

摘要

随着虚拟现实和Kinect人机交互技术的发展，Kinect越来越多的被应用到体感游戏及大型场景展示上，用来与虚拟场景进行互动。本文主要研究了基于Kinect的人机交互技术及其在虚拟煤矿巷道火灾逃生模拟系统中的应用。首先研究了整个系统的软硬件配置，其次研究了如何利用Kinect捕捉人体深度图像以及骨骼数据；然后研究了基于深度图像的正反手势识别，以及基于骨骼数据的体态识别；最后研究了利用UE4创建虚拟巷道模型，用正反手势控制巷道中人物的前后左右行走以及利用步态识别算法识别操作者的身份，并将该操作者的信息在虚拟巷道中显示出来。
　　在进行正反手势识别时，首先利用Kinect for Window SDK2.0的库函数读取深度信息，再利用阈值分割将手部区域分割出来，然后将手部图像分为两层：第一层为直立手指层，第二层为蜷缩手指层。对于直立手指层，先利用轮廓检测算法检测出手部轮廓，再利用凸包检测算法识别出手指的个数；对于蜷缩手指层，主要利用轮廓检测算法检测轮廓，有轮廓则为正手，无轮廓则为负手。最后把这两层识别结果结合起来，实现正反手识别。
　　步态识别也是先通过Kinect体感设备及Kinect for Windows SDK2.0读取骨骼数据。进行识别之前，首先分析人走路的姿态，提取特征向量。人走路时主要特征有速度，步长，各个肢体摆动的幅度，本文中主要选择10个肢体角度进行分析。然后，画出每个肢体角度随时间变化的曲线，从中提取一个平均周期，并用多项式函数拟合。最后，用多项式的拟合参数作为特征，用KNN分类算法，与数据库中的参数进行匹配，识别出人的身份。

目录

声明

1 绪论

1.1课题研究的背景以及意义

1.2课题概述

1.3课题内容安排

2软硬件配置

2.1 Kinect2.0及OpenCV配置

2.2 Oculus Rift配置

2.3 本章小结

3基于Kinect的正反手识别

3.1深度图像

3.2 手势定义

3.3 获取手部双层深度信息

3.4正反手势识别

3.5 实验结果与分析

3.6 本章小结

4基于Kinect的步态识别

4.1骨骼数据获取与处理

4.2 数据库建立

4.3 动态特征提取

4.4动态身份识别

4.5本章小结

5人机交互在虚拟巷道火灾逃生中的应用

5.1设计方案与功能描述

5.2模型的建立

5.3人机交互

5.4 本章小结

6总结和展望

参考文献

致谢