基于Kinect的大屏幕手势互动系统研究与实现

摘要

随着计算机、信息化的发展，人机交互在办公以及生活中显得越来越重要，自然用户界面已经成为人机交互发展的趋势，目前研究比较热门的有用语言、动作及表情等与计算机进行交互。手势识别作为自然人机交互的一项关键的技术，具有灵活、直观、简单等优点，成为动作与计算机交互研究领域中的热点，在业内引起了很多学者的关注和研究。手势识别的发展由早起的佩戴数据手套逐渐的转向基于视觉方法的研究，目前大多的手势识别研究是在计算机视觉的基础上进行的，通过摄像头直接获取背景空间的信息，无需佩戴复杂、昂贵的输入设备。众所周知的触摸屏技术现已发展的比较成熟，但大多应用于小屏幕的操作上，例如:手机、笔记本、小型触摸屏等。针对大屏幕的操作，目前缺乏较有效的交互手段。本文对动态手势识别进行了研究并设计了一套动态手势识别交互系统，实现了人与大屏幕的实时互动操作。
　　Kinect是微软2010年研发出来的，能够在复杂的背景环境下快速准确的获取人体骨骼节点信息。本文以Kinect为输入设备，获取人体手部、手腕、肘部和脊椎这几个关键的骨骼节点信息作为实验的特征向量。主要工作有以下几个方面:
　　针对手势识别的研究，分析了整个识别过程，对识别过程中每个阶段采用的技术做了详细的调查和研究。阐述了Kinect设备在获取深度信息上的强大功能以及基于Kienct手势识别研究的现状和优点。
　　研究了动态手势的识别过程，针对手势识别起点和终点的检测，本文提出一种基于特殊手势判断的方法。定义一种静态手势，通过识别定义的手势的判断动态手势是否开始，对于动态手势的结束则根据计算连续多帧内特征节点运动的距离判断。
　　在动态手势识别过程中，针对手势识别的效率和速率问题，对传统的动态时间规整(Dynamic Time Warping，DTW)算法进行了改进。首先，利用特征节点在运动过程中的方差对其进行了权值的动态分配，以便提高识别效率。其次，对DTW算法的搜索路径进行了详细的分析，采取点与线结合的方法对其搜索路径进行约束，减少计算量，提高识别速率。最后，将改进后的DTW算法与K近邻(K-nearest neighbor，KNN)算法进行结合用于识别手势，能够有效的提高识别效率。
　　最后，设计并实现了一个与手势识别相关的大屏幕互动系统，在系统中手势代替了鼠标的部分功能，直接通过不同的手势对大屏幕上的内容进行操作，整个系统运行流畅，让人真实的体会到人机交互。

目录

声明

摘要

第一章 绪论

1．1 研究的背景及意义

1．2 国内外研究现状

1．3 本文主要工作

第二章 Kinect深度图像获取

2．1 Kinect介绍

2．1．1 Kinect的硬件组成

2．1．2 Kinect的相关技术

2．2 深度图像获取

2．3 深度图像与彩色图像的配准

2．4 小结

第三章 手势分割与特征提取

3．1 手势的定义

3．2 手势分割

3．2．1 手势分割流程

3．2．2 场景分割与肤色检测

3．2．3 去噪处理与深度分割

3．3 特征提取

3．3．1 手势特征选取

3．3．2 特征向量处理

3．4 小结

第四章 手势识别与结果分析

4．1 手势识别流程

4．2 手势起点和终点检测

4．3 起点手势识别

4．4 动态手势识别

4．4．1 动态时间规整算法(DTW)

4．4．2 改进的DTW算法

4．4．3 K近邻分类器(KNN)

4．4．4 改进后的手势识别算法(IDTW-K)

4．5 实验结果与分析

4．5．1 K值选取实验

4．5．2 实验过程

4．5．3 实验结果

4．6 小结

第五章系统设计与实现

5．1 开发环境与配置

5．1．1 开发环境

5．1．2 软件的安装和配置

5．2 系统框架设计

5．3 系统功能设计与实现

5．3．1 手势录制模块

5．3．2 手势识别模块

5．3．3 交互模块

5．4 系统展示

5．5 小结

第六章 工作总结与展望

6．1 工作总结

6．2 工作展望

参考文献

图目录

表目录

致谢

攻读硕士学位期间研究成果