适用于自然交互环境的人手动作识别研究

摘要

自然、便捷和高效是人机交互技术的发展趋势，而基于人手动作识别的自然交互能够克服其他方法需要辅助设备的约束，使操作者能够以最自然的方式与计算机交互，因而成为人机交互中的关键技术和研究热点。本文从人手图像分割、人手动作识别算法和基于人手动作识别的康复训练应用等方面开展了基于Kinect传感器的人手动作识别方法的研究。
　　本文首先阐述基于视觉信息获取的人手动作识别交互系统的基本原理，分析了基于视觉的人手动作识别系统中人手图像分割、人手动作跟踪和人手动作识别算法三个关键环节的现有方法，并对比总结了这些方法的优缺点。在分析人手动作识别系统现有方法的基础上，为了进一步提高分割的精确性，论文提出了一种基于深度图像和肤色的人手图像分割方法。该方法首先使用深度阈值分割出深度图像中人手对应的像素集合，通过映射获得彩色图像中人手对应的区域，然后使用人手肤色阈值获得人手图像，并在此基础上实现了基于指尖检测的静态手势识别系统。为了提高人手动作识别的实时性和识别正确率，本文使用Kinect传感器实时获取操作者上肢骨骼关节点数据，并以操作者手掌、手腕和肘关节的位置信息为特征定义人手动作模块，提出了基于约束预处理的动态时间规整人手动作识别方法。为了验证上述方法的有效性和可靠性，我们开展了10个实验对象参与的静态手势识别实验和人手动作识别实验。实验结果表明，5个静态手势的平均识别率约为88％，4个典型人手动作的平均识别率约为92.5%。在人手动作识别方法研究基础上，本文开展了基于人手动作识的康复训练实验研究，包括左右手灵活度对比实验、康复程度评估实验。实验结果证明，本文所设计的人手动作识别系统能成功应用于康复训练并取得较好的效果。本文从多个方面开展了适用于自然交互环境的人手动作识别方法研究，为基于手势识别的自然人机交互技术的发展及其在康复训练等中的应用奠定了重要的基础。

目录

封面

声明

中文摘要

英文摘要

目录

注释表

第一章 绪论

1.1 研究背景和意义

1.2 国内外研究现状

1.3 基于视觉的人手动作识别的发展趋势

1.4 本文研究内容和章节安排

第二章 人手动作识别的基本原理

2.1 人手动作识别系统构成

2.2 人手动作数据获取方法

2.3 常用人手图像分割方法

2.4 常用的人手动作跟踪方法

2.5 常用人手动作识别方法

2.6 典型人手动作识别方法的对比

2.7 本章小结

第三章 基于指尖检测的静态手势识别方法研究

3.1 基于深度图像和肤色的人手图像分割方法

3.2 基于指尖检测的静态手势识别系统实现

3.3 本章小结

第四章 基于约束预处理DTW的人手动作识别方法研究

4.1 人手动作识别的概述

4.2 人手动作轨迹获取

4.3 人手动作特征选择及提取

4.4 人手动作识别方法及其实现

4.5 本章小结

第五章 人手动作识别实验和结果分析

5.1 系统开发环境

5.2 基于指尖检测的的静态手势识别实验

5.3 基于DTW的人手动作识别实验

5.4 左右手灵活度对比实验

5.5 康复程度评估实验

5.6 本章小结

第六章 总结与展望

6.1 工作总结

6.2未来工作展望

参考文献

致谢

在学期间的研究成果及发表的学术论文

附录

附录1：部分主要C#源程序

附录2：DTW算法中“双手向中间”动作的特征向量数据