基于Kinect深度图像的静态手势识别的研究与应用

摘要

随着科技的不断进步和计算机的普及，人机交互的方式也趋于多样化。从传统的键盘，图形用户界面，平板电脑的手写汉字到最近火热的语音识别，体感外设的手势。这些人机交互的方式无疑都在朝向自然化和便利性的方向发展。手势以其直观性和自然性的特点，已经成为人机交互的一种重要手段。它摆脱了传统键盘鼠标等方式的束缚，更加符合人类自身的习惯，因此具有非常广泛的应用前景。本文也选取了手势识别作为研究课题。
　　传统的手势识别技术主要包括基于佩带设备的手势识别和基于计算机视觉的手势识别。基于佩带设备的手势识别是指利用数据手套或者三维设备进行的手势识别方法，限制了自然的人机交互。基于视觉的手势识别研究包含了很多算法，但是这些方法在手势分割时易受光照、背景和摄像头特性等因素影响，导致识别率并不高。
　　本文在前人的基于视觉手势识别的研究基础上，对手势识别技术做出了探索研究。主要的研究思路是借助Kinect深度和彩色传感器获取手势的深度和彩色图像数据并结合基于视觉的手势识别方法，对手势进行分析和识别。这种方法能够很好地解决因光照和背景等因素对手部区域分割的影响。本文主要针对静态手势进行识别。其研究思路是利用深度图像直方图寻找合适阈值分离前景和背景场景，然后使用肤色信息检测分割出手势区域。这种方法能够提取出比较理想的手部区域，然后对手势区域提取hog特征描述子作为特征向量。最后选取K近邻（KNN）作为静态手势的分类器进行训练。K近邻在类别决策时，只与极少量的相邻样本有关，因此，K近邻可以较好地避免样本不平衡的问题。采用本文提出的手势识别算法对五种比较常见的静态手势进行实验，并实现了一个小型的手势识别系统，最后本文对实验数据进行了实验和分析，从算法的识别率以及光照和旋转、平移和尺度变化等条件对识别结果的影响方面得出了相应结论，从而验证了该手势识别方法的可行性和鲁棒性。

目录

声明

摘要

第1章 绪论

1．1 课题背景及意义

1．1．1 课题背景

1．1．2 国内外研究现状

1．1．3 研究目的和意义

1．2 主要研究内容和组织结构

1．2．1 主要研究内容

1．2．2 组织结构

第2章 相关技术介绍

2．1 Kinect传感器相关理论

2．1．1 Kinect传感器

2．1．2 Kinect深度测量原理

2．1．3 Kinect深度图像获取

2．2 手势识别相关内容

2．2．1 基于佩带设备的手势识别

2．2．2 基于计算机视觉的手势识别

2．2．3 图像特征提取

2．3 本章小结

第3章 手势图像预处理与分割

3．1 手势图像获取与分析

3．2 手势区域分割

3．2．1 场景深度图像处理

3．2．2 场景彩色图像处理

3．2．3 场景深度和彩色分割结合

3．3 手势分割结果与分析

3．4 本章小结

第4章 手势区域特征提取

4．1 手势图像HOG特征

4．2 HOG特征提取算法实现

4．3 本章小结

第5章 手势图像的识别与分类

5．1 K近邻算法

5．1．1 K近邻概念

5．1．2 K近邻数学模型

5．1．3 K近邻关键问题

5．2 基于KNN算法的手势识别

第6章 手势识别系统和结果分析

6．1 系统实现平台介绍

6．1．1 硬件架构

6．1．2 软件开发平台

6．2 静态手势识别功能模块

6．3 实验结果分析

6．3．1 实验数据来源及分析

6．3．2 实验结果评价

第7章 结论与展望

参考文献

致谢

攻读学位期间发表的论文