基于深度信息和彩色信息的实时手势识别技术研究

摘要

新颖人机交互技术日益成为当前的研究热点问题之一，手势识别技术因为其自然性和实用性在计算机视觉和人工智能等领域成为一个极具发展前景的课题。传统的手势识别技术大多是基于灰度图像和彩色图像的，而本文结合深度信息和彩色信息对实时手势识别技术进行了研究。
　　 本文首先对静态手势进行了识别。分别利用深度信息，以及深度信息结合彩色信息对实时视频进行分割获得手部的图像，并提取一系列的手型轮廓几何特征。进一步利用采集的样本训练SVM分类器，并通过获得的分类器实时对定义的“五指张开”，“握拳”等五种静态手势进行识别。
　　 在静态手势识别的基础之上，本文选择其中两个静态手势作为动态手势开始和结束的标志对手部运动进行实时跟踪。在获取完整的轨迹图像之后，提取其Hu不变矩和几何信息作为图像识别的依据。并分别利用距离匹配和SVM分类器的方法实时的对10个阿拉伯数字和10个操作性手势轨迹图像进行识别。
　　 实验结果表明本文利用深度信息结合彩色信息的方法对手势进行识别，能够较好的处理光照变化、背景复杂、计算困难等传统手势识别技术难以克服的问题。通过样本测试，对静态手势和动态手势的识别率平均在90％之上，并且对光照明暗、颜色变化等因素不敏感。因此，本文的方法具有环境无关性，准确性和实时性。

目录

声明

摘要

1 绪论

1．1 引言

1．2 手势识别综述

1．3 手势识别常用方法

1．3．1 模板匹配方法

1．3．2 几何特征分类方法

1．3．3 人工神经网络方法

1．3．4 隐形马尔科夫模型方法

1．4 手势识别一般流程

1．4．1 预处理阶段

1．4．2 手势分割阶段

1．4．3 手势建模阶段

1．4．4 手势识别阶段

1．5 手势识别的应用

1．6 章节安排

2 手势识别中的深度信息描述

2．1 引言

2．2 深度信息的获取方式

2．2．1 基于视觉的深度信息获取

2．2．2 基于激光测距的深度信息获取

2．2．3 基于结构光的深度信息获取

2．2．4 结构光的深度信息获取原理

2．3 Kinect获取深度信息的技术简介

2．4 本章小结

3 支持向量机和几何矩

3．1 支持向量机简介

3．2 支持向量机原理

3．2．1 线性可分情况下的支持向量机

3．2．2 广义最优分类面

3．2．3 线性不可分情况下的支持向量机

3．2．4 多分类情况的支持向量机

3．2．5 支持向量机的内积类型

3．3 矩信息简介

3．3 矩信息原理

3．4．1 矩的概念

3．4．2 矩的物理意义

3．4．3 不变矩

3．4．4 Hu矩的计算

3．4．5 Hu矩的匹配

3．5 本章小结

4 静态手势识别

4．1 引言

4．2 手部分割

4．2．1 基于深度信息的手部分割

4．2．2 基于深度信息和彩色信息相结合的手部分割

4．3 手部特征提取

4．4 对静态手势识别

4．4．1 训练SVM分类器

4．4．2 利用SVM分类器进行静态手势识别

4．5 实验结果以及分析

4．6 本章小结

5 动态手势识别

5．1 设定跟踪开始和结束的标志

5．2 运动轨迹跟踪

5．3 运动轨迹特征提取

5．4 对运动轨迹识别

5．4．1 计算特征距离进行动态手势识别

5．4．2 利用SVM分类器进行动态识别

5．5 实验结果以及分析

5．6 本章小结

6 总结和展望

致谢

参考文献