基于Leap Motion静态指语识别方法的研究与实现

摘要

根据最新统计数据，我国大约有2057万人为语言听力残疾，居智残、肢残、视力残疾等五大残疾之首，占全国人口的1.67％，其中有80万人是年龄低于7周岁的儿童。手语作为聋哑人交流的必要工具、与健听人沟通的重要桥梁发挥着不可替代的作用，也是当今大学实验室中研究的热门课题之一。
　　本文主要以Leap公司最新研发的体感控制器Leap Motion为手势特征获取设备，针对单手静态指语展开的研究。在本文中实现了两种指语识别方法，一种是基于模板匹配方法提出的基于特征匹配的指语识别，该方法是从Leap Motion获得的空间关系特征结合特定指语形状特征完成特征提取的，通过计算得到模板阈值后与之匹配实现分类。实验结果证明该方法对复杂背景具有很好的适应性，但是手势库难于拓展。另一种是基于支持向量机(SVM)的指语识别，主要是针对之前方法的不足提出的一种基于统计学的分类方法，在该方法中对第一次提取的特征进行了优化，使得提取后的特征具有很好的普适性，再经过归一化和主成分分析(PCA)降维的方式，提高了系统运行速率，利用网格寻优算法提升了分类器性能。并且通过两组实验进行了验证，九种数字指语实验验证了提取的特征具有旋转、放缩不变性;二十三种字母指语实验验证了该方法具有很好的可拓展性。实验结果证明，该方法不但弥补了之前方法的不足，而且也保留了之前方法的优点。
　　本文中基于特征匹配的指语识别方法的平均识别准确率为96.02％，具有旋转、放缩不变性的同时对光照强度不敏感。改进后的基于SVM的指语识别方法不但具备以上优点，同时还具有良好的可拓展性，平均识别准确率为94.3％。

目录

声明

摘要

第1章 绪论

1．1 研究背景及意义

1．1．1 研究背景

1．1．2 研究意义

1．2 国内外研究现状

1．2．1 国内研究现状

1．2．2 国外研究现状

1．3 Leap Motion设备简介

1．3．1 坐标系

1．3．2 数据采集

1．4 研究内容和论文安排

1．4．1 本文研究内容

1．4．2 章节安排

1．5 本章小结

第2章 静态手势识别相关算法分析

2．1 基于手势表观特征分析

2．2 静态手势识别的一般流程

2．3 特征匹配的概念

2．3．1 特征定义

2．3．2 常用的特征提取与匹配方法

2．4 支持向量机原理

2．4．1 线性可分SVM

2．4．2 非线性可分SVM

2．5 SVM参数优化

2．5．1 核函数选择

2．5．2 参数优化

2．6 本章小结

3．1 特征提取

3．1．1 初次特征提取

3．1．2 二次特征提取

3．2 数据存储

3．3 数据归一化

3．3．1 分别归一化

3．3．2 同时归一化

3．4 特征矩阵降维

3．4．1 主成分分析算法

3．4．2 PCA降维处理

3．5 本章小结

第4章 基于特征匹配的指语识别

4．1 系统设计

4．2 特征参数配置

4．2．2 参数配置

4．3 十三种常见指语识别

4．3．1 实验平台

4．3．2 复杂背景对实验的影响

4．3．3 实验结果与分析

4．4 本章小结

5．1 系统设计

5．2 实验平台

5．3 九种数字指语识别

5．3．1 数据预处理

5．3．2 实验结果与分析

5．4 二十三种字母指语识别

5．4．1 指语选择

5．4．2 数据预处理

5．4．3 实验结果与分析

5．5 本章小结

结论

致谢

参考文献

附录

作者简介

攻读硕士期间发表的论文和科研成果