融合表面肌电和运动传感器信息的中国手语手势识别技术研究

摘要

手语是一种结构化的语言，是聋哑人之间进行日常交流的主要方式。但由于正常人对手语的语言属性并不熟悉，导致聋哑人与正常人之间的交流存在一定的障碍。手语识别技术可以利用计算机将手语动作表达的信息翻译成文本或语音，是一种非常自然、友好的人机交互方式，在日常交流、康复医疗、虚拟游戏等领域都取得了成功的应用。
　　近几年，面向大词汇量的手语翻译系统的研制引起越来越多的研究者的关注，并且取得了一定的研究成果。然而，目前可识别手势词的数量仍然相对有限，无法满足正常人与聋哑人日常交流的基本需要。同时，很多相关的研究工作中仅涉及用户相关的分类，对于用户无关分类的探索较为初步并且识别率相对较低。因此，较大的可识别手势词规模以及较好的用户无关性是真实手语翻译系统研制中迫切需要解决的关键问题。
　　本文通过评估表面肌电、加速计和陀螺仪三种传感器及它们的不同组合形式在单双手、手势朝向和手势幅度三种典型手势要素分类中的最佳识别表现，提出了一种优化的决策树分类结构并成功应用到150个常用中国手语手势词的模式分类中。本文的研究工作是本实验自制的便携可穿戴数据采集腕带在较大词汇量用户无关手势识别研究中的首次尝试，为面向大词汇量的手语翻译器的研制奠定了基础。本文的主要工作概括如下:
　　(1)手势要素特征提取和分类识别研究。利用实验室自制的集成表面肌电、加速计和陀螺仪于一体的数据采集系统采集150个常用中国手语手势动作数据，探索了表面肌电、加速计和陀螺仪信号的多种特征及不同特征组合对单双手、手势朝向和手势幅度三种典型手势要素的分类能力。
　　(2)基于多级决策树分类方案的手势词识别研究。首先，基于各级要素分类器的最佳特征组合，提出了优化的四级决策树分类结构并成功应用到150个常用中国手语手势词的识别中，在用户相关和用户无关的分类中分别取得了94.31％和87.02％的平均识别率。然后，通过与仅由多流隐马尔可夫模型构成的分类方法的对比，验证了本文提出的优化决策树分类结构不仅可以有效的提高识别精度，同时可以显著降低测试过程的时间消耗。最后，验证了多传感器组合尤其是增加陀螺仪对于提高较大词汇量手语动作识别准确率的重要性。
　　(3)决策级特征优选和传感器信息融合研究。利用遗传算法评估了10种常见的表面肌电特征和10种常见的运动传感器特征的不同组合形式在150种常见中国手语手势词识别中的应用效果。另外，探索了加权平均、模糊积分和D-S证据理论三种不同的决策级融合方案融合表面肌电流和运动传感器流信息的能力，发现加权平均融合方法在本文中可取得最佳识别结果。

目录

声明

摘要

第1章 绪论

1．1 研究背景和国内外研究现状

1．1．1 手势识别技术概述

1．1．2 基于表面肌电和运动传感器的手势识别

1．2 研究目的和意义

1．3 主要研究内容

1．4 内容安排

第2章 融合三类传感器信息的手势识别方案

2．1 引言

2．2 目标手势集和受试者

2．3 数据采集和预处理

2．3．1 数据采集实验方案

2．3．2 信号预处理

2．3．3 活动段分割

2．4 基于要素信息的手势识别

2．4．1 手势要素概述

2．4．2 手势要素特征提取

2．4．3 手势要素分类器设计

2．5 基于决策树分类的手势识别

2．5．1 决策树分类概述

2．5．2 决策树中各级特征提取

2．5．3 决策树分类器设计

2．6 本章小结

第3章 手势要素分类和树形结构分类

3．1 引言

3．2 手势要素分类

3．2．1 单双手分类

3．2．2 手势朝向分类

3．2．3 手势幅度分类

3．3 树形结构分类

3．4 本章小结

第4章 决策级特征优选和传感器信息融合

4．1 引言

4．2 基于遗传算法的特征优选

4．2．1 遗传算法概述

4．2．2 遗传算法基本流程

4．2．3 遗传算法在特征选择中的应用

4．3 传感器信息融合

4．3．1 基于加权平均的决策级融合

4．3．2 基于模糊积分的决策级融合

4．3．3 基于D-S证据理论的决策级融合

4．4 本章小结

第5章 实验结果与分析

5．1 引言

5．2 手势要素评估结果及分析

5．2．1 单双手要素评估结果及分析

5．2．2 手势朝向要素评估结果及分析

5．2．3 手势幅度要素评估结果及分析

5．3 孤立词识别结果及分析

5．4 不同传感器组合识别结果及分析

5．5 基于遗传算法的特征选择结果及分析

5．6 不同传感器信息融合方案识别结果及分析

5．7 本章小结

第6章 总结与展望

6．1 主要工作及成果

6．2 研究展望

参考文献

致谢

在读期间发表的学术论文与取得的其他研究成果