面向非特定人群的动态手语语句识别系统研究与实现

摘要

手语识别是人机交互的典型应用，手语不仅是聋哑人之间进行思想交流的语言，也是他们与外界进行沟通的重要方式。研究手语识别可以帮助聋哑人与正常人之间进行无障碍沟通，此外更进一步加强计算机对人类肢体语言的理解能力。但是目前的手语识别研究大部分是针对手语词汇进行识别。由于对手语语句的词汇分割存在困难，因此目前针对手语语句识别的研究比较少。
　　对自然语言进行识别，最重要的是能够分割出其中所包含的词汇。因此本文提出了一种基于关键帧的连续手语语句识别算法。关键帧可以看做是手语词汇的基本组成单元，有了关键帧即可得到相关词汇，进而根据隐马尔科夫模型组成连续的手语语句。避免了对手语语句直接做分割的难点。本文首先提出了一种自适应的基于手语轨迹的关键帧提取算法，然后设计了一种支持在线学习的增量式随机森林对关键帧进行分类识别。接下来设计了一种基于加权关键帧的手语语句识别算法，最后本文设计实现了一个连续手语语句识别系统，可以面向非特定人群，并且是在人机自然交互状态下完成识别。整个系统仅需一台体感设备与普通计算机，不仅使用方便而且对背景环境没有特殊要求。系统测试表明，本文提出的算法，稳定性高，容错性好，可以实时准确的识别出有意义的手语语句。

目录

声明

注释表

缩略词

第一章 绪论

1.1选题背景与意义

1.2国内外研究现状

1.3本文的主要工作

1.4本文的内容安排

第二章 连续手语中关键帧的提取

2.1 什么是关键帧

2.2 基于手语轨迹的关键帧提取算法

2.3 实验结果与分析

2.4 小结

第三章 关键手型的识别

3.1 关键帧中的手型分割

3.2 关键手型的特征描述

3.3 关键手型的识别

3.4 实验结果与分析

3.5 小结

第四章 基于关键帧的手语语句识别

4.1 关键帧加权

4.2 基于关键帧的手语语句识别

4.3 实验结果与分析

4.4 小结

第五章 手语语句识别系统的设计与实现

5.1 引言

5.2 系统设计

5.3 系统功能

5.4 系统测试

5.5 小结

第六章 总结与展望

6.1 总结

6.2 展望

参考文献

致谢

在学期间的研究成果即发表的学术论文