面向大词汇量的连续中国手语识别系统的研究与实现

摘要

手语识别研究的目的是增进聋人与听力健康人之间无障碍的交流,提高计算机对人体语言的理解能力.由于手语使用范围不广,因此关于手语的研究较少,手语识别的研究也就只有10多年的历史.在手语识别领域中仍然有很多挑战性的难题,其中包括:大词汇量的手势语识别方法;词汇集可扩展的手语识别方法;手语识别的最小识别基元;过渡帧的有效处理方法;非特定人的手语识别方法.以上5个问题的解决对手语识别具有非常重要的意义.该文对以上5个问题中的前4个进行了研究,并在此基础上实现了大词汇量手语识别系统.首先,文中对多数据流CHMM、多数据流SCHMM、多数据流DHMM和基于流捆绑技术的HMM这四种方法进行了对比,选择出最后一种方法作为大词汇量手语识别的核心技术.其次,该文采用基于流状态捆绑的手语识别方法,并利用了基于动态规划算法的自动估计状态结点数的模型、修正转移矩阵、快速匹配、估计跳转参数等技术来提高系统的性能,在该文采集的世界上最大的手势库上(5100个手势)进行测试,实验结果表明这种方法是十分有效的.此外,通过对手语辞典的分析,该文归纳整理出2400多个词根,并实现了基于词根的识别系统,在这个系统中,使用了树状搜索结构、前向索引表和N-Best方法.并将这种方法与基于手势词的方法进行了比较.最后,还对进一步寻找更基本的识别单元做了尝试.

目录

文摘

英文文摘

1引言

1.1 手语识别的研究内容及意义

1.2 国内外研究现状

1.3存在的问题

1.4本论文的主要贡献

1.5本文组织结构

2数据的获取

2.1 引言

2.2 数据手套及位置跟踪器

2.3特征提取

2.4 小结

3基于HMM的中国手语识别系统框架

3.1 引言

3.2 HMM技术

3.2.1 CHMM的三个基本问题

3.2.2评估问题

3.2.3 参数估计

3.2.4解码问题

3.3 多数据流HMM技术

3.3.1 并行多数据流HMM

3.3.2 在状态结点融合的多数据流HMM

3.4连续语句的Viterbi译码

3.5 小结

4手语识别的训练模型

4.1 引言

4.2 多数据流CHMM

4.3 多数据流半连续HMM

4.3.1 多数据流SCHMM模型参数估计

4.3.2 实验分析

4.4 多数据流离散HMM

4.4.1 选择各数据流的识别单元

4.4.2 建立多数据流的DHMM模型

4.4.3实验分析

4.5 基于数据流状态捆绑的多数据流的CHMM

4.5.1 流状态捆绑技术

4.5.2 实验分析

4.6 四种算法的比较

4.7 小结

5 连续语句识别算法研究

5.1 引言

5.2 自主设置状态结点数的CHMM

5.2.1 问题的提出

5.2.2 状态结点数的自动估计

5.2.3 实验分析

5.2.4 转移矩阵的修正

5.2.5 实验分析

5.3 解码

5.3.1快速搜索算法

5.3.2 估计词跳转的可能性

5.4 实验分析

5.5 小结

6 基于词根的手语识别研究

6.1 引言

6.2 统一的HMM框架

6.3 译码

6.3.1 分层异步识别

6.3.2 同步识别

6.4实验分析

6.5 与基于手势词的识别框架的比较

6.6 寻找更少的基元

6.6.1 寻找每条数据流的基元

6.6.2 自动切分词根

6.7 小结

7 手语识别系统

7.1 引言

7.2 基于手势词的识别系统

7.3 基于词根的识别系统

7.4 多模式对话系统

7.5 小结

结论与展望

创新点

参考文献

附录A

博士期间的科研成果和发表的论文

致谢