基于视觉的连续手语识别系统的研究

摘要

手语是由手形、手臂运动并辅之以表情、唇动以及其它体势来表达思想的人体语言，具有规范的语法、明确的语义和完备的词汇体系。手语所含信息量丰富，与口头语及书面语等具有同等的表达能力，常用于聋人之间的信息交流和交际，也可用于聋校进行教学活动。
　　一般常人不懂手语，与聋人存在语言交流障碍。手语识别系统正是基于这一问题提出来的。本文要开发的系统是一个基于视觉的手语识别，它通过采集手语动作的图像或者视频信息，提取取手语的特征，利用模式识别技术识别出手语所表达的语意。本文的研究工作包括以下几个方面:
　　1.分析手语的基本要素中国手语作为手语的一个重要分支分为两类:手指语和手势语。手指语是用指式轨迹描述一个汉语拼音字母，并按照汉语拼音规则构成的语言。手势语是以模拟事物的形状、动作为主要手段，并辅以姿态和表情来表达的。手势语是聋人日常生活中使用的语言的主要部分。目前在中国手语教科书中每个手势对应一个汉语词。在我国聋人交往主要使用手势语，适当地配合手指语。
　　2.手势分割本文中采用对人手图像提取HOG特征，即局部图像梯度的方向信息的统计分离出手的部分，HOG以其较好的鲁棒性以及对于光亮的不敏感性能够显著提高检测效果。从而为后面的特征的提取以及识别打下基础。
　　3.静态手势特征提取及识别，静态手势主要是面对手指语，在本文中我们主要处理的静态关键手势为语句起始手势和语句结束手势，采集静态手语的HOG特征值，同时训练SVM识别器识别单一的静态手语。
　　4.动态手势跟踪在手语的进行过程中，手作为非刚性物体在手语实现过程中会无规律的发生形变，所以常规的跟踪算法在跟踪记录手的运动轨迹中将极容易丢失跟踪目标，而又难以重新找回，本文采用TLD跟踪算法跟踪手势动作。TLD以其在线学习和检测跟踪同步机制保证了对于发生形变的手的动作的跟踪的稳定性，能实时的跟踪绘制手的运动轨迹。
　　5.手语分类判别对于静态手势部分，由分割用到的HOG边缘特征数据作为后面识别原数据。对于动态手势，我们将采用TLD跟踪算法跟踪绘制其运动轨迹，结合开始的静态手势和结尾的静态手势识别连续动态手语。本文将建立基于词根的隐马尔科夫模型(HMM)识别手语。

目录

声明

摘要

第一章 绪论

1．1 课题背景与研究意义

1．2 手语识别技术概述

1．3 手语识别的发展现状

1．4 本文研究的内容

1．5 本章小结

第二章 手语的规则及构成分析

2．1 手的形状

2．2 手的方向和方位

2．3 手语的空间动作

2．4 面部表情和其他体态

2．5 本章小结

第三章 手势分割

3．1 背景减差法

3．2 边缘检测方法

3．3 区域增长技术

3．4 HOG(方向梯度直方图)

3．5 实验结果与分析

3．6 本章小结

第四章 静态手势识别

4．1 SVM算法

4．1．1 SVM概述

4．1．2 SVM最优分类面

4．1．3．SVM的非线性映射

4．1．4 特征空间的隐式映射：核函数

4．2．HOG-SVM训练识别

4．3 样本选择

4．4 实验结果

4．5 本章小结

第五章 动态手势

5．1 动态手势构成

5．2 手势的跟踪常见方法

5．3 TLD跟踪算法

5．3．1 预备知识

5．3．2 最近邻分类(NN)

5．3．3 目标模型

5．3．4 模型更新

5．3．5 目标检测器

5．3．6 级联分类器

5．3．7 跟踪模块

5．3．8 综合模块

5．3．9 PN学习

5．4 TLD手势跟踪结果

5．5 本章小结

第六章 连续手语分类判别

6．1 连续手语识别方法

6．2 归一化的手语运动轨迹特征提取

6．2．1 基于HOG-SVM的手势分割

6．2．2 手势起始位置分割

6．2．3 动态手势的轨迹的离散连续拟合

6．2．4 手势运动轨迹归一化

6．2．5 运动中关键帧手形提取

6．3 基于隐马尔科夫模型的手语识别

6．3．1 HMM正式定义

6．3．2．HMM的三个基本问题

6．4 实验及结果分析

6．4．1 特征向量提取

6．4．2 训练手语的隐马尔可夫模型

6．4．3 识别过程及结果

6．5 本章小结

第七章 总结与展望

参考文献

作者攻读研究生期间发表论文及参与项目

致谢