基于视频的徒手手语识别方法的研究

摘要

随着计算机性能的逐步提高和各领域对计算机使用的不断深入,用户对计算机使用方便程度和人机交互的自然性要求程度越来越高,尤其在虚拟现实和可穿戴计算领域中更为明显。因此,直观、自然和友好的多模式人机交互方式很有必要。在日常生活中,人与人之间交流使用的自然语言主要是口语和书面语。除此之外,还有手势、表情等方式可以在人与人面对面的交流中辅助传递信息。而手语则是聋人之间主要的表达方式。手语识别不仅可以为聋人提供帮助,而且也可推动人机交互研究的发展。
　　 本文主要对基于视觉的手语识别领域中的两大模块进行了应用研究:手部区域跟踪与手势特征提取。本文主要的研究工作可以概括为以下三点:
　　 (1)目标模板构建。首先对视频第一帧图像进行颜色空间的转换,然后通过肤色检测来自动截取感兴趣区域,从而得到肤色模板图,并建立其H分量直方图。这样便解决了连续自适应均值漂移(CamShiit)算法的半自动化问题,为后续的手部区域跟踪打好了基础。
　　 (2)手部区域跟踪。主要研究了连续自适应均值漂移(CamShift)算法在手语视频环境下的特殊应用,实现了对手语视频中手部区域的连续跟踪。在保留CamShift算法优点的基础上,对其进行应用改进,使之能够有效地对视频中的手部区域进行自动跟踪。实验结果证明了方法的有效性。
　　 (3)手势特征提取。主要做了手势特征的提取与分析和手势特征的训练识别工作。分别提取了手部区域的椭圆拟合特征与感兴趣区域的边缘方向直方图特征。用椭圆拟合特征作为手部的位置面积方向特征,用边缘方向直方图特征作为手部的形状特征。最后利用隐马尔可夫模型(HMM)技术对提取的特征进行训练识别,在选定的手语词集中,识别率为69.6％:若将手势相近、表情不同的手势词看作一个手势词,识别率可以达到81.5％。

目录

文摘

英文文摘

第1章 绪论

1.1 研究背景与研究意义

1.2 国内外研究现状

1.2.1 基于戴颜色手套的手语识别的研究工作

1.2.2 基于徒手的手语识别的研究工作

1.3 本文的研究内容

1.4 论文的组织

第2章 基于徒手的手语识别技术基础

2.1 引言

2.2 手部区域检测与跟踪技术

2.3 手部区域特征提取技术

2.4 手语识别技术

2.5 本章小结

第3章 跟踪方法

3.1 引言

3.2 目标模板的构建

3.3 手部区域的跟踪

3.3.1 反向投影

3.3.2 均值漂移算法及其在手语视频中的应用

3.3.3 连续自适应均值漂移算法及其在手语视频中的应用

3.4 跟踪策略与实验

3.4.1 排除人脸干扰的方法

3.4.2 排除人脸干扰实验

3.5 本章小结

第4章 手势特征提取与分析

4.1 手部位置面积方向特征的提取

4.2 手部形状特征的提取

4.3 手势特征的训练识别实验

4.4 本章小结

第5章 系统实现

5.1 引言

5.2 系统功能介绍

5.3 本章小结

第6章 总结与展望

6.1 论文总结

6.2 工作展望

参考文献

致谢