基于视觉的字母手势识别技术研究及实现

摘要

在目前人工智能高速发展的时代，对计算机视觉的研究也越来越热门。在视觉领域中，由于人手手势表达能力的丰富性，针对手势识别的研究者不断增多。随着人们对手势识别研究的深入，使得人机交互更加人性化。目前机器的研究不断趋于小型化，然而外部输入设备一直占了机器的很大一部分，基于计算机视觉的手势识别，使得机器去掉这些外部输入设备成为可能。
　　目前国内对手势识别的研究，很大一部分是对一些简单手势的识别，手势量较少，为了更好、更简单的实现人机交互，利用普通摄像头实时采集人手图像，完成对26个英文字母手势的检测、跟踪和识别，并且输出相应的字母。通过对相关算法的分析和改进，使得效果具有一定的改善。
　　首先，对于人手的检测，肤色分割检测是最简单而且有效的方法，但是肤色检测很容易误检，例如把人脸误检为人手。利用图像的Haar特征，以Adaboost分类器进行目标检测在较大尺寸图像的图像上检测比较困难，所以利用两种方法的优点，把肤色检测的结果输入Adaboost分类器进行检测，很好的完成人手检测，提高了检测精度。
　　其次，在人手跟踪上，粒子滤波跟踪算法具有不错的效果，但基本粒子滤波跟踪算法在重采样阶段存在粒子退化和粒子匮乏等缺点，针对此缺点，提出了一种基于风驱动优化的粒子滤波改进算法，既在粒子滤波算法重采样前，引入风驱动优化算法对粒子进行优化，仿真和实验结果表明该改进算法在一定程度上提高了基本粒子滤波跟踪算法的效果。
　　然后，对实时跟踪到的手势区域，进行识别。识别方法主要采用深度学习——卷积神经网络进行识别，针对卷积神经网络识别率低和误识别率高的手势利用模板匹配的方法进行验证，从而提高了整体手势的识别效率。
　　最后，完成了实时手势识别系统设计，该系统通过摄像头采集视频图像，完成字母手势检测、跟踪和识别，同时把相应的手势识别结果以英文字母的形式输出，实现了一种手势输入法。

目录

声明

摘要

第1章 绪论

1．1 研究目的及意义

1．2 国内外研究现状

1．2．1 计算机视觉研究现状

1．2．2 手势识别研究现状

1．3 本文主要工作

1．4 本文组织安排

第2章 人手分割和检测技术

2．1 引言

2．2 数字图像预处理

2．2．1 图像颜色空间转换

2．2．2 数字图像滤波

2．2．3 数字图像直方图均衡化

2．3 基于肤色分割的人手检测

2．3．1 颜色空间类型的选取

2．3．2 肤色分割模型

2．3．3 数字图像形态学处理

2．3．4 肤色区域判定

2．4 基于Adaboost分类器的人手检测

2．4．1 Adaboost算法原理

2．4．2 Haar-Like特征和积分图

2．4．3 Adaboost Haar分类器的实现

2．5 基于肤色和Adaboost分类器的人手检测

2．6 实验结果及对比分析

2．7 本章小结

第3章 基于粒子滤波的人手跟踪及其改进

3．1 引言

3．2 基本粒子滤波跟踪算法

3．2．1 粒子滤波算法原理

3．2．2 基于颜色模型的粒子滤波算法

3．3 改进粒子滤波跟踪算法

3．3．1 基于风驱动优化的粒子滤波算法

3．3．2 基于花授粉优化的粒子滤波算法

3．4 仿真与实验结果分析

3．4．1 粒子滤波算法仿真分析

3．4．2 粒子滤波算法实验分析

3．5 本章小结

第4章 手势识别技术

4．1 引言

4．2 卷积神经网络

4．2．1 CNN网络基本结构

4．2．2 CNN反向传播算法

4．2．3 一种典型的卷积神经网络——LeNet-5

4．2．4 基于手势图像的LeNet-5网络训练

4．3 模板匹配识别法

4．4 基于卷积神经网络和模板匹配的联合识别

4．5 本章小结

第5章 字母手势输入识别系统设计与实现

5．1 字母手势识别系统综述

5．2 手势识别系统设计与实现

5．2．1 手势识别系统的设计

5．2．2 手势识别系统的实现

5．3 手势识别系统演示

5．4 本章小结

总结与展望

致谢

参考文献

攻读硕士学位期间发表的论文