基于卷积神经网络的手势识别方法研究

摘要

因为手势具有简单、直接和容易理解等特点，所以人们在不同的时期利用不同的方法对手势识别及其应用进行研究，使其成为一种重要的人机交互方式，例如在无人机的飞行姿态控制方面，地面利用摄像头采集手势图像，通过识别进而判断手势的含义来控制无人机的飞行姿态，具有控制灵活、方便的优点，因而具有较好的应用价值。 传统的图像识别方法是依靠人工设计复杂的特征提取算法进行图像的特征提取。近年来，构建卷积神经网络模型，利用深度学习算法实现图像识别取得了重大进展，展现出了巨大的优势。与传统的图像识别的方法相比较，卷积神经网络可以直接将整张图像作为输入，经过卷积神经网络内部的层层卷积进行特征提取，通过分类器预测手势的具体类别，根据预测值和真实值的函数关系，利用反向传播算法来优化卷积神经网络的参数，这样卷积神经网络可以从不同的方面来提取图像特征，使卷积神经网络具有优异的图像识别性能，它避免了人工设计提取特征算法提取特征的单一性，极大提高了图像的识别率和鲁棒性。本文的主要工作就是构建改进的卷积神经网络模型，利用深度学习算法提高手势图像的识别率及其鲁棒性。完成的主要研究工作如下： （1）为了解决在复杂背景下手势识别率低，容易受到周围环境干扰的问题，提出了一种复合卷积神经网络算法实现手势图像识别。对手势进行识别时，由于在不同的场景下会有不同的背景干扰，肤色干扰更是一种影响比较大的干扰，因为手的肤色和人脸的肤色一样。为了使设计的手势识别算法的性能优异，本文收集了大量在复杂环境下的夹杂着人脸和各种类肤色的手势图像制作数据集。利用标注软件，标注出手势在图像中的坐标，区分手势和背景。 （2）构建卷积神经网络模型，使用建立的手势图像数据集训练卷积神经网络，然后利用训练好的卷积神经网络进行手势检测。为了提高已经训练好的卷积神经网络的手势检测正确率，研究了结合手势面积算法对检测到的手势进行分割的方法，这样可以保证检测到的手势图像为完整的手势，降低周围环境对手势识别的干扰。 （3）为了解决目前利用卷积神经网络进行手势识别时，采用单一卷积神经网络结构存在识别准确率低的问题，本文首先对检测到的手势图片进行手势图像预处理，通过滤波、背景消除、二值化一系列的操作凸显手势图像，弱化背景图像，使背景对手势识别的影响降低；其次，在经典卷积神经网络模型Alexnet的基础上，提出了进行两次改进的多尺度卷积核的卷积神经网络结构。第一次是对卷积神经网络的第一层卷积层进行了改进，这种改进的卷积神经网络模型在第一层卷积层进行手势特征提取时，采取两种卷积核对手势图像进行手势特征提取；第二次改进在第一种改进的基础上对深层的卷积层继续采用多卷积核的方法，利用多尺度卷积核和双通道进行手势特征融合，然后利用分割后的原始手势图像数据集和二值化手势图像数据集对改进模型进行仿真实验验证。仿真实验结果表明改进的卷积神经网络识别率明显提升，手势图像的正确识别率达到95.64%。

目录

第1章 绪论

1.1 课题研究背景及意义

1.2 国内外研究现状

1.2.1 手势识别国外研究现状

1.2.2 手势识别国内研究现状

1.3 论文主要研究工作

1.4论文的组织结构

第2章 卷积神经网络的基本理论概述

2.1 人工神经网络

2.1.1 感知器

2.1.2 BP神经网络

2.1.3前向计算过程

2.1.4 反向传播算法

2.2卷积神经网络

2.2.1卷积神经网络的工作原理

2.2.2 卷积神经网络的结构

2.3 手势检测模型

（1）FCN模型

（2）R-CNN模型

（3）Fast-RCNN模型

（4）Faster-RCNN模型

（5）SSD模型

2.4本章小结

第3章 手势数据集的建立和手势检测

3.1.1 单一手势数据集

3.1.2 复杂背景下手势数据集建立

3.2 手势检测算法的实现

3.2.1 手势检测软件

3.2.2 手势检测模型和面积比例结合算法

3.3 手势分割

3.4 实验结果及分析

3.5 本章小结

第4章 手势图像的预处理

4.1手势图像预处理方法

4.2 切割后手势的背景处理

4.3 实验结果及其分析

4.4 本章小结

第5章 基于多尺度卷积神经网络模型的手势图像识别

5.1 手势识别的AlexNet网络

5.2 手势图像分类的AlexNet网络训练

5.2.1 卷积神经网络训练时手势图像的规范化处理

5.2.2 AlexNet卷积神经网络训练设置

5.2.3实验设计及结果分析

5.3 改进的多尺度的卷积神经网络

5.3.1 第一次改进的多尺度的卷积神经网络的结构

5.3.2 实验结果及其分析

5.3.3 第二次改进的多尺度融合的卷积神经网络

5.4 实验结果

5.5本章小结

第6章 总结与展望

6.1总结

6.2展望

参考文献

攻读硕士期间研究成果

致谢

声明