人机交互中的手势分割及识别关键技术的研究

摘要

随着计算机和互联网的迅速普及，人机交互活动逐渐成为人们日常生活的重要组成部分。它在智能家居、智能企业办公、医院安全监控、智能教育等领域得到了广泛的应用。它填补了人与电子设备之间互动交流的空白。传统的人机交互方式，比如键盘、鼠标、遥控、触摸屏等，都需要人去适应机器，需要人按照预先设定的规范去操作，而现今技术的发展使得人机交互的方式有了更多的选择。基于手势识别的人机交互以直接操作为主，使人机交互技术从以机器为中心逐步转移到以人为中心，符合人的交流习惯。因此，基于机器视觉的手势识别正逐渐被开发和应用于工程中。
　　本文的研究内容主要包括基于混合高斯模型的手势分割算法以及基于深度卷积神经网络的手势分类算法。本文首先介绍了手势识别技术领域的研究背景及意义，并对十几年来国内外手势识别算法的研究现状进行了充分的分析，对手势识别算法应用过程中遇到的问题及改进的措施进行了详细的描述。论文主要内容包括以下几个方面:
　　1.详细的介绍了手势识别过程中的一个难题，即手势分割问题，并提出了基于混合高斯肤色模型的手势分割方法，最终我们对方法进行了充分的推导及有效性验证。
　　2.重点介绍了传统的用于图像分类的卷积神经网络模型，并搭建了用于手势分类的端到端的深度卷积神经网络，详细介绍了模型的结构、参数、激活函数、代价函数、训练方法、测试流程等细节。对网络搭建过程中超参数的选择给出了指导性方案。
　　3.对手势分割效果的验证。我们首先介绍了用于验证方法有效的室内室外两个条件下的手势数据库。对室内数据库进行了手势分割效果的展示，然后对分割前后手势的平均分类正确率进行了对比。并且对比了多个经典卷积神经网络框架的分类结果以说明我们建立的模型的有效性。在室内数据库上，我们将手势的分类正确率从85.2％提高到了98.6％;在室外条件下的国立新加坡大学公共手势数据库上面，我们将手势的平均分类正确率从92.22％提高到了95.4％。最后，我们通过可视化分析深度卷积神经网络的卷积核及特征图，了解深度卷积神经网络的学习过程以及学习到的特征。
　　在这篇论文中，我们针对手势识别过程中关键的两步，即手势分割和手势分类，提出了各自的解决方法，并通过实验验证了算法的有效性。

目录

声明

摘要

第一章 绪论

1．1 课题研究背景及难点

1．2 国内外研究现状

1．2．1 手势分割算法的研究

1．2．2 手势分类算法的研究

1．3 论文研究重点

1．4 论文结构安排

第二章 基于混合高斯模型手势分割算法

2．1 图像的预处理

2．2 高斯混合模型的建立

2．2．1 混合模型期望量大化算法

2．2．2 模型的学习方法

2．3 手势区域的重建

2．3．1 形态学处理

2．3．2 单连通操作

2．3．3 手势区域重建

第三章 用于手势分类的深度卷积神经网络模型

3．1 深度卷积神经网络模型的结构

3．1．1 卷积层

3．1．2 池化层

3．1．3 全连接层及softmax层

3．2 激活函数

3．3 代价函数

3．3．1 代价函数的介绍

3．3．2 代价函数的选择

3．4 用于手势分类的模型的详细参数

3．5 深度卷积神经网络的训练

3．5．1 训练细节

3．5．2 训练及测试过程

第四章 实验结果及分析

4．1 数据库

4．1．1 室内自采集数据库

4．1．2 室外公共数据库

4．2 手势分割效果

4．3 手势分类效果

4．3．1 与传统CNN对比结果

4．3．2 与经典算法对比结果

4．4 深度CNN的可视化分析与理解

5．1 总结

5．2 展望

参考文献

致谢