基于卷积网络和长短时记忆网络的中国手语词识别方法研究

摘要

手语识别是通过人机交互技术(Human Computer Interaction，HCI)将采集到的手语翻译成文字或者语音，为听障人群提供语言交流上的便利，也为先天性失聪的聋哑患儿，增添了从小接受良好教育的机会。研究手语识别，构建一个完整的可应用系统，能够保障听障人群的学习工作和生活，促进社会和谐发展，具有重要的社会现实意义。除此之外，科技生活也逐渐成为现代人们的一种生活方式，研究基于计算机视觉的手语手势识别作为一种人机交互模式，也可以给现代人的智能生活带来舒适便捷的体验。
　　手语识别作为一种时序性任务，时序性建模的优劣是识别效果好坏的关键因素。随着近年来基于深度学习的方法在计算机视觉领域取得的重大发展和突破，充分展示了卷积神经网络（Convolution Neural Network，CNN）的特征提取能力和递归神经网络（Recurrent Neural Network，RNN）的时序建模能力。因此，本文根据Kinect2.0获取的中国手语样本数据，利用深度神经网络来构建手语识别框架，本文的主要研究内容包括:
　　1.根据中国手语词的可拆分特性及词内的上下文联系，我们细化了手语标签，以中国汉字作为我们识别的词典元素单元，将手语识别视为一种类似视频描述的任务，以特征序列作为输入，以表达序列作为输出，并构建了一个基于CNN和长短时记忆单元(Long Short Term Memory，LSTM)的手语识别框架。通过CNN提取手语图片的空间特征，利用LSTM构建编码解码网络，针对输入的特征，在编码端进行时序特征的提取，并传送到解码端进行词典元素的解码。
　　2.我们使用多模信息融合来进一步提升识别的准确率。我们将Kinect2.0获取的三维骨骼点作为手语样本的轨迹特征，在前述框架的基础之上，提出了三种多模融合方法。分别为基于特征的融合，固定权重的模型融合以及自适应权值的模型融合。实验表明，三种融合方法在识别性能上均得到提升，其中，自适应模型融合方法测试结果达到97.7％。
　　3.一个手语图片序列往往存在一些能够明确表达手语含义的视频帧也存在一些冗余帧，且不同视频帧的特征对不同的解码时刻作用不同。为了更好发挥手语视频中不同帧在不同解码时刻的作用，我们在编码解码网络中引入注意力机制，实现在每个解码时刻对视频帧不同的关注，从而更好地进行解码。实验表明，加入注意力机制的编码解码网络能够有效提升识别效果，识别率达到了98.2％。

目录

声明

摘要

1．1 研究背景与意义

1．2 国内外研究现状

1．2．1 基于传统方法的手语识别

1．2．2 基于深度学习方法的手语识别

1．3 本论文的研究动机与研究内容

1．3．1 研究动机

1．3．2 研究内容

1．4 章节安排

第2章 手语识别算法介绍

2．1 引言

2．2 HMM在手语识别中的应用

2．2．1 HMM简介

2．2．2 基于HMM的手语识别

2．3 3D-CNN在手语识别中的应用

2．3．1 CNN简介

2．3．2 3D-CNN手语识别框架

2．4 RNN在手语识别中的应用

2．4．1 RNN简介

2．4．2 基于RNN的手语识别框架

2．5 本章小结

第3章 基于LSTM的序列到序列中国手语词识别

3．1 引言

3．2 中国手语词特性

3．3 整体框架

3．4 特征提取

3．4．1 CNN网络介绍

3．4．2 基于VGG的特征提取

3．5 基于LSTM的编码解码框架

3．5．1 LSTM简介

3．5．2 编码解码网络结构

3．6 实验与分析

3．6．1 数据获取

3．6．2 参数设置

3．6．3 实验结果

3．7 本章小结

第4章 多模态融合在手语识别中的应用

4．1 引言

4．1．1 多模融合概述

4．1．2 总体框架

4．2 轨迹特征预处理

4．3 基于特征融合的识别框架

4．4 基于模型融合的识别框架

4．4．1 固定权重的模型融合

4．4．2 自适应权重的模型融合

4．5 实验结果及分析

4．6 本章小结

5．1 引言

5．2 注意力机制介绍

5．3 基于注意力机制的手语识别

5．3．1 手语分析

5．3．2 基于注意力机制的手语识别模型

5．4 实验结果及分析

5．5 本章小结

6．1 工作总结

6．2 工作展望

参考文献

致谢

在读期间发表的学术论文与取得的研究成果