肌电手势识别中的多流融合和多视图深度学习方法研究

摘要

手势是一种自然、直观且易于学习的人机交互手段。作为感知用户界面的一个重要组成部分，手势识别的核心问题是如何让计算机能够从输入信息中准确识别出用户的手势动作。基于表面肌电的人机界面凭借其良好的可穿戴性、对光照条件和遮挡的鲁棒性以及对细微动作较强的区分能力，成为感知用户界面领域的研究热点之一。
　　随着人们对感知用户界面的精确性要求越来越高，深度学习方法在基于表面肌电的手势识别系统中得到了广泛应用，但依然面临以下问题:首先，相关研究表明，每个手势中只有一部分前臂肌群起到主导作用，且不同手势与前臂不同肌群的肌电信号之间具有较强关联性;其次，深度学习方法在基于高密度肌电信号的手势识别中普遍具有较高的性能，而在基于稀疏多通道肌电信号的手势识别中性能依然难以令人满意;最后，来自不同被试或采集会话的肌电信号之间存在个体差异，这种个体差异会导致手势识别中的训练数据和测试数据具有不同分布，使得从当前个体学习获得的分类器模型，难以有效扩展和应用到其他个体。本文重点在深度学习框架下围绕上述问题进行探索和尝试，主要研究内容包括:
　　1).基于手势动作与肌群产生的肌电信号的关联性假设，提出一种面向肌电手势识别的多流融合深度学习方法，对前臂肌电信号生成的肌电图像进行多流表征，将得到的多个子图像分别输入多流卷积神经网络各个分支中进行建模，之后通过特征层多流融合，把多个分支学习到的深度特征融合在一起。在不同肌电数据集上的结果表明，在多流融合深度学习框架下对前臂不同肌群的肌电信号进行关联性建模，可以有效提高肌电手势识别的准确率。
　　2).尝试在基于稀疏多通道肌电信号的手势识别中采用多视图学习方法以获得更高的手势识别性能。提出一种面向肌电手势识别的多视图深度学习方法，从稀疏多通道肌电信号中提取多个经典特征集构建为肌电信号不同视图的数据，然后通过一个深度学习框架下的视图选择过程，选取具有较优手势识别性能的视图，将其数据输入多视图卷积神经网络中进行建模。相比单视图学习，多视图学习可以充分利用原始数据多个视图下的信息，从而带来性能的提升。
　　3).将会话间或被试间手势识别时肌电信号个体差异导致的训练数据和测试数据不同分布问题视为一个领域自适应问题，其中训练数据和测试数据分别属于不同的源域和目标域。尝试通过少量标定数据进行领域自适应，使得训练好的深度神经网络模型可以有效地扩展和应用到新用户或新会话。

目录

声明

摘要

插图

表格

1 绪论

1．1 研究背景及意义

1．2 问题的提出

1．3 本文工作

2 相关研究工作综述

2．1 表面肌电信号的产生原理

2．2 基于表面肌电的手势识别

2．2．1 基于传统机器学习的肌电手势识别方法

2．2．2 基于深度学习的肌电手势识别方法

2．3 多流融合学习

2．3．1 多流融合深度学习方法

2．3．2 多流融合方法

2．3．3 基于多流融合学习的手势识别方法

2．4 多视图学习

2．5 小结

3 面向肌电手势识别的多流融合深度学习方法

3．1 概述

3．2 问题描述

3．3 面向肌电手势识别的多流融合深度学习方法框架

3．3．1 肌电图像多流表征

3．3．2 多流卷积神经网络结构

3．3．3 融合网络结构

3．4 性能评估与实验分析

3．4．1 数据集与实验细节

3．4．2 NinaPro DB1数据集上的评测

3．4．3 CapgMyo DB-a数据集上的评测

3．4．4 CSL-HDEMG数据集上的评测

3．5 小结

4 面向肌电手势识别的多视图深度学习方法

4．1 概述

4．2 问题描述

4．3 面向肌电手势识别的多视图深度学习方法框架

4．3．1 肌电信号的多视图构建过程

4．3．2 深度学习框架下的视图选择过程

4．3．3 多视图卷积神经网络结构

4．4 性能评估与实验分析

4．4．1 数据集与实验细节

4．4．2 多视图深度学习与单视图深度学习的性能对比

4．4．3 不同多视图聚合方法的性能对比

4．4．4 四个稀疏多通道数据集上与已知方法的性能对比

4．5 小结

5 会话间肌电手势识别中的多流AdaBN领域自适应方法研究

5．1 概述

5．2 问题描述

5．3 多流AdaBN领域自适应方法介绍

5．4 性能评估与实验分析

5．4．1 对多流融合深度学习方法的会话间手势识别测试

5．4．2 对多视图深度学习方法的被试间手势识别测试

5．5 小结

6 总结与展望

参考文献

发表文章目录

致谢