一种基于多流分治卷积神经网络的表面肌电信号手势识别方法

摘要

本发明公开了一种基于多流分治卷积神经网络的表面肌电信号手势识别方法。步骤如下：将肌电信号转化为肌电图像；对肌电图像按照肌电电极布局和前臂肌肉形状进行分割；构建并训练多流分治卷积神经网络，得到最优网络模型；对待测数据进行分类；本发明和现有基于表面肌电信号的多类手部动作识别方法相比，提出一种多流分治卷积神经网络，使用分而治之的策略，从输入的肌电图像中提取包含更多局部肌肉活动特性的卷积特征，使神经网络可以更好地学习人体前臂肌肉的局部特征。本发明多流分治卷积神经网络相比传统单流神经网络以及随机森林等传统分类器，不论对于稀疏多通道肌电信号还是由二维电极阵列采集的高密度肌电信号，都具有更好的手势识别性能。

说明书

技术领域

本发明属于模式识别技术领域，涉及一种基于多流分治卷积神经网络的表面肌电信号手势识别方法。

背景技术

人机交互界面主要可以分为基于视觉的人机交互界面与基于传感器的人机交互界面。基于表面肌电信号的人机交互界面属于后者，相比其他人机交互界面，其具有对遮挡鲁棒、对外界干扰鲁棒以及更好的可穿戴性三大优势，成为近年来人机交互界面领域研究的重点之一。

在基于表面肌电信号的人机交互界面中，表面肌电信号手势识别的最终目标是在允许的观测延迟内获取尽可能高的手势识别准确率。为了达到这个目标，目前主流的方法包括两种：第一种是使用二维肌电电极阵列采集的高密度肌电信号代替若干个肌电电极采集的稀疏多通道肌电信号，来同时获取人体动作时肌肉发力的时序和空间信息。例如Amma等人使用7×24的高密度肌电信号进行手势识别，在识别27个手指动作时获得了90.4％的识别准确率；第二种是使用近年来提出的深度学习技术，从表面肌电信号中提取深层特征表述，来提高识别精度。例如Atzori等人使用改进自LeNet的深度卷积神经网络对NinaPro数据集的肌电信号进行手势识别测试，获得66.59±6.40％的手势识别准确率。本发明提出的方法属于第二种方法。

已有基于深度学习技术进行表面肌电信号手势识别的方法大多基于单流卷积神经网络。而在利用其它输入数据进行手势识别的领域，利用多模态数据输入的多流神经网络已经成为主流手段。单流结构的卷积神经网络已经成为深度学习技术在表面肌电信号手势识别领域应用的局限之一。

根据已有对肌电信号的研究表明，每一块人体前臂肌肉产生肌电信号与相邻前臂肌肉产生的肌电信号之间在统计学意义上是相互独立的，同时特定前臂肌肉区域的发力对一些手势动作往往起主导作用。

分治思想是一种较为先进的模式识别策略，而已有的分治模式识别方法大部分基于对样本空间的分治。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，在应用深度学习方法进行表面肌电信号手势识别的领域应用分治策略和多流卷积神经网络，从而使神经网络能够更好地从局部区域肌肉产生的肌电信号中提取深度特征，提高手势识别精度。

本发明的目的是通过以下技术方案来实现的：一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，该方法包括如下步骤：

1)获取肌电信号，将肌电信号转化为肌电图像；

2)对步骤1)得到的肌电图像，按照肌电电极布局和前臂肌肉形状进行分割；

对于稀疏肌电信号，按照通道对肌电图像进行分割，将每个通道的肌电图像作为一个肌电子图像；

对于二维肌电电极阵列采集的肌电信号，将肌电图像按照采集电极布局分成若干个等尺寸的肌电子图像；

3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；

3.1)卷积神经网络流：每个卷积神经网络流由卷积层和局部连接层构成，卷积层由2维卷积核构成，局部连接层由2维局部感知单元构成；步骤2)得到的肌电子图像作为卷积层的输入；

3.2)融合模块：融合模块包括拼接单元和全连接层，拼接单元将多个卷积神经网络流的输出拼接起来，随后拼接的卷积特征被输入全连接层中；

3.3)分类模块：分类模块由G-way全连接层和softmax分类器构成，其中G为待分类手势数目，步骤3.2)全连接层的输出作为G-way全连接层的输入，softmax分类器的输出为最终手势识别结果；

4)使用训练数据对步骤3)构建的卷积神经网络进行训练，得到最优网络模型；

5)使用步骤4)获得的最优网络模型，对待测数据进行分类，得到分类结果。

进一步地，所述步骤1)中，对获取的肌电信号进行采样，对于稀疏肌电信号，使用滑动采样窗口进行采样，对于二维肌电电极阵列采集的肌电信号，基于瞬态肌电信号(即单帧肌电信号)进行采样；将采样得到的肌电信号样本转换为肌电图像。

进一步地，所述步骤1)中，

对于稀疏肌电信号，将L帧长度滑动窗口采集的D通道肌电信号构建为D×L的肌电图像；

对于二维肌电电极阵列采集的肌电信号，将其构建为W×H的肌电图像，其中W和H分别为二维肌电电极阵列的宽和高。

进一步地，所述步骤2)中，

对于稀疏肌电信号，以NinaPro稀疏多通道肌电数据集为例，使用20帧(即200ms)的采样窗口，10个通道的肌电数据转化成的肌电图像形状为10×20，10×20的肌电图像被分成10个20×1的肌电子图像；

对于使用8片8×2的二维肌电电极阵列采集8×16肌电图像的CapgMyo数据集，将8×16的肌电图像按照电极片布局，分成8个2×8的肌电子图像，每个子图像单独输入多流卷积神经网络的一个流中；

对于使用7×24的二维肌电电极阵列采集图像的CSL-HDEMG数据集，将采集得到的7×24肌电图像分成3份7×8的肌电子图像，每个子图像单独输入多流卷积神经网络的一个流中。

进一步地，所述步骤3.1)中，每个卷积神经网络流由相连的2层卷积层跟随相连的2层局部连接层构成，每层卷积层包含64个3×3的2维卷积核，卷积核步长为1；每层局部连接层由64个1×1的不重叠2维局部感知单元构成；在第一个卷积层之前进行批次归一化，在每个卷积层和每个局部连接层之后，依次进行批次归一化和ReLU非线性激活，最后一个局部连接层之后进行概率为50％的Dropout操作。

进一步地，所述步骤3.2)中，融合模块具有3个相连的全连接层，每个全连接层分别由512、512和128个神经元构成；在每个全连接层之后依次进行批次归一化和ReLU非线性激活，第一个和第二个全连接层后进行概率为50％的Dropout操作。

进一步地，所述步骤4)中，使用随机梯度下降法进行训练，并使用学习率衰减加速训练过程的收敛，同时使用所有可用的训练数据进行预训练，预训练的模型参数作为训练时的初始化模型参数，从而避免训练样本过少的问题。

本发明的有益效果是：本发明通过在基于卷积神经网络的肌电手势识别中引入分治策略和多流卷积神经网络技术，使得神经网络能够更好地学习前臂肌肉区域中的局部特征，最终通过融合这些局部特征，获得前臂肌肉区域活动的完整深度表示，用于解析肌肉活动对应的手势动作。本发明提出的多流分治卷积神经网络相比传统单流卷积神经网络，在三个公开肌电数据集上均可以取得更好的识别精度。本发明提出的方法对于基于表面肌电信号的假肢控制，人机交互等领域有着重要意义。

附图说明

图1为本发明提出的多流分治卷积神经网络结构示意图；

图2为本发明方法在CSL-HDEMG高密度肌电数据集上进行测试时，使用不同长度的投票窗口，与传统单流卷积神经网络的手势识别准确率对比；

图3为本发明方法在CSL-HDEMG高密度肌电数据集上进行测试时，使用不同长度的投票窗口，与传统单流卷积神经网络的手势识别准确率对比。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提出的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，包括以下步骤：

步骤1)获取肌电数据，并使用1Hz Butterworth低通滤波器对信号进行预处理。随后将处理后的信号转化为肌电图像。对于稀疏多通道肌电信号，以10通道的NinaPro数据集为例，我们使用200ms(按照NinaPro数据集的采样率为20帧)滑动采样窗口对肌电数据进行采样，每个采样窗口内的10通道肌电数据被转化为10×20的图像。对近年来新兴的高密度肌电信号，手势识别基于瞬态(即单帧)肌电信号进行，因此不需要滑动采样窗口对肌电数据进行采样，以CSL-HDEMG数据集为例，我们将每帧168通道的可用信号按照采集信号的电极阵列形状排布为7×24的肌电图像。

步骤2)对稀疏多通道肌电信号和高密度肌电信号应用不同分割策略，对肌电图像进行分割。本发明通过大量验证实验，确定了在不同数据集上的最优分割方式。

2.1)对于10通道的NinaPro稀疏多通道肌电数据集，10×20的肌电图像被以10个通道为单位分成10个20×1的肌电子图像。

2.2)对于使用8片8×2的二维肌电电极阵列采集的CapgMyo高密度肌电信号数据集，我们将8×16的肌电图像按照电极片布局，分成8个2×8的肌电子图像。

2.3)对于使用7×24二维肌电电极阵列采集的CSL-HDEMG高密度肌电信号数据集，我们将7×24肌电图像分成3个7×8的肌电子图像。

步骤3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；

3.1)卷积神经网络流：每个卷积神经网络流由相连的2层卷积层跟随相连的2层局部连接层构成，每层卷积层包含64个3×3的2维卷积核，卷积核步长为1。每层局部连接层由64个1×1的不重叠2维局部感知单元构成。

3.2)融合模块：融合模块包括拼接单元和全连接层，拼接单元将多个卷积神经网络流的输出拼接起来，随后拼接的卷积特征被输入3个相连的全连接层中，每个全连接层分别由512、512和128个神经元构成。

3.3)分类模块：分类模块接受融合模块的输出作为其输入，分类模块由一个G-way全连接层和1个softmax分类器构成，其中G为待分类手势数目。

步骤4)训练使用随机梯度下降法进行，并使用学习率衰减加速训练过程的收敛，使用所有可用训练数据进行预训练，从而避免训练样本过少的问题。训练结束后，保存训练得到的最优网络模型参数。

步骤5)使用保存的最优网络模型和测试样本，对多流分治神经网络进行测试，获得测试样本的预测标签。测试识别准确率计算公式为：

识别准确率＝正确总识别样本的数样本数

实施例

步骤1)本实施例使用3个公开肌电数据集作为肌电数据来源，分别为包含27名被试52个手势动作的NinaPro DB1稀疏多通道肌电数据集，包含18名被试8个手势动作的CapgMyo DB-a高密度肌电数据集，包含5名被试27个手指运动的CSL-HDEMG高密度肌电数据集。其中NinaPro DB1数据集包含10通道肌电数据，CapgMyo DB-a数据集包含128通道肌电数据，CSL-HDEMG数据集包含168通道的可用肌电数据。

步骤2)划分训练集和测试集，NinaPro DB1数据集中每名被试每个手势动作有10次重复，我们选取第2次，第5次和第7次重复作为测试集，剩余的重复作为训练集。CapgMyoDB-a数据集中每名被试每个手势动作有10次重复，我们选取一半的重复作为训练集，剩余一半作为测试集。CSL-HDEMG数据集每名被试每个手势动作有10次重复，我们进行10折交叉验证，即每次选取1次重复作为测试集，剩余9次重复作为训练集。

步骤3)使用1Hz Butterworth低通滤波器对数据进行预处理。

步骤4)将三个数据集的肌电数据分别转换为肌电图像。对于稀疏肌电信号，使用滑动窗口对信号进行采样，并将L帧长度滑动窗口采集的D通道肌电信号构建为D×L的肌电图像。以NinaPro DB-1数据集为例，我们使用200ms(按照NinaPro数据集的采样率为20帧)滑动采样窗口对肌电数据进行采样，每个采样窗口内的10通道肌电数据被转化为10×20的图像。对于高密度肌电信号，识别直接在二维瞬态肌电信号基础上进行，不需要滑动窗口进行采样，将每帧高密度肌电信号构建为W×H的肌电图像，其中W和H分别为整个二维肌电电极阵列的宽和高。对于CapgMyo DB-a高密度肌电数据集，我们将128通道肌电信号转化为8×16的肌电图像。对于CSL-HDEMG数据集，我们将每帧168通道的可用信号转化为7×24的肌电图像。

步骤5)对稀疏多通道肌电信号和高密度肌电信号应用不同分割策略，对肌电图像进行分割。对于NinaPro-DB1稀疏多通道肌电数据集，10×20的肌电图像被以10个通道为单位分成10个20×1的肌电子图像。对于使用8片8×2的二维肌电电极阵列采集的CapgMyoDB-a高密度肌电信号数据集，我们将8×16的肌电图像按照每片电极片为单位，分成8个2×8的肌电子图像。对于使用7×24二维肌电电极阵列采集的CSL-HDEMG高密度肌电信号数据集，我们将7×24肌电图像分成3个7×8的肌电子图像。

步骤6)设计图1所示的网络结构，并将分割后的每个子图像输入图1所示的网络结构中。

步骤7)使用所有可用训练集，对网络参数进行预训练。

步骤8)使用所有预训练得到的网络参数作为初始值，使用训练集进行训练，并保存最优网络参数模型。

步骤9)使用保存的最优网络参数模型和测试数据，进行测试，并统计识别率。

根据步骤9)统计的识别率，我们在NinaPro DB-1上使用200ms滑动采样窗口进行采样时，可以取得85％的手势识别准确率，在NinaPro DB-1上使用其他长度滑动窗口进行采样的识别率以及与其他方法的识别率对比参考下表：

从表中可以看出，本发明提出的多流分治卷积神经网络，在NinaPro DB-1稀疏多通道肌电数据集上，取得了远超传统单流卷积神经网络和随机森林分类算法的识别精度。

根据步骤9)统计的识别率，本发明提出的多流分治卷积神经网络在CapgMyo DB-a高密度肌电数据集上取得了89.5％的单帧识别准确率，经过长度为40ms，150ms和300ms的投票窗口投票，得到的手势识别准确率分别为99.1％，99.7％和99.8％。在CapgMyo DB-a数据集上进行测试时，本发明提出的多流分治卷积神经网络与传统单流神经网络在不同投票窗口长度下的手势识别准确率对比参考图2，从图2中可以看出CapgMyo DB-a数据集上，本发明提出的多流分治卷积神经网络在不同长度的投票窗口下均可以取得超越传统单流神经网络的手势识别精度。

根据步骤9)统计的识别率，本发明提出的多流分治卷积神经网络在CSL-HDEMG高密度肌电数据集上取得了90.3％的单帧识别准确率，经过长度为150ms和300ms的投票窗口投票，得到的手势识别准确率分别为93.6％和95.4％。在CSL-HDEMG数据集上进行测试时，本发明提出的多流分治卷积神经网络与传统单流神经网络在不同投票窗口长度下的手势识别准确率对比参考图3，从图3可以看出在CSL-HDEMG数据集上，本发明提出的多流分治卷积神经网络在不同长度的投票窗口下均可以取得超越传统单流神经网络的手势识别精度。