一种基于残差学习和多粒度特征融合的睡眠分期方法

摘要

本发明提出了一种基于残差学习和多粒度特征融合的睡眠分期方法，属于信号处理和模式识别领域。首先，对原始睡眠脑电信号进行预处理，获得若干睡眠脑电信号数据样本，且每一个数据样本包含N个通道的数据。接下来，对每一个数据样本的N个通道数据分别进行HHT获得N个脑电数据的时频矩阵特征。最后，将所有样本的上述时频矩阵特征送入基于残差学习和多粒度特征融合的睡眠分期网络中，完成睡眠脑电信号的多粒度特征提取和分类任务。本发明能够在自适应提取到的睡眠脑电信号时频特征上高效融合不同粒度特征，实验证明本发明提出的网络训练速度快，对专家先验知识依赖少，有效提升了现有自动化睡眠分期方法的分类性能和效率。

说明书

技术领域

本发明涉及信号处理和模式识别领域，涉及一种睡眠脑电信号处理和多粒度特征提取并融合分类的方法。

背景技术

睡眠分期是进行睡眠质量打分或睡眠相关疾病诊断过程中十分重要的一步，专业医师需要观察患者整夜的睡眠数据并进行睡眠阶段分类和评估，这无疑是一项费时费力的诊断工作。随着人工智能的不断发展，使用计算机辅助诊疗技术提升医生工作效率方面的研究也在不断深入。对于睡眠分期这样工作量繁重的任务，自动化睡眠脑电信号分析方法的发展和应用对于减轻医生的工作负担十分必要。脑电信号(Electroencephalograph，EEG)是一种记录大脑活动的生物电信号数据，能够反映人脑神经细胞的电生理活动。目前，对脑电信号的研究是学术界的热门和前沿方向之一，主要包括信号采集、信号预处理、特征提取和特征分类几个方面。然而传统的基于手工设计的脑电信号特征提取和特征选择对信号的识别结果影响很大，因此自动化特征提取和特征分类在脑电信号研究中备受关注。

现有的一些自动化睡眠分期研究方法中，对睡眠数据进行分类手段主要分为两种：一种是直接利用深度学习网络学习预处理过后的时间序列样本数据并进行分类，另一种是利用信号处理算法对预处理过后的数据提取一个初步的特征，再使用深度学习网络进一步学习高阶特征后进行分类。由于睡眠样本数据是一种时序信号，在第一种分类手段中，网络学习到的特征往往更大程度上反映信号的时序信息。然而不同睡眠阶段脑电信号的显著性特征是信号的频域信息及幅值信息，故而该种方法的分类效果往往不够精确。进一步，研究人员针对上述问题提出了第二种分类手段，即先对预处理后的数据提取时频域特征，然后利用深度学习网络学习高阶特征。该方法能够较好地反映信号的频域和幅值信息，但是在时频特征提取过程中需要设定较多的参数值，且参数值对于最终结果的影响也很大。参数设置步骤通常需要专业医生指导或多次实验分析，导致网络模型的鲁棒性较差。

本发明为了解决上述问题，利用希尔伯特黄变换(Hilbert-Huang Transform，HHT)实现自适应地分解睡眠样本数据。该方法是由Huang等人提出的一种用于提取信号时频信息的自适应信号处理方法。它首先使用经验模态分解(Empirical ModeDecomposition，EMD)算法将信号分解为若干的本征模态函数(Intrinsic Mode Function，IMF)和一个分解余量，进一步通过希尔伯特变换将其转换并整合为一个时频信息矩阵。与短时傅里叶变换和小波变换相比，该方法完全依据睡眠脑电信号自身的特点进行分析处理，不再需要人工过多地进行参数设置，很大程度上减少了参数设定对特征提取和特征分类的影响。本发明中应用该方法进行时频特征转换的必要性有两点：一方面是，相比于时序的睡眠样本数据，时频矩阵特征能够更好地模拟医师在睡眠分期过程中着重于信号的频谱和幅值分析策略；另一方面是，相比于时序的睡眠样本数据，变换后的时频矩阵特征更加贴合卷积神经网络的使用场景。

此外，在睡眠分期相关的卷积神经网络的自动睡眠分期算法研究中，大多数网络都是利用局部学习的策略提取局部特征表达，通过加深网络的层数融合局部特征并进行全局特征表达。这些方法一方面没有充分挖掘全局信息和局部信息之间的关联，另一方面网络学习的难度也很大，对于局部方差较大的信息缺乏有效性和鲁棒性。为了解决上述问题，本发明通过构建基于残差学习和多粒度特征融合的深度融合网络来高效提取数据中的多粒度特征表示，进一步通过特征融合充分表征睡眠数据的全局信息和局部信息，提升睡眠分期的效果。正如在行人的重识别任务中，Wang等人通过多粒度网络架构将全局特征和局部特征相结合来提升的分辨力和识别精度。本发明搭建多分支深度网络模块用于提取不同频域区间的多粒度特征。模块中的任意分支输出结果最终在水平方向上划分为若干子区域用于表征不同频域区间的鉴别信息，并协同地将局部鉴别信息补充到全局鉴别信息中，实现了多粒度特征学习策略。最终，通过融合睡眠脑电数据的不同通道特征有效地提升了网络的识别性能。

发明内容

为了解决数据参数设定问题以及如何高效融合若干通道的睡眠样本数据多粒度特征的问题，本发明提出一种基于残差学习和多粒度特征融合的睡眠分期方法。该方法在预处理操作后，首先利用HHT进行时频特征提取，获取有表征信息的时频矩阵。进一步，在多粒度特征提取及融合部分对多个通道数据的时频矩阵分别进行多粒度特征的提取和融合。其中，多粒度特征提取及融合模块中，首先利用三分支残差学习网络学习输入时频矩阵的全局信息和局部信息，随后使用注意力感知融合模块对单个通道内部的不同粒度的特征信息进行融合。最后，在融合分类部分，同样利用注意力感知融合模块对不同通道之间的特征信息进行融合。本发明最终通过实验证明了该方法能够有效提升睡眠分期任务的分类精度和分类性能。

实现本方法的主要思路如下：首先，对原始数据进行数据预处理步骤，即滤波和分段操作；进一步，利用HHT对分段后的睡眠脑电样本数据进行时频域变换，提取时频域特征；随后，在多粒度特征提取及融合过程中，使用多粒度特征提取及融合模块对单通道时频特征进行不同粒度特征的提取和融合；最后，在融合分类过程中，融合睡眠脑电数据中多个通道的特征进行分类。

基于残差学习和多粒度特征融合的睡眠分期方法，包括以下步骤：

步骤一，原始睡眠脑电信号的预处理操作。首先，对包含N个脑电通道的采样率为T的原始数据进行带通滤波去除噪声；接下来，使用长度为30s的滑动时间窗口将脑电信号无重叠地划分为共计P段样本数据。每个样本数据S

步骤二，样本数据的时频特征提取。对步骤一所得到的每一个样本数据按照通道顺序逐一进行希尔伯特黄变换以提取数据的时频特征。该步骤仅需人工设定样本的时频特征分辨率为M，其余参数均由算法自适应计算得出，则上述样本数据经过时频变换后的矩阵的维度为N*M*M。

步骤三，多粒度特征提取及融合。将上述时频矩阵作为网络的输入送入深度网络中，学习每个数据通道时频特征的多粒度特征并进行融合。其中，不同通道的时频特征数据使用相同的网络架构，但不共享网络参数。每一通道数据使用的网络用于学习并融合该通道时频特征的不同粒度特征作为该通道数据的显著性特征。

步骤四，多通道特征融合及分类。经过步骤三可以获得N个通道睡眠脑电数据的显著性特征，利用注意力感知融合模块将它们加权融合后使用分类器获得分类结果。

与现有技术相比，本发明提出的方法具有以下优点：

现有的自动化睡眠分期方法通常基于人工设计的特征，分类性能对于参数值设定的依赖性较强，对先验知识的依赖性也较强，且睡眠脑电时序信号往往不适用残差卷积神经网络的输入。此外，一般的基于深度学习的睡眠分期方法大多基于局部学习的思想，没有全面结合全局信息和局部信息。本发明通过自适应时频转换方法和多粒度融合深度网络很好地克服了上述缺点。

有益效果：

本发明创造性地将HHT和多粒度特征提取及特征融合深度网络相结合，利用自适应时频转换和多粒度特征学习模拟医师睡眠分期过程中辨别数据中时频信息的诊断思路，减少人工设计特征的同时使提取出来的特征更具代表性和鉴别性，进一步提高了分类的精度。

附图说明

图1是本发明的方法流程图；

图2是本发明的整体网络框架图；

图3是本发明所述多粒度特征提取及融合模块示意图；

图4是本发明所述注意力感知融合模块示意图；

图5是本发明所涉及的分类方法结果与专业医师人工分类结果的对比示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的说明。

一种基于残差学习和多粒度特征融合的睡眠分期方法，流程图如图1所示，整体网络框架图如图2所示。

步骤1，数据预处理。

假定对于该方法框架有一组训练数据TrainData和一组测试数据TestData。TrainData中包含用于训练的数据量为D

对上述的每一条脑电信号数据data进行带通滤波去除信号中的噪声，滤波范围被设定为0.5-32Hz。对于采样频率较高的数据还将采用降采样操作，将数据的采样频率降低到100Hz。最后，对滤波后的数据进行时间窗长度大小为30秒的无重叠分段操作，于是可以得到数量为P的子段样本数据。在滑动分段的过程中，由于每两个相邻的子段之间没有重叠部分，则每一条数据的滑窗分段过程可以表示为

本发明的实施过程中，使用的实验数据涉及到两个数据集。涉及到的第一个数据集是公开数据集SLEEP-EDF，实验选用睡眠双通道脑电数据，电极位置分别为Fpz-Cz和Pz-Oz，采样频率为100Hz；涉及到的另一数据集是在医院采集到的真实数据集，实验选用双通道睡眠脑电数据，电极位置分别位于F3-A2，F4-A1，采样频率为1000Hz。

步骤2，时频特征提取。

定义包含N个脑电数据通道的分段后的任意样本数据S＝[S

对单通道信号数据进行HHT变换需要如下处理：

(1)使用EMD算法将单通道信号S

其中，S

(2)对于每一个IMF，利用希尔伯特变换获取IMF的瞬时频率和瞬时幅度。本文将瞬时幅度定义为a

ω

其中，

最终，时序信号S

在本发明中，使用幅度的平方H

步骤3，多粒度特征提取及融合。

由图2可以看出，经过上述处理后的样本数据F＝[F

(1)首先，将大小为M*M的单通道时频特征矩阵F

(2)随后，将(1)中输出的隐层特征hidden_1

(3)进一步，将上述(2)中输出的8个高阶多粒度表征特征hidden

其中，S×T表示某一粒度特征矩阵的大小，Concat

进一步，注意力感知融合模块的第一路设置两个线性层用于学习不同粒度特征通道上的指向性特征GAP

weight

其中，W

(4)最后，由图4可以看出注意力感知融合模块的第二路是一个恒等映射操作。将该模块的两路网络相结合，即将第一路学习到的不同粒度特征通道的权重weight

步骤4，多通道特征融合及分类。

由上述步骤3，我们可以得到N个单通道的多粒度融合特征Fusion

训练优化网络

实验过程中，训练集和测试集将按照留一人验证法进行划分，即选用一名受试者的睡眠数据作为测试集数据，其余所有受试者的睡眠数据合并为训练集数据。模型性能的验证过程中，将随机选择十名受试者的数据分别作为测试数据进行十次交叉验证，验证模型的稳定性。

网络的训练和优化过程中，将使用多类交叉熵损失函数分别约束上述的N个多粒度分支网络输出的单通道数据高阶特征以及多通道注意力感知融合后的特征，用于校正和调整网络中的权重和偏差，损失函数Loss

其中，p

网络的训练使用批量数据(minibatch)进行优化训练，将训练集或者测试集中全部样本数据划分为K个minibatch，则每个minibatch包含全部样本数据的1/K的数据。网络在训练过程中计算每个minibatch中样本的梯度，取平均值后更新梯度参数。当网络循环训练完全部的K个minibatch后定义其完成一个完整的epoch。在本发明中，设定minibatch的数据量大小为512，并设定网络共训练100个epoch。

整个框架的网络参数设置如表1所示。实验过程中，设定HHT的时频分辨率M＝30。

表1本发明方法的网络框架参数设置

网络的性能评估

本发明使用模型性能评估中涉及的几个机器学习领域中常见的评价指标，其中包括分类准确度(Accuracy)，科恩卡帕值(Kappa)，F1值。这些评价指标均是由真阳性(TP)、真阴性(TN)、假阳性(FP)和假阴性(FN)计算而来。

分类准确度指的是正确预测的样本数占总预测样本数的比值。

Kappa是相关系数的一种形式，用于衡量数据集分类估计值的一致性水平。

F1值用于综合考虑精确度和召回值两个指标，用于综合反映模型整体的指标。

其中，精确度和召回值两个指标分别定义为

实验结果

本发明中各模块的有效性通过消融实验进行验证，该实验使用SLEEP-EDF数据，结果被绘制表2中。其中，branch1、branch2和branch3分别代表多粒度特征提取模块中的三个多粒度特征提取分支网络，SEmerge2和SEmerge3分别代表使用本发明中提出的注意力感知融合模块进行两分支及三分支多粒度特征融合的网络模型。

由表2可知，在三个分支网络的实验结果中branch3网络由于粒度信息较丰富能够取得更好分类效果。在整个消融实验结果中，使用注意力感知融合策略的三分支融合网络平均分类准确率最高，达到85.40％。其次是使用注意力感知融合策略的二分支多粒度融合网络，其平均准确率达到84.93％。结果表明，多粒度特征提取及融合模块能够有效提取输入数据中的有效特征完成睡眠分期任务，且本发明方法能够利用注意力感知融合策略进一步提升网络的分类性能。

表2本发明方法的消融实验十折交叉验证结果

表3展示了本发明方法与现有的其他模型方法的结果对比。与其他方法相比，本发明方法在相同数据集及相同受试者数目的实验前提下，能够取得更好的分类精度。此外，该方法在医院采集到的真实数据上验证了模型的分类效果。结果表明，本发明模型在真实数据集上同样能够保持稳定高效的分类性能。

表3本发明方法与其他方法对比

综上所述，本发明方法通过挖掘睡眠脑电时频信息的深层多粒度特征，综合睡眠脑电信号的全局信息和局部信息之间的关联进行融合分类，有效提升了自动睡眠分期任务的分类效果。该方法在公开数据集及医院采集的真实数据集上均能取得较为理想的实验结果，进一步证明了模型的有效性和鲁棒性。