法律状态公告日
法律状态信息
法律状态
2018-11-30
授权
授权
2017-04-12
实质审查的生效 IPC(主分类):G06N3/08 申请日:20161011
实质审查的生效
2017-03-15
公开
公开
技术领域
本发明涉及一种脑状态监测方法。特别是涉及一种针对多通道脑电信号的基于多尺度网络的深度学习模型及在脑状态监测中的应用。
背景技术
脑电信号是脑神经细胞生理活动在大脑皮层或头皮表面的总体反映。脑电信号中包含了大量的生理与疾病信息，在临床医学方面，对脑状态的准确辨识不仅可为某些脑疾病提供诊断依据，同时也能够为某些脑疾病提供有效的治疗手段。在工程应用方面，人们也尝试利用脑电信号实现脑-计算机接口，利用人对不同的感觉、运动或认知活动的脑电的不同，通过对脑电信号特征的有效的提取和分类实现意念控制等。但由于脑电信号是不具备各态历经性的非平稳随机信号，而且其背景噪声也很强，因此脑电信号的分析和处理具有十分重要的意义，但同时也具备相当大的难度。众多的智能穿戴设备在市场上涌现，它们可以对用户的脑电信号进行实时监测，实现某些脑状态的辨识与分类。但是，目前大多数时间序列分析方法只能实现对一元数据的分析，如何融合多通道的传感器得到的多通道信息实现更加准确的辨别并为疾病的诊断提供重要依据依然存在较大局限性，同时对于实现更为复杂的意念控制依然是个值得探索的问题。随着人们的健康意识日益增强，使用智能穿戴系统随时随地了解自己的身体状况并自动处理紧急状况已经成为越来越多人的追求。将脑电检测分析系统与智能穿戴结合正是满足这种需求的理想产品。将脑电检测设备移植到可穿戴智能产品上，一方面应用本发明的一种基于多尺度递归网络的深度学习模型监测脑状态；另一方面使用智能穿戴设备实时输出大脑状态，可以监测使用者的身体状况，方便使用者进行自我健康状况评估，降低疾病的危害。
复杂网络理论自创立以来，如今已在多领域得到了蓬勃发展，是研究复杂系统的一个重要工具，尤其是近年来其在时间序列分析中领域作出了重大贡献。实践表明，复杂网络对于挖掘包含在非线性时间序列中和非线性动力学系统中的重要信息具有明显的优势，效果显著。其在单通道时间序列上的得到成功应用的同时，也使得科研人员开始关注如何将其应用到多通道数据的融合分析中。递归网络作为复杂网络研究中的一个重要分支，在多领域得到广泛应用，尤其是对于不稳定的、短的时间序列，其分析效果十分显著。它可以用于探究复杂系统和时间序列中的动力学特性。
发明内容
本发明所要解决的技术问题是，提供一种可应用于脑状态监测的基于多尺度网络的深度学习模型及在脑状态监测中的应用。
本发明所采用的技术方案是：一种基于多尺度网络的深度学习模型，模型的建立包括如下步骤：
1)对从智能穿戴设备测得的多通道信号进行预处理，预处理中的带通滤波范围是据设定的任务选取对应的脑电节律波确定；对预处理后的脑电信号进行多尺度变换；
2)在每一个固定尺度因子β下构建多尺度加权递归网络和多尺度加权递归网络对应的交叉递归率矩阵；
3)通过对所有尺度下的多通道信号进行步骤2)的处理，得到多尺度加权递归网络和多尺度加权递归网络对应的交叉递归率矩阵；提取步骤2)中的多尺度加权递归网络在不同的尺度下的网络指标；
4)在每个尺度下，设置一个变量q，保留所述的交叉递归率矩阵中相对大的元素，使保留下来的元素数目和原始的元素数目的比值为q；将保留下来的所有元素的值都设置为1，未保留的元素值都设为0，从而得到一个无权的邻接矩阵A以及无权的邻接矩阵A对应的多尺度无权递归网络；
5)设定变量q的变化范围为0.1～0.3，变化步长为0.01，对于变量q的每一个值，得到多尺度无权递归网络和多尺度无权递归网络对应的邻接矩阵A，提取多尺度无权递归网络在不同尺度下的网络指标，计算q在0.1～0.3范围内变化时所述的网络指标的积分，将所述的积分作为每个尺度下多尺度无权递归网络的最终的网络指标；
6)深度学习模型训练和进行脑状态监测。
步骤1)中所述的带通滤波范围是据设定的任务选取对应的脑电节律波确定，具体是：深度睡眠、缺氧以及大脑出现器质性病变时出现的δ波，频率范围为1-4Hz；在意愿受到挫折和抑郁时出现的θ波，频率范围为4-8Hz；人在清醒、安静或闭眼时最为明显的是α波，频率范围为8-13Hz；人精神紧张和情绪激动或兴奋时出现的β波，频率范围为13-30Hz；若无特定的节律波要求，则去除高低频干扰即可。
步骤1)中所述的对预处理后的脑电信号进行多尺度变换，包括：
(1)对于长度均为C具有p通道的信号中的每一通道的信号分别进行粗粒化得到：
其中，μxk,i(β)是粗粒化后得到的信号的任意一点，yk,b是信号Y中的任意一点，β是尺度因子，μ表示数据是求均值得到的，表示对进行取整，其中粗粒化后的单通道的数据长度为L,
(2)对每一通道的原始信号计算粗粒化方差，得到每一通道的多尺度信号：
由此，得到多尺度多通道信号
步骤2)包括：
(1)对于一个固定尺度因子β下得到的多通道信号进行相空间重构：
其中，N是进行相空间重构后相空间轨迹上向量点的数目，m为嵌入维数，采用错误最近邻法确定，τ为延迟时间，采用互信息法确定，为通道k经过相空间重构后得到的相空间轨迹；
(2)对于任意两通道m和n的信号xm,i(β)和xn,i(β)(m≠n)，在进行第(1)步后得到相空间轨迹其中u＝1,....,N和其中v＝1,....,N；通过对相空间轨迹和进行交叉递归，得到一个大小为N×N的交叉递归图：
其中，ε为阈值，采用15％的两通道信号标准偏差和选取，表示两相空间轨迹中任意两向量点之间的距离；表示如果则其值为1，如果则其值为0；这样一来，若的值为1，则在递归图中为黑色，若的值为0，则在递归图中为白色；
(3)为了量化每一个交叉递归图中递归点的密度，计算交叉递归率：
(4)对于固定尺度因子β下得到的多通道信号中的每两通道信号进行第(1)步～第(3)步的处理，得到一个大小为p×p的交叉递归率矩阵；
(5)将每一通道信号视作节点，将两通道间形成的交叉递归图的交叉递归率作为节点间连边的权重，得到在一固定尺度下的加权递归网络。
步骤3)中所述的多尺度加权递归网络在不同的尺度下的网络指标，包括：
(1)节点加权聚集系数Cw(i)：
其中，Wij、Wjk、Wki分别表示节点i和j，j和k，k和i之间的权值，Cw(i)表示节点i的加权聚集系数；
(2)节点加权度：任意节点i加权度表示该节点与其它节点之间连边的权值和。
步骤5)中所述的提取多尺度无权递归网络在不同尺度下的网络指标，包括：
(1)节点聚集系数Ci：
其中，ki表示无权相关系数复杂网络中与节点i有连边的节点数目，Ei表示ki个节点之间有连边的数目；
(2)节点度：任意节点i的度表示与该节点有连边的节点的数目；
(3)节点介数L(i)：
其中，σmn为连接节点m和节点n的最短路径数目，σmn(i)为经过节点i的连接节点m和节点n的最短路径数目；
(4)节点接近中心性CCi：
其中，Dij表示节点i到无权相关系数复杂网络中任意其它节点j的最短距离，该网络中共有节点数目为S；
(5)节点特征向量中心性：任意节点i的特征向量中心性表示网络邻接矩阵A的主特征值对应的特征向量的第i个元素的值。
步骤6)所述的深度学习模型训练和进行脑状态监测，包括：
(1)对于智能穿戴设备得到的多通道脑电信号分别进行步骤1)～步骤4)的处理，建立多尺度加权递归网络和多尺度无权递归网络，得到大量网络指标，即节点加权聚集系数、节点加权度、节点聚集系数、节点度、节点介数、节点接近中心性和节点特征向量中心性；将所述的网络指标组成的特征向量归一化后作为深度学习模型即卷积神经网络的一个样本输入，将脑状态作为卷积神经网络的输出；
(2)卷积神经网络由6到20层的不同形式和作用的神经层堆叠在一起，具体的网络构成包括卷积层、池化层、全连接层和损失层；其中卷积层是卷积神经网络的核心，每一个卷积层由若干的卷积核组成，所述的卷积核只对自己感受野内的一小块区域进行卷积运算，是按照规定的步长在整个输入数据上进行平移，对整个数据进行卷积运算，并输出一个特征图；池化层是对数据维度进行压缩的操作，即降采样，同时具有防止过拟合的作用；在卷积层的最后会连接一层或几层全连接的神经网络，所述神经网络的输入为前面卷积层或池化层输出的多维特征图；损失层将前馈神经网络的输出与数据的标签进行比较，计算两者的误差，然后通过反向传播算法进行网络的参数调节和优化；
(3)通过对大量的样本进行多层次的卷积和池化过程进行训练，采用误差反向传播算法调节、更新、优化网络中的各项参数以得到一个能够实现脑状态监测的深度学习模型，实现对脑状态的辨识与分类。
一种基于多尺度网络的深度学习模型在脑状态监测中的应用，对智能穿戴设备测得的多通道信号进行带通滤波，使用独立成分分析的方法去除眼电干扰信号并对伪迹明显的数据进行手动剔除；其中带通滤波范围是根据设定的任务选取对应的脑电节律波确定；对于滤波和去伪迹后的脑电信号在多尺度上计算每一对信号之间的交叉递归率，以递归率确定递归网络的连边权重，以每一通道的信号作为网络的节点，建立多尺度加权递归网络；通过选取阈值将多尺度加权递归网络转换为多尺度无权递归网络；提取网络的大量指标组成特征向量，将所述的特征向量作为样本输入深度学习模型即卷积神经网络，将当前任务中需要监测的脑状态作为卷积神经网络的输出，通过对大量的样本进行多层次的卷积和池化过程进行训练，采用误差反向传播算法调节、更新、优化网络的中各项参数以得到一个能够实现脑状态辨识的深度学习模型，实现对脑状态的监测。
本发明的基于多尺度网络的深度学习模型及在脑状态监测中的应用，具有如下有益效果：
(1)提出了一种针对智能穿戴设备测得的脑电信号进行脑状态监测的方法；
(2)提出了一种基于多尺度递归网络的深度学习模型构建方法。
附图说明
图1是本发明的基于多尺度网络的深度学习模型构建和实现脑状态监测的示意图。
具体实施方式
下面结合实施例和附图对本发明的基于多尺度网络的深度学习模型及在脑状态监测中的应用做出详细说明。
本发明的基于多尺度网络的深度学习模型及在脑状态监测中的应用，通过对智能穿戴设备测得的多通道脑电信号在多尺度上计算每一对信号之间的交叉递归率，以交叉递归率确定递归网络的连边权重，以每一通道的信号作为网络的节点，建立多尺度加权递归网络。通过选取阈值将多尺度加权递归网络转换为无权递归网络。提取网络的大量指标，将其作为深度学习模型的输入，经由对大量样本的学习和训练，构建基于多尺度递归网络的深度学习模型。该模型可应用于脑状态的监测，即实现对脑状态的监测。
本发明的基于多尺度网络的深度学习模型的建立包括如下步骤：
1)对从智能穿戴设备测得的多通道信号进行预处理，预处理中的带通滤波范围是据设定的任务选取对应的脑电节律波确定；对预处理后的脑电信号进行多尺度变换；
所述的带通滤波范围是据设定的任务选取对应的脑电节律波确定，具体是：深度睡眠、缺氧以及大脑出现器质性病变时出现的δ波，频率范围为1-4Hz；在意愿受到挫折和抑郁时出现的θ波，频率范围为4-8Hz；人在清醒、安静或闭眼时最为明显的是α波，频率范围为8-13Hz；人精神紧张和情绪激动或兴奋时出现的β波，频率范围为13-30Hz；若无特定的节律波要求，则去除高低频干扰即可。
所述的对预处理后的脑电信号进行多尺度变换，包括：
(1)对于长度均为C具有p通道的信号中的每一通道的信号分别进行粗粒化得到：
其中，μxk,i(β)是粗粒化后得到的信号的任意一点，yk,b是信号Y中的任意一点，β是尺度因子，μ表示数据是求均值得到的，表示对进行取整，其中粗粒化后的单通道的数据长度为L,
(2)对每一通道的原始信号计算粗粒化方差，得到每一通道的多尺度信号：
由此，得到多尺度多通道信号
2)在每一个固定尺度因子β下构建多尺度加权递归网络和多尺度加权递归网络对应的交叉递归率矩阵；包括：
(1)对于一个固定尺度因子β下得到的多通道信号进行相空间重构：
其中，N是进行相空间重构后相空间轨迹上向量点的数目，m为嵌入维数，采用错误最近邻法确定，τ为延迟时间，采用互信息法确定，为通道k经过相空间重构后得到的相空间轨迹；
(2)对于任意两通道m和n的信号xm,i(β)和xn,i(β)(m≠n)，在进行第(1)步后得到相空间轨迹其中u＝1,....,N和其中v＝1,....,N；通过对相空间轨迹和进行交叉递归，得到一个大小为N×N的交叉递归图：
其中，ε为阈值，采用15％的两通道信号标准偏差和选取，表示两相空间轨迹中任意两向量点之间的距离；表示如果则其值为1，如果则其值为0；这样一来，若的值为1，则在递归图中为黑色，若的值为0，则在递归图中为白色；
(3)为了量化每一个交叉递归图中递归点的密度，计算交叉递归率：
(4)对于固定尺度因子β下得到的多通道信号中的每两通道信号进行第(1)步～第(3)步的处理，得到一个大小为p×p的交叉递归率矩阵；
(5)将每一通道信号视作节点，将两通道间形成的交叉递归图的交叉递归率作为节点间连边的权重，得到在一固定尺度下的加权递归网络。
3)通过对所有尺度下的多通道信号进行步骤2)的处理，得到多尺度加权递归网络和多尺度加权递归网络对应的交叉递归率矩阵；提取步骤2)中的多尺度加权递归网络在不同的尺度下的网络指标；其中，所述的多尺度加权递归网络在不同的尺度下的网络指标，包括：
(1)节点加权聚集系数Cw(i)：
其中，Wij、Wjk、Wki分别表示节点i和j，j和k，k和i之间的权值，Cw(i)表示节点i的加权聚集系数；
(2)节点加权度：任意节点i加权度表示该节点与其它节点之间连边的权值和。
4)在每个尺度下，设置一个变量q，保留所述的交叉递归率矩阵中相对大的元素，使保留下来的元素数目和原始的元素数目的比值为q；将保留下来的所有元素的值都设置为1，未保留的元素值都设为0，从而得到一个无权的邻接矩阵A以及无权的邻接矩阵A对应的多尺度无权递归网络。
5)设定变量q的变化范围为0.1～0.3，变化步长为0.01，对于变量q的每一个值，得到多尺度无权递归网络和多尺度无权递归网络对应的邻接矩阵A，提取多尺度无权递归网络在不同尺度下的网络指标，计算q在0.1～0.3范围内变化时所述的网络指标的积分，将所述的积分作为每个尺度下多尺度无权递归网络的最终的网络指标；其中，所述的提取多尺度无权递归网络在不同尺度下的网络指标，包括：
(1)节点聚集系数Ci：
其中，ki表示无权相关系数复杂网络中与节点i有连边的节点数目，Ei表示ki个节点之间有连边的数目；
(2)节点度：任意节点i的度表示与该节点有连边的节点的数目；
(3)节点介数L(i)：
其中，σmn为连接节点m和节点n的最短路径数目，σmn(i)为经过节点i的连接节点m和节点n的最短路径数目；
(4)节点接近中心性(closeness centrality)CCi：
其中，Dij表示节点i到无权相关系数复杂网络中任意其它节点j的最短距离，该网络中共有节点数目为S；
(5)节点特征向量中心性：任意节点i的特征向量中心性表示网络邻接矩阵A的主特征值对应的特征向量的第i个元素的值。
6)深度学习模型训练和进行脑状态监测；包括：
(1)对于智能穿戴设备得到的多通道脑电信号分别进行步骤1)～步骤4)的处理，建立多尺度加权递归网络和多尺度无权递归网络，得到大量网络指标，即节点加权聚集系数、节点加权度、节点聚集系数、节点度、节点介数、节点接近中心性和节点特征向量中心性；将所述的网络指标组成的特征向量归一化后作为深度学习模型即卷积神经网络的一个样本输入，将脑状态作为卷积神经网络的输出；
(2)卷积神经网络由6到20层的不同形式和作用的神经层堆叠在一起，具体的网络构成包括卷积层、池化层、全连接层和损失层；其中卷积层是卷积神经网络的核心，每一个卷积层由若干的卷积核组成，所述的卷积核只对自己感受野内的一小块区域进行卷积运算，是按照规定的步长在整个输入数据上进行平移，对整个数据进行卷积运算，并输出一个特征图；池化层是对数据维度进行压缩的操作，即降采样，同时具有防止过拟合的作用；所述的池化层在两个卷积层之间，但由于池化是对输入数据大幅度的维度压缩，所以一般并不大量使用，而且通常在池化层只选择小的过滤器；在卷积层的最后会连接一层或几层全连接的神经网络，所述神经网络的输入为前面卷积层或池化层输出的多维特征图，具体操作时会把多个特征图拉成一条一维数据输入到全连接的神经网络中；损失层将前馈神经网络的输出与数据的标签进行比较，计算两者的误差，然后通过反向传播算法进行网络的参数调节和优化；
(3)通过对大量的样本进行多层次的卷积和池化过程进行训练，采用误差反向传播算法调节、更新、优化网络中的各项参数以得到一个能够实现脑状态监测的深度学习模型，实现对脑状态的辨识与分类。
本发明的基于多尺度网络的深度学习模型在脑状态监测中的应用，是对智能穿戴设备测得的多通道信号进行带通滤波，使用独立成分分析的方法去除眼电干扰信号并对伪迹明显的数据进行手动剔除；其中带通滤波范围是根据设定的任务选取对应的脑电节律波确定；对于滤波和去伪迹后的脑电信号在多尺度上计算每一对信号之间的交叉递归率，以递归率确定递归网络的连边权重，以每一通道的信号作为网络的节点，建立多尺度加权递归网络；通过选取阈值将多尺度加权递归网络转换为多尺度无权递归网络；提取网络的大量指标组成特征向量，将所述的特征向量作为样本输入深度学习模型即卷积神经网络，将当前任务中需要监测的脑状态作为卷积神经网络的输出，通过对大量的样本进行多层次的卷积和池化过程进行训练，采用误差反向传播算法调节、更新、优化网络的中各项参数以得到一个能够实现脑状态辨识的深度学习模型，实现对脑状态的监测。
以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。
机译： -基于人和深度学习模型的社交网络内容推荐方法
机译： 基于多尺度深度语义分段网络测量天线下坡角度的方法
机译： 基于多尺度深度语义分割网络的天线向下倾斜角度测量方法
