一种联合子空间和类别均衡自适应的脑状态分类方法

摘要

本发明适用于功能磁共振成像数据的大脑状态分类领域，提供了一种联合子空间和类别均衡自适应的脑状态分类方法，包括如下步骤：步骤S1：对原始的4D任务态fMRI数据进行切片预处理；步骤S2：采用ImageNet上预训练的深度神经网络对源域数据进行训练，生成类别相似度标签；步骤S3：基于预训练的深度迁移网络模型，联合子空间学习方法和类别平衡自适应约束项对未标记的目标域数据进行学习，并完成脑状态分类任务；引入CBA约束对类别相似度信息进行迁移，并调和小批量中样本类别的比例，能够更好地缓解数据不平衡对脑状态分类的影响，表现出更强的半监督学习能力，为神经影像数据的分析方法提供新的思路。

说明书

技术领域

本发明属于功能磁共振成像数据的大脑状态分类技术领域，尤其涉及一种联合子空间和类别均衡自适应的脑状态分类方法。

背景技术

脑状态解码是认知神经科学中重要的前沿课题之一。具体来说，研究者希望不仅能够解释给定任何行为任务的大脑神经活动(编码)，而且能够解码大脑神经活动以推断行为任务的输入(解码)。可以从两个不同但互补的角度解释这种编码和解码的关系，编码关注于特定的信息如何存储在大脑中，并对某些刺激特征引起的大脑神经活动进行建模。相反，解码关注于如何将特定的信息从大脑中反推出来，即根据刺激引起的脑神经活动特征预测大脑的特定状态。其中，跨脑解码指的是根据一组被试的脑神经活动反推出不同被试所受的刺激信息。功能磁共振成像(fMRI，functional Magnetic Resonance Imaging)技术的快速发展奠定了脑状态解码的基础，其中，任务态fMRI(tfMRI，task-based fMRI)能够更好地采集涉及特定认知或感知任务的大脑信号，成为脑状态解码研究的常用技术。目前，基于tfMRI的脑状态解码主要研究：(1)对诱发不同脑状态的刺激的特定类别进行区分(即分类)；(2)从一组新刺激中识别与特定脑状态相关的正确刺激(即识别)；(3)对诱发脑状态的刺激生成相应的描述(即重构)。

近年来，深度学习在医学工程和神经科学领域取得了巨大的成功，提供了许多智能解决方案。针对fMRI数据而言，许多深度学习方法已证明了在目标检测、图像分割、图像配准和图像分类等方面的强大性能，因此引起了脑状态解码相关研究者的关注，他们通过使用和改进深度神经网络模型，有效提升了基于fMRI脑状态分类的性能。但是，现有大多数方法采用全监督学习方式，这限制了在实际中的应用。由于神经影像数据进行高质量的标注需要经验丰富的专家来完成，这项工作既昂贵又耗时，在现实中欠标记的数据非常多，因此如何有效利用欠标记数据需要通过合适的机器学习方法来解决。领域自适应可以从已标记数据中迁移知识，对欠标记的目标域数据有较强的学习能力，成为数据有效性学习的重要方法。

然而，在实际情况中，类不平衡问题是普遍存在的，而其主要原因是算法模型对训练集中比例较少的样本学习程度不够，严重影响了算法的性能，现有相关工作只关注通过最小化源域和目标域之间的距离，使源域和目标域在新的映射空间中相近，并没有考虑类别相似性和类不平衡的问题，从而影响了跨脑解码的性能，因此，亟需开展面向跨脑解码的数据有效学习算法研究，提升模型的不平衡学习能力。

发明内容

本发明提供一种联合子空间和类别均衡自适应的脑状态分类方法，旨在解决没有考虑类别相似性和类不平衡，从而影响了跨脑解码的性能的问题。

本发明是这样实现的，一种联合子空间和类别均衡自适应的脑状态分类方法，包括如下步骤：

步骤S1：对原始的4D任务态fMRI数据进行切片预处理；

步骤S2：采用ImageNet上预训练的深度神经网络对源域数据进行训练，生成类别相似度标签；

步骤S3：基于预训练的深度迁移网络模型，联合子空间学习方法和类别平衡自适应约束项对未标记的目标域数据进行学习，并完成脑状态分类任务。

进一步的，所述步骤S1中进行切片预处理的具体方式为：

从人类连接基因组计划数据库中选择有全部任务数据的被试；

使用脑提取工具BET从每个fMRI采集时程相对应的图像中去除整个头部的非脑组织；

采用4mm半峰全宽的高斯核，通过DPARSF对数据进行空间平滑处理，以增加信噪比；

针对跨被试组分析的需要，使用宽松的高斯参数并应用均值强度归一化；

利用OpenCV将每个体积的2D切片样本转换为PNG格式。

进一步的，被试的数据包括情感、工作记忆、运动、语言，关系分析、赌博和社交认知。

进一步的，所述步骤S1中，删除了每个对象的体积的前十个和最后十个切片，并且仅选择了32个连续切片作为输入。

进一步的，所述步骤S2中，生成类别相似度标签的具体方式为：

选择卷积神经网络体系结构；

根据数据集的大小和分类任务需要，采用固定前n层深度神经网络结构的方法进行深层网络迁移；

对于所有网络体系结构，均采用在ImageNet上预训练的模型参数对源域数据进行训练，生成类别相似度标签。

进一步的，选择的神经网络体系结构为ResNet-34。

进一步的，所述步骤S3中对未标记的目标域数据进行学习，并完成脑状态分类任务的具体方式为：

采用LogCORAL对源域和目标域特征分布进行子空间对齐；

利用CBA约束对类别相似度信息进行迁移，并调和小批量中样本类别的比例，CBA在每个mini-batch内对每个样本产生的损失进行自适应调整，利用样本的标签信息，使各个类别损失在总损失中占据比例相等；

重复训练，计算联合损失函数，对每个类别计算反向传播的误差，更新网络权重、子空间学习的误差、以及类别均衡自适应的误差，直到收敛，返回分类器预测的目标域样本标签完成脑状态分类的任务。

进一步的，所述CBA算法具体包括：考虑类别间的相似度以及对类别进行平衡约束。

与现有技术相比，本发明的有益效果是：本发明的一种联合子空间和类别均衡自适应的脑状态分类方法，引入CBA约束对类别相似度信息进行迁移，并调和小批量中样本类别的比例，能够更好地缓解数据不平衡对脑状态分类的影响，表现出更强的半监督学习能力，为神经影像数据的分析方法提供新的思路，推动深度迁移学习方法在认知神经科学领域中的深入应用。

附图说明

图1为本发明的方法步骤示意图；

图2为本发明中的tfMRI数据预处理流程示意图；

图3为本发明中CBA算法的示意图；

图4为本发明的整体算法框架图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1-4，本发明提供一种技术方案：一种联合子空间和类别均衡自适应的脑状态分类方法，包括如下步骤：

步骤S1：对原始的4D任务态fMRI数据进行切片预处理。

本实例中，采用如图2所示的方法对tfMRI数据进行预处理；其中，选择人类连接基因组计划(HCP)数据库的S1200版本，采用了965名被试的tfMRI数据，每名被试的数据都包含7种认知任务：情感、工作记忆、运动、语言，关系分析、赌博和社交认知，HCP已预先进行了包括运动校正，切片定时校正，全局漂移消除，空间平滑，在MNI152空间中的非线性配准和时间预白化预处理；使用脑提取工具BET从与每个fMRI(是指功能性磁共振成像)采集时程相对应的图像中去除整个头部的非脑组织；采用4mm半峰全宽(FWHM)的高斯核，通过DPARSF(是指Data Processing Assistant for Resting State FMRI，也就是静息态功能磁共振成像数据处理助手)对数据进行空间平滑处理，以增加信噪比；针对跨被试组分析的需要，使用宽松的高斯参数(包括高于和低于灰质平均强度4sigmas的强度，相对于3sigmas的标准设置)并应用均值强度归一化，具体地来说，在tfMRI数据上进行了z-score变换(即减去全局平均值，然后除以标准差)通过神经影像软件包Nibabel对每个感兴趣的解剖区域(aROI)的强度进行平均。

在本实例中，删除了每个对象的体积的前十个和最后十个切片，并且仅选择了32个连续切片作为输入；最后利用OpenCV将每个体积的2D切片样本转换为PNG格式。

步骤S2：采用ImageNet(是指是用于视觉对象识别软件研究的大型可视化数据库)上预训练的深度神经网络对源域数据进行训练，生成类别相似度标签。

本实例中，选择目前计算机视觉领域中表现优异的卷积神经网络体系结构ResNet-34，根据数据集的大小和分类任务需要，采用固定前n层深度神经网络结构的方法进行深层网络迁移，对于所有网络体系结构，都采用在ImageNet上预训练的模型参数对源域数据进行训练，生成类别相似度标签。

步骤S3：基于预训练的深度迁移网络模型，联合子空间学习方法和类别平衡自适应约束项对未标记的目标域数据进行学习，并完成脑状态分类的任务。

本实例中，具体实现过程如下：

采用LogCORAL对源域和目标域特征分布进行子空间对齐，假定

其中

其中1代表单位列向量，那么在训练计算反向传播误差时，源域和目标域的梯度可以被下式计算：

利用CBA约束对类别相似度信息进行迁移，并调和小批量中样本类别的比例，CBA在每个mini-batch内对每个样本产生的损失进行自适应调整，利用样本的标签信息，使各个类别损失在总损失中占据比例相等。具体可以表示为：

其中

考虑类别间的相似度，例如篮筐(basket)与网(net)的相似度更高，那么当对源域数据进行训练时，生成的K维向量中篮筐对应于网的相似度值就越大，因此在对每个类别做相关自适应时就更加有针对性；

对类别进行平衡约束，即在每个mini-batch内对每个样本产生的损失进行自适应调整，调和每个类别的损失在总损失中所占据的比例。

在反向传播时，根据复合函数求导法则，

由于在softmax公式中，计算需要分为两种情况求导：1)i＝j；2)i≠j。具体计算过程如下：

当i＝j时，

当i≠j时，

综上，

由于

重复训练，根据式(13)计算联合损失函数

其中λ

本实例中，如图4所示，选择与2种现有脑状态分类方法(Dlight、LSTM RNN)、常用的3种深度学习方法(AlexNet、Inception、ResNet)和5种深度迁移学习方法(DAN、DANN、DeepCoral、ADDA和Joint-CNN)进行对比，通过三个评估指标评估了每种方法的性能，包括ACC、Recall(SEN)和F

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。