一种脑侵袭分类和脑膜瘤分级的多任务预测方法

摘要

本发明公开了一种脑侵袭分类和脑膜瘤分级的多任务预测方法，包括三个阶段，在多模态图像特征融合阶段，不同模态的图像特征被分别提取并进行融合。在特征解耦阶段，引入对比学习技术，通过对比损失函数使针对同一任务的任务特定特征与对齐的任务共同特征比针对不同任务的任务特定特征与对齐的任务共同特征更相似，从而加强每个任务特定特征的预测能力。在多任务预测阶段，主预测分支将对应同一任务的任务特定特征与对齐的任务共同特征融合，对两个任务同时预测。本发明为同时考虑脑侵袭分类和脑膜瘤分级的多任务预测方法，脑侵袭分类和脑膜瘤分级的术前预测对医生了解病人病情从而实施精准治疗和预后有重要的指导作用，具有重要的临床应用价值。

说明书

技术领域

本发明属于医疗影像处理技术领域，具体涉及一种脑侵袭分类和脑膜瘤分级的多任务预测方法。

背景技术

脑侵袭分类以及脑膜瘤分级预测研究：脑膜瘤是成人最常见的原发性颅内肿瘤，占中枢神经系统肿瘤的38.3％。根据世界卫生组织规定，脑膜瘤被分为三个级别，一级、二级和三级，其中一级脑膜瘤为低级别脑膜瘤，二级和三级脑膜瘤为高级别脑膜瘤。低级别和高级别的脑膜瘤病人的治疗方案和预后存在差异并且低级别脑膜瘤病人在手术后极少复发，但高级别脑膜瘤在手术后存在复发的风险，其中二级脑膜瘤复发率为20％-75％，三级脑膜瘤普遍复发。2016年，世界卫生组织将脑侵袭判定为一级脑膜瘤和二级脑膜瘤独立的判定标准，许多最近的研究揭示了脑侵袭与肿瘤进展、疾病复发和预后不良风险增加之间存在一定的联系。

临床上，医生在手术后才能对病人是否发生脑侵袭以及脑膜瘤的级别进行判定。术前对是否脑侵袭分类以及脑膜瘤分级的预测可以帮助医生了解病人的病情，从而更加精确的实施治疗方案。最近临床领域的许多研究致力于通过分析脑部MRI来预测脑膜瘤分级或脑侵袭分类。然而，这些研究大多通过传统的机器学习方法提取手工特征来进行脑侵袭分类或脑膜瘤分级预测的任务，而没有探索神经网络强大的特征表示来进行脑部MRI特征提取。此外，据我们所知，虽然脑侵袭分类以及脑膜瘤分级两个预测任务之间存在临床联系，但是此前没有研究同时完成这两项任务的预测。

对比学习研究：对比学习技术在自然图像领域显示出巨大的潜力，近年来也开始应用于医学图像领域。对比学习的核心思想是“学习比较”：给定一个锚点，在样本空间中区分与之相似(或正)样本与一组与之不同(或负)样本。当前大多数对比学习研究是基于图像级和像素级的。一般来说，图像级对比学习技术将同一图像的多个视图作为正样本，将不同图像作为负样本。像素级对比学习技术将属于同一类别的像素作为正样本，将属于不同类别的像素作为负样本。

参考文献

[1]Ostrom,Q.T.,Patil,N.,Cioffi,G.,Waite,K.,Kruchko,C.,Barnholtz-Sloan,J.S.:Cbtrus statistical report:Primary brain and other central nervoussystem tumors diagnosed in the united states in 2013–2017.Neuro Oncology 22,iv1–iv96(2020).

[2]Champeaux,C.,Houston,D.,Dunn,L.,meningioma,A.:A study onrecurrence and disease-specific survival.Neurochirurgie63,272–281(2017).

[3]Huang,R.Y.,Bi,W.L.,Griffith,B.,Kaufmann,T.J.,la Fougère,C.,Schmidt,N.O.,Tonn,J.C.,Vogelbaum,M.A.,Wen,P.Y.,Aldape,K.,et al.:Imaging anddiagnostic advances for intracranial meningiomas.Neuro-oncology21(Supplement_1),i44–i61(2019).

[4]Brokinkel,B.,Hess,K.,Mawrin,C.:Brain invasion in meningiomas—clinical considerations and impact of neuropathological evaluation:asystematic review.Neuro-Oncology 19(10),1298–1307(2017).

[5]Li,N.,Mo,Y.,Huang,C.,Han,K.,He,M.,Wang,X.,Wen,J.,Yang,S.,Wu,H.,Dong,F.,et al.:A clinical semantic and radiomics nomogram for predictingbrain invasion in who grade ii meningioma based on tumor and tumor-to-braininterface features.Frontiers in oncology p.4362(2021).

发明内容

为了解决现有技术中的问题，本发明提供一种脑侵袭分类和脑膜瘤分级的多任务预测方法，解决现有技术中无法通过脑部MRI对脑侵袭的分类以及脑膜瘤的分级两个任务进行同时预测的问题。

本发明的技术方案:

任务级对比学习的脑侵袭分类和脑膜瘤分级的多任务预测方法，包括如下步骤：

步骤一，多模态脑部MRI提取与融合。通过相同结构但参数独立的神经网络对不同模态的脑部MRI图像进行特征提取，然后将提取到的不同模态特征进行融合。

步骤二，特征解耦。将步骤一中得到的融合特征解耦为任务特定特征以及任务共享特征，其中任务特定特征只能完成某个特定的分类任务(脑侵袭分类或脑膜瘤分级)，而任务共同特征可以完成两个分类任务。通过分析任务共同特征与任务特定特征之间的关系引入对比学习技术从而对每个任务特定特征的预测能力进行加强。

步骤三，多任务预测。包括主预测分支以及辅助预测分支。其中，辅助预测分支由任务特定特征进行对应任务的单独预测；主预测分支将步骤二得到的对齐的任务共同特征分别与对应的任务特定特征融合，完成对脑侵袭分类以及脑膜瘤分级两个任务的同时预测。

所述步骤一多模态脑部MRI提取与融合，通过相同结构且参数独立的神经网络对不同模态的脑部MRI进行特征提取与特征融合，得到融合特征F

所述步骤二特征解耦是将得到的融合特征解耦为任务特定特征以及任务共享特征，具体方法包括：

(1)将融合特征F

(2)将得到的任务共享特征以及两个任务特定特征分别通过四个卷积层得到四个特征向量，表示为G

(3)构建对比学习损失函数，加强锚点与正样本的相似度，同时降低锚点与负样本的相似度；以脑侵袭为例，将与脑侵袭任务对齐的任务共享特征G

所述步骤三多任务预测，包括两个预测分支，其中辅助预测分支由两个任务特定特征分别进行对应任务的预测，通过加强任务特定特征的有效性从而保证对比学习的有效进行；主预测分支将得到的与两个任务对齐的任务共享特征分别于对应的任务特定特征进行融合最终完成两个任务的同时预测，融合方式为特征拼接。

与现有技术相比，本发明具有的优点：

与现有技术相比，本发明将多模态脑部MRI的融合特征解耦为任务特定特征以及任务共享特征，引入对比学习技术利用任务特定特征以及任务共享特征之间的内在关系来提升两个预测任务的性能。本发明提出来的基于对比学习的多任务预测方法具有以下优点：

1)首个同时考虑脑侵袭分类和脑膜瘤分级的多任务预测方法。脑侵袭分类和脑膜瘤分级的术前预测对医生了解病人病情从而实施精准的治疗和预后具有重要的指导作用，是亟需解决的临床问题，本发明具有重要的临床应用价值。

2)提出了任务级的对比学习方法。不同于目前常用的图像级和像素级对比学习方法，提出的任务级的对比学习方法为对比学习的研究提供了参考依据。

3)实验比较结果验证了本发明的有效性。通过和目前流行的多任务方法比较，验证了提出方法对于脑侵袭分类和脑膜瘤分级两个预测任务的有效性。

附图说明

图1为本发明一种脑侵袭分类和脑膜瘤分级的多任务预测方法的流程图；其中disentanglement表示特征解耦阶段；ContrastiveLearning表示对比学习阶段；AVGpooling表示平均池化操作；Conv表示卷积操作；Aux-MLP表示辅助预测分支；RepresentationSpace代表表示空间；MLP表示多层感知机；invasiontask对应于脑侵袭分类任务；Meningiomastask对应于脑膜瘤分级任务；AuxiliaryLoss表示辅助分支损失；ClassificationLoss表示分类损失；Concatenation表示特征拼接。

具体实施方式

下面结合附图1对本发明的技术方案作进一步说明。

如图1所示，一种脑侵袭分类和脑膜瘤分级的多任务预测方法，包括如下步骤：

(一)多模态脑部MRI特征提取与融合

不同模态的脑部MRI包含了有关两个任务预测的不同信息，本发明融合了三个模态的脑部MRI(包括增强的T1模态,简写为T1C，增强的T2 FLAIR模态,简写为FLAIR-C，以及ADC模态，简写为ADC)信息，三种模态图像的大小相同，都是128*128*24，多模态MRI的提取与融合过程如下：

(1)通过三个结构相同但是参数独立的神经网络模型(ResNet34)对三个模态的MRI分别进行特征提取，得到三个512*4*4*8大小的特征图

(2)将得到的三个特征图进行融合，得到融合特征F

F

(二)特征解耦

由(一)得到的融合特征F

(1)将融合特征F

(2)将降维后的三个特征图分别通过三个平均池化层和拉平层得到G

G

其中，Conv表示卷积操作，AP表示平均池化操作，Flatten表示特征图拉平操作。

(3)将G

(4)将G

(5)将G

(6)分别构建脑侵袭分类任务任务级对比学习以及脑膜瘤分级任务任务级对比学习损失函数，使得锚点与正样本的相似度更大，与负样本的相似度更小。脑侵袭分类任务的任务级对比学习损失函数L

其中sim(·)表示两个特征向量的余弦相似度，τ是温度系数，按照经验设置为0.07。

(三)多任务预测

(1)在两个任务特定特征G

(2)分别构建脑侵袭任务辅助预测分支以及脑膜瘤分级任务辅助预测分支损失函数L

L

L

其中L

(3)将(二)得到的对齐的任务共享特征分别与对应的任务特定特征进行融合，得到对应于两个任务的融合特征，大小都为256。

(4)将得到的两个融合特征分别经过两个主预测分支得到主预测分支结果p

(5)分别构建脑侵袭分类任务主预测分支以及脑膜瘤分级任务主预测分支损失函数L

(6)构建模型总损失函数Loss。损失函数定义如下：

Loss＝L

其中，α和β分别控制任务级对比学习损失函数以及辅助预测分支损失函数的权重，并且依据经验分别被设置为1和0.7。我们对模型训练了100个epochs，为了保证对比学习的有效运行，我们在训练了30个epochs后加入对比学习损失函数。

(7)本发明结果以及与其他多任务方法的比较结果如表1所示。

表1本发明与其他多任务方法的比较结果