基于空间注意力和可逆神经网络的多模态医学图像融合方法

摘要

本发明公开了一种基于空间注意力和可逆神经网络的多模态医学图像融合方法，包括：1、输入两张不同模态的图像，分别通过两个卷积层来初始化特征映射得到F

说明书

技术领域

本发明涉及医学图像处理技术领域，设计了一种基于空间注意力和可逆神经网络的多模态医学图像融合方法。

背景技术

磁共振成像(magnetic resonance imaging，MRI)是一种安全、高空间分辨率的非创伤性成像方法，被广泛应用于医学研究中。通过改变磁共振信号的采样参数，可以得到不同的图像序列，即多模态MR图像。不同的模态图像可能包含了特定的结构信息，如肿瘤位置、水肿面积、病变细节等。然而在实际的临床应用中，通常基于单一模态的MR图像评估肿瘤的位置、大小以及其他信息，这可能忽视了其它模态图像中的重要特征。结合不同序列模式MR图像，提取其包含的互补信息，生成新的融合图像是一个亟待解决的问题。

图像融合技术利用信息的互补性，使融合后得到的图像对场景有更全面、更清晰的描述，在各个领域受到了极大的关注。由于图像表示层次不同，图像融合一般可分为三个层次的融合：像素级融合、特征级融合和决策级融合。像素级作为这三个层次中最基本的操作，是图像融合领域的一个研究热点。该级别的图像融合算法直接对源图像的像素进行操作，其优点是可以保留图像的细节和大部分原始信息。前期的研究工作尝试探索了传统的基于空间域的方法来计算两幅源图像像素级显著性的加权平均，或将源图像变换到小波域以获得不同的频率分量。然而，人工设计的特征提取方法可能无法有效地保留源图像中的重要信息，从而在融合图像中产生伪影。此外，传统方法大部分局限于预先设计的融合规则，降低了算法的性能。

随着深度学习的发展，研究人员尝试将深度学习技术应用于图像融合，设计无融合规则的端到端模型。例如，基于卷积神经网络(convolution neural network，CNN)的图像融合方法通过卷积神经网络计算拉普拉斯系数得到融合图像。此外，提出的通用图像融合框架IFCNN根据输入图像类型选择合适的融合规则对特征图进行融合，最后使用两个卷积层重构特征图以获得输出图像。

虽然端到端模型已经取得了显著的进展，但现有的大多数方法更多地关注于最后阶段捕获的特征地图，忽略了在不同阶段从不同模态获取的空间特征之间的潜在联系，这可能会导致一些详细的解剖纹理信息的丢失。在这个过程中，来自不同模型的一些结构边缘细节可能会丢失。此外，大多数模型在融合特征时可能会产生丢失信息，图像融合算法也会陷入缺乏统一标准的困境。

发明内容

本发明是为了解决现有方法存在的不足之处，提出一种基于空间注意力和可逆神经网络的多模态医学图像融合模型，以期能在融合图像中体现不同模态MR图像的特征，从而提升融合准确度并有利于后续的分割任务，为医学图像融合提供新的方法。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于空间注意力和可逆神经网络的多模态医学图像融合方法的特点在于，是按如下步骤进行：

步骤1：对两张不同模态的磁共振图像分别进行预处理，得到预处理后的两种模态的医学图像I

步骤2：构建基于空间注意力和可逆卷积的图像融合网络，包括：初始映射层、特征提取模块、多阶段注意力模块和基于可逆神经网络的融合模块；

步骤2.1：所述初始映射层利用卷积核为n

步骤2.2：所述特征提取模块由m个特征提取单元构成，每个特征提取单元包括2个残差连接模块及1个纹理分离模块，用于对第一模态初始特征

步骤2.3：所述多阶段注意力模块由一个Softmax层和一系列重塑操作和转置操作构成；

第一模态特征

所述多阶段注意力模块将所述注意力特征权重亲和矩阵W与转置特征矩阵

步骤2.4：所述基于可逆神经网络的融合模块由3个HIN模块和2个卷积核为n

将第m阶段第二模态结合特征

所述第一HIN特征F

第二HIN特征F

所述融合模块将所述中间注意力特征

步骤3：利用构建总的损失函数L

L

式(2)中，L

式(3)和式(4)中，

步骤4：将医学图像集合输入基于空间注意力和可逆神经网络的图像融合网络进行训练，并计算总体损失函数L

本发明所述的基于空间注意力和可逆神经网络的多模态医学图像融合方法的特点也在于，所述步骤2.2是按如下步骤进行：

步骤2.2.1：所述残差连接模块由4个卷积核为n

所述初始第一模态特征

所述初始第二模态特征

步骤2.2.2：所述纹理分离模块包括2个n

所述第一阶段第一模态特征

所述第一阶段第一模态特征

所述前景分离特征F

所述第一阶段第一模态特征

第二阶段第一模态特征

第二阶段第二模态结合特征

本发明一种电子设备，包括存储器以及处理器，其特点在于，所述存储器用于存储支持处理器执行所述多模态医学图像融合方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特点在于，所述计算机程序被处理器运行时执行所述多模态医学图像融合方法的步骤。

与现有的图像融合方法相比，本发明的优势体现在：

1、本发明提出了一种用于多模态MR图像的端到端模型，MSAIF-Net网络，它使用多级注意模块捕获每个图像中的远程上下文信息，同时对不同阶段分配注意权重，并探索每个阶段提供的前景和背景之间的结构细节，从而保留了不同模态的综合特征用于后续的融合，结合不同模态的图像的特点来生成清晰病灶的MR结构图像，以助于后续的医学任务。

2、本发明通过可逆神经网络无损地结合了两种模态的跨尺度特征以重构融合体图像，有助于后续的语义分割分析，便于探究不同模态融合图像对分割任务的作用，弥补了传统基于端到端融合网络方法的不足，提高了图像融合的性能，对研究多模态医学图像具有重要意义。

附图说明

图1为本发明实施例所提供的多模态医学图像融合方法的流程图；

图2为本发明实施例所提供的多模态医学图像融合方法的原理框架图；

图3为本发明实施例所提供的特征提取模块中的残差连接模块的结构示意图；

图4为本发明实施例所提供的特征提取模块中的纹理分离模块的结构示意图；

图5为本发明实施例所提供的多阶段注意力模块；

图6为本发明实施例所提供的基于可逆神经网络的融合模块；

图7为本发明实施例所提供的融合模块内部的HIN模块；

图8为本发明实施例所提供的在BraTS2019数据集上的视觉对比效果图。

具体实施方式

本实施例中，一种基于空间注意力和可逆神经网络的多模态医学图像融合方法名为MSAIF-Net，总体流程图如图1所示。一方面，利用一系列残差块从不同阶段的两幅源图像中捕获特征地图，然后将这些特征地图按通道连接起来，通过多级注意模块获取远程空间信息。另一方面，提出的特征提取模块来分离前景和背景，将一个模态中提取的细节纹理与另一个模态进行融合，从而可以保留不同模态的综合特征。特征融合模块的设计动机来自于可逆神经网络在计算机视觉中的应用，因此尝试以信息无损的方式将其作为融合策略引入。

本发明实施例显式利用多阶段注意力模块探索各个阶段特征之间的潜在相关性，旨在捕获每个图象中的远程上下文信息，以及多个特征提取模块获得深度特征信息，且利用可逆卷积网络进行特征的融合。除此之外，本发明所提供的方法可以实现端到端的训练，且可以实现最佳的性能要求，为多模态医学图像融合提供了一个新的切实可行的思路。在实施例中，以MICCAI BraTS2019多模态医学数据集为例，结合附图来说明具体的实施方式，该方法主要包括：

步骤1：对两张不同模态的磁共振图像分别进行预处理，得到预处理后的两种模态的医学图像I

步骤2：构建基于空间注意力和可逆卷积的图像融合网络，如图2所示。包括：初始映射层、特征提取模块、多阶段注意力模块和基于可逆神经网络的融合模块；

步骤2.1：初始映射层利用卷积核为n

步骤2.2：特征提取模块由m个特征提取单元构成，每个特征提取单元包括2个残差连接模块及1个纹理分离模块；本实施例中，m＝4，网络结构如图2所示。

步骤2.2.1：残差连接模块如图3所示，由4个卷积核为n

初始第一模态特征

初始第二模态特征

步骤2.2.2：纹理分离模块如图4所示，包括2个n

第一阶段第一模态特征

第一阶段第一模态特征

前景分离特征F

第一阶段第一模态特征

步骤2.3：多阶段注意力模块如图5所示，由一个Softmax层和一系列重塑操作和转置操作构成；

2m个不同阶段的模态特征沿新的维度进行连接后得到多阶段总特征

步骤2.4：基于可逆神经网络的融合模块如图6所示，由三个HIN模块和2个n

步骤2.4.1：HIN模块如图7所示，由2个n

将第m阶段第二模态结合特征

第一HIN特征F

第二HIN特征F

本发明实施例中，特征融合阶段采用可逆神经网络(INN)的结构来进行实现，以可逆神经网络为基础框架，结合HINet中的HINblock模块结构实现，如图。近年来，作为可逆图像变换的一种有效方案，可逆神经网络(INN)引起了广泛关注，并被应用于各种图像任务。它具有三个重要性质：1)INN的输入输出映射是双射的；2)INN的正向映射和反向映射是有效的和可计算的；3)双射映射可以很容易地处理雅可比行列式来显式地计算后验概率。由于这些特性，INN在许多任务中都取得了成功。其中，基于INN的开创性研究可以NICE和RealNVP这两篇文章中找到。基于INN的网络能够以双射映射的方式将输入的特征进行结合，而不会丢失信息。

步骤3：利用构建总的损失函数L

L

式(2)中，L

式(3)和式(4)中，

步骤4：将多模态医学图像输入基于空间注意力和可逆神经网络的图像融合网络进行训练，并计算总体损失函数L

为了量化评估本发明的效果并验证本发明的有效性，为此将本发明方法与IFCNN等七种算法相比较。选择相关系数(correlation coefficient，CC)、结构相似性(Structure Similarity Index Measure，SSIM)等图像融合领域常见的指标作为无监督评价标准。除此之外，将得到融合图像输入医学领域常见的分割网络模型U-Net中以得到分割图，选择Dice相似系数(Dice Similarity Coefficient，DSC)、PPV以及Hausdorff距离(HD，HD95即95％HD)三个性能指标作为有监督评价标准。

本实施例中列举的七种对比方法以及本发明所提出的对多模态医学图像融合方法。其中七种对比方法分别为PMEF、SPD-MEF、MEFAW、U2Fusion、IFCNN、PGMI和MMFAL。这七种对比方法各自对应的论文标题为：Perceptual Quality Assessment for Multi-ExposureImage Fusion、Fast Multi-Scale Structural Patch Decomposition for Multi-Exposure Image Fusion、A Multi-exposure Image Fusion Based On The AdaptiveWeights Reflecting The Relative Pixel Intensity And Global Gradient、U2Fusion:A Unified Unsupervised Image Fusion Network、Rethinking the Image Fusion:AFast Unified Image Fusion Network based on Proportional Maintenance ofGradient and Intensity和Glioma Segmentation-Oriented Multi-modal MR ImageFusion with Adversarial Learning。

本实施例中，用于评价融合图像的指标，包括基于结构相似性的指标CC、SSIM、Q

本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述多模态医学图像融合方法的程序，该处理器被配置为用于执行该存储器中存储的程序。

本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述多模态医学图像融合方法的步骤。