基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法

摘要

本发明涉及一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其包括如下步骤：（1）将反映结构或者纹理细节信息的灰度医学图像和反映功能信息的彩色医学图像的Y通道图像输入到生成器中，对输入图像的特征进行提取；（2）选取融合规则；（3）特征融合；（4）重构融合图像；（5）通过在生成器和判别器之间建立一种对抗机制，来生成融合图像；（6）将融合图像再进一步与反映功能信息的彩色医学图像的U和V通道进行YUV到RGB的转换，在RGB通道中获得最终的彩色融合图像。本发明的算法简便，可以得到更真实、包含更丰富细节信息的融合医学图像。

说明书

技术领域

本发明涉及一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法。

背景技术

图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，提高图像清晰度和信息包含量，有利于更为准确、可靠、全面地获取目标或场景的信息，以获得更符合人类视觉感知的融合结果。

随着计算机视觉和传感器设备的不断进步，医学成像在临床应用中发挥着非常重要的作用，是医生诊断疾病的重要来源。为了给医疗从业者提供足够的临床信息，通常需要用多种方式获得医学图像，如计算机断层扫描(CT)、磁共振(MRI)、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)等。由于成像机制的不同，不同模态的医学图像聚焦于不同类别的器官或组织信息。CT图像通常为密集结构提供精确的位置如骨骼，磁共振成像(MRI)可以提供高分辨率的软组织细节信息。正电子发射断层扫描和单光子发射计算机断层扫描图像提供一些功能信息，然而单一的医学成像模式，不能为其预期目的提供足够的信息。因此，通过医学图像的融合操作，可以生成包含不同模态特征的更丰富、更直观、更全面的融合图像，有助于医生准确识别疾病的空间位置、大小和几何形状，提高疾病诊断的准确性。

为此，已经提出了许多多模态图像融合方法，包括基于小波变换的方法，金字塔方法，显著特征方法，稀疏表示方法，基于神经网络的方法等。通常，在这些方法中，在融合过程中对不同的源医学图像使用相同的变换或表示。然而，结构信息和功能信息是两种不同现象的表现，因此它可能不适用于多模态医学图像的融合。此外，活动水平测量和融合规则的手工设计增加了算法的复杂性，降低了其实际应用价值。

发明内容

鉴于单一模态的医学图像不能为其预期的目的提供足够的信息，不利于医生对疾病的诊断，本发明针对含有结构信息或纹理细节信息的灰度医学图像以及可以提供功能信息的彩色医学图像提出了一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法。

本发明采用如下技术方案：

一种基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法，其包括如下步骤：

(1)将反映结构或者纹理细节信息的灰度医学图像和反映功能信息的彩色医学图像的Y通道图像输入到生成器中，对输入图像的特征进行提取；

(2)选取融合规则；

(3)特征融合：利用选取的融合规则对所提取的特征进行融合；

(4)重构融合图像：将融合的结果作为解码器的输入，得到重构融合图像；

(5)通过在生成器和判别器之间建立一种对抗机制，来生成相对更真实、包含更丰富细节信息的融合图像；

(6)将步骤(5)获得的质量更好、含有更丰富纹理细节信息的融合图像再进一步与反映功能信息的彩色医学图像的U和V通道进行YUV到RGB的转换，在RGB通道中获得最终的彩色融合图像。

步骤(1)中，所述反映结构或者纹理细节信息的灰度医学图像包括CT图像或MRI图像；所述反映功能信息的彩色医学图像包括SPECT图像或PET图像。

所述步骤(1)具体为，将反映功能信息的彩色医学图像进行RGB到YUV的转换，将得到的Y通道图像与反映结构或者纹理细节信息的灰度医学图像作为两个源输入图像输入到生成器网络中，采用包含两个分支的编码器来提取不同图像对应的特征；将图像输入网络后先进行卷积操作以提取图像的初始特征，并输入到后续的密集块dense block中，进行特征提取；把经过dense block提取的特征作为空间注意力模块的输入。

步骤(2)中，采用基于Lmax范数的融合规则。

所述步骤(3)具体为，用Lmax范数对提取的特征进行处理，并降维为2，然后对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵，并用高斯滤波对初始权重图进行平滑处理，然后再通过输入图像和权重映射的加权和得到融合图像。

所述步骤(4)具体为，将步骤(3)得到的融合图像作为解码器的输入，进行图像的重建，其中解码器包括四层卷积算子，从而使重建图像与原始图像具有相同的大小，得到重构融合图像。

所述步骤(5)具体为，将经解码器得到的重构融合图像和源反映结构或者纹理细节信息的灰度医学图像作为判别器的输入，在生成器和判别器之间建立一种对抗机制，并用判别器来区分这两个输入图像，直到产生的融合结果不能被判别器区分。

步骤(5)中，所述判别器中卷积算子的滤波器尺寸为3*3，步长为2，以取代CNN上的池化操作；卷积运算后使用批量归一化算子；对于激活函数，在其它层应用了Leaky ReLU，在最后一层使用线性分类器。

本发明的有益效果在于：

(a)使用深度卷积生成对抗网络，该网络包含两个模型，即生成器模型和判别器模型，利用生成器中的编码网络提取图像特征，解码网络重构图像，并通过在生成器和判别器之间建立一种对抗机制，来获取更高质量的融合结果。

(b)注意力机制可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销。本发明使用空间注意力机制对图像的特征进一步提取，以提取出用于融合的更加重要的特征。

(c)为了避免特征提取过程中中间层信息的丢失，本发明使用dense block来对源输入图像的特征进行提取，使得每一层提取的信息都能融合到显著特征中去。

(d)在进行灰度图像与彩色图像进行融合时。需要进行颜色的转换，颜色模型的选择对融合结果也有很大的影响。例如MRI和PET图像的融合，将PET图像从RGB空间转换到IHS空间，进行MRI图像与PET图像的I通道的融合处理，颜色信息严重失真。YUV模型可以有效解决上述问题，在本发明中予以采用。Y是亮度，可以表示结构细节和亮度变化。本发明只是致力于融合Y通道价值。U和V是反映颜色和饱和度的色度或彩度，不应该改变。

附图说明

图1为本发明医学图像融合过程示意图。

图2为本发明的技术路线示意图。

图3为空间注意力机制示意图。

具体实施方式

本发明针对反映结构或者纹理细节信息的医学图像和反映功能信息的医学图像的融合，适用于CT-SPECT、MRI-SPECT、MRI-PET几种类型的融合。下面，以MRI-PET为例，选用MRI和PET作为两个源输入图像，结合图1和图2，对本发明进行详细的说明。

步骤一

准备两幅用于医学图像融合的源图像，选用MRI和PET作为两个源输入图像，由于PET图像为彩色图像，需要对其进行颜色转换，将其从RGB转换为YUV类型。并选取其中的Y分量作为源输入之一。然后将获得的两个源输入图像输入到生成器网络中。由于图像融合算法是针对多对一的图像处理任务，因此采用包含两个分支的编码器来提取不同图像对应的特征。将图像输入生成器网络后先进行卷积操作，该操作用于提取图像的初始特征，并把初始特征输入到后续的密集块dense block中，进行特征提取，使得每一层的特征信息都能用于最终的特征融合过程。把经过dense block提取的特征作为空间注意力模块的输入(注意力机制示意图如图3所示)，对输入的每个部分赋予不同的权重，抽取出更加关键及重要的特征，并应用于最终的特征融合过程中。

步骤二

选取融合规则对提取的MRI和PET的Y通道的特征进行融合。传统的方法对提取的两个输入图像的特征进行直接连接，这可能会导致重建过程中特征信息的丢失，因此采用基于Lmax范数的融合规则，以满足显著特征的加权处理。

步骤三

特征融合。利用选取的基于Lmax范数的融合规则对所提取的特征进行融合。为了避免信息的冗余，用Lmax范数对提取的特征进行处理，并降维为2，然后对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵，并用高斯滤波对初始权重图进行平滑处理，然后再通过输入图像和权重映射的加权和得到融合图像。

具体融合过程为：

第一步：通过编码网络生成两个独立的具有64通道显著特征的分支。此外，为了避免信息冗余，使用Lmax范数对提取的显著特征进行处理，并将其降维为2，满足一对一的要求。

初始活动层表示如下：

其中，j∈{1,2}表示两个初始输入图像，i∈{1,...,M}表示特征通道数，M＝64，

第二步：对生成的显著特征进行归一化，生成不同图像对应的初始权重矩阵：

第三步：采用二值化方法构造的初始权重不能充分考虑空间一致性，可能会在融合图像中造成噪声或人为影响。为了避免这个问题，我们使用高斯滤波来平滑初始权重信息，这样可以使亮度相似的像素具有相似的权重：

f

其中，σ

第四步：通过输入图像和权重映射的加权和得到融合图像。

其中，I

步骤四

重构图像。将步骤三的融合结果作为解码器的输入，进行图像的重建，其中解码器包括四层卷积算子，从而使重建图像与原始图像具有相同的大小，此时两幅输入图像的融合图像产生。

步骤五

将经解码器得到的融合图像和源图像MRI作为判别器的输入，在生成器和判别器之间建立一种对抗机制，并用判别器来区分这两个输入图像，直到产生的融合结果不能被判别器区分。随后，生成器可以产生相对更真实、包含更丰富细节信息的融合图像。其中将判别器中卷积算子的滤波器尺寸设计为3*3并将步长设置为2，以取代CNN上的池化操作。卷积运算后使用批量归一化算子，避免了梯度离散的发生，有效提高了网络训练速度。另外，对于激活函数，我们在其它层应用了Leaky ReLU，在最后一层使用线性分类器来完成分类任务，以确定输入图像是生成图像还是真实图像。

步骤六

将步骤五获得的质量更好、含有更丰富纹理细节信息的融合图像，再进一步与PET图像的U和V通道进行YUV到RGB的逆变换，在RGB通道中获得最终的彩色融合图像。

以上实施方式仅为本发明的优选实施例，而并非本发明可行实施的穷举。对于本领域一般技术人员而言，在不背离本发明原理和精神的前提下对其所做出的任何显而易见的改动，都应当被认为包含在本发明的权利要求保护范围之内。