一种基于多任务协同网络的磁共振图像增强方法

摘要

本发明公开了一种基于多任务协同网络的磁共振图像增强方法，所述方法包括以下步骤，步骤1：构建多任务增强模型，协同对比度增强、边缘增强与信噪比增强模块，并在各模块中引入团块结构；步骤2：训练多任务增强模型；步骤3：将待增强磁共振图像输入训练后的多任务增强模型，得到增强后的磁共振图像；本发明的多任务图像增强方法实现了多模块之间的功能协作与模块内的高效信息反馈，从对比度、细节清晰度和信噪比方面有效提升了磁共振图像的增强效果。

说明书

技术领域

本发明属于数字图像处理方法技术领域，具体来说涉及一种基于多任务协同网络的磁共振图像增强方法。

背景技术

磁共振成像技术(Magnetic Resonance Imaging，MRI)是医学领域最为重要的影像学手段之一，能够直接作出横断面、矢状面、冠状面和各种斜面的体层图像，具有软组织对比度高、可任意方位层面成像和无电离辐射等优点，因此磁共振(MR)影像是临床医学辅助诊断中最重要的医学影像之一，在疾病临床诊断和学术研究当中有十分广泛的应用。利用磁共振影像对于肿瘤类型鉴别，肿瘤分级诊断与疗效评价，阿尔茨海默病、癫痫和抑郁症等神经或精神疾病早期诊断有重要的意义。目前临床医疗最常用的是1.5T和3T磁共振成像，而7T的磁共振成像具有更清晰的组织造影，有助于更准确、早期的脑部、乳腺、肝脏等疾病诊断，但是目前7T MRI扫描仪由于价格十分昂贵在临床和研究中使用的数量较少，这促使研究者提出从3T MRI中重建与7T MRI质量相近的图像的方法，这种采用后期软件增强的方法不仅可以提高图像的细节辨识度、对比度和信噪比，也能降低病患的诊疗成本。

基于深度学习的方法以监督学习为主，包括使用2DCNN和3DCNN两种，使用2DCNN和3DCNN两种，3D卷积在组织边界方面表现较好，但不能恢复较小的体素值差异，且对设备要求比较高；考虑到设备、运行时间等限制，大部分方法采用2D卷积；但在深度网络建模方面，现有的磁共振影像增强模型一般沿用自然图像增强的网络结构，忽视了磁共振影像独有的数据结构特征，在增强效果上仍有很大的提升空间。现有的交互式磁共振图像处理软件则需要专业指导及调整，处理结果波动性大，无法自动化地完成磁共振图像增强任务且增强效果并不理想。因此，针对磁共振影像自动增强的技术研究具有广阔的应用前景和实用价值，对推动基于医学影像的精准医疗和智慧医疗的发展有着深远的影响。

发明内容

本发明的目的之一在于提供一种基于多任务协同网络的磁共振图像增强方法，以解决背景技术中现有的7T成像设备费用昂贵且数量少、目前软件进行图像增强的方法对设备要求较高且增强效果不佳等问题。

为实现上述目的，本发明提供技术方案如下：

一种基于多任务协同网络的磁共振图像增强方法，所述方法包括以下步骤：

步骤1：构建多任务增强模型；

步骤2：训练多任务增强模型；

步骤3：将待增强磁共振图像输入训练后的多任务增强模型，得到增强后的磁共振图像。

优选地，所述步骤1包括以下步骤：

步骤1.1：分别设置对比度增强模块和边缘增强模块；

步骤1.2：在对比度增强模块和边缘增强模块之后设置一图像差值处理模块；

步骤1.3：在图像差值处理模块之后设置一信噪比增强模块；

步骤1.4：在信噪比增强模块和边缘增强模块之后设置一特征融合模块。

优选地，所述对比度增强模块包括依次连接的一前置卷积层、一稠密块、一团块以及一后置卷积层。

优选地，所述边缘增强模块包括依次连接的一前置卷积层、一团块、一残差块，将残差块的输出特征图和前置卷积层的输出特征图相加后作为输入，通过一后置卷积层进行卷积。

优选地，所述信噪比增强模块包括依次连接的一团块、一第一残差块、一第二残差块，将团块的输出特征图、第一残差块的输出特征图、第二残差块的输出特征图相加后作为输入，通过一后置卷积进行卷积操作。

优选地，所述步骤2中，训练多任务增强模型包括以下步骤：

步骤2.1：设置多任务增强模型的总损失函数和网络参数；

步骤2.2：构建磁共振样本图像增强数据集，包括若干待增强样本图像x与目标样本图像y的配准数据对；

步骤2.3：将待增强样本图像作为多任务增强模型的输入，得到输出图像；

步骤2.4：基于输出图像和对应的目标样本图像，以最小化总损失函数的损失值为目标，更新网络参数。

优选地，所述多任务增强模型的总损失函数为L

优选地，所述待增强样本图像为3T磁共振平扫图像，目标样本图像为7T磁共振图像或注射造影剂后的增强磁共振图像。

优选地，所述软边缘图像y

与现有技术相比，本发明的有益效果为：

(1)针对常见的3T磁共振等普通磁共振成像组织对比度低、边界模糊、信噪比低等问题，构建了协同对比度增强、边缘增强、信噪比增强三个模块的磁共振图像增强模型，利用三个模块之间的信息互助，有效提升了磁共振图像的增强效果。

(2)区别于现有的以卷积神经网络或稠密神经网络为主的深度学习模型，本发明方法的三个模块网络均结合了团网络(CliqueNet)中参数效率更高的团块结构，使得卷积层间既有前向连接又有反馈连接，提升了深度网络信息传递的细节保持能力，同时提高了模型训练中损失函数值的收敛速度。

附图说明

图1为本发明的流程图。

图2为对比度增强模块的结构图。

图3为边缘增强模块的结构图。

图4为信噪比增强模块的结构图。

图5为团块的结构示意图。

图6为本发明的效果图。

具体实施方式

下面结合实例与附图对本发明做进一步详细描述，但本发明的保护范围并不限于此。

图1为本发明一种基于多任务协同网络的磁共振图像增强方法所实施的流程图，包含以下3个步骤：

步骤1：构建多任务增强模型，包括4个子步骤：

步骤1.1：分别设置对比度增强模块和边缘增强模块；

步骤1.2：在对比度增强模块和边缘增强模块之后设置一图像差值处理模块；

步骤1.3：在图像差值处理模块之后设置一信噪比增强模块；

步骤1.4：在信噪比增强模块和边缘增强模块之后设置一特征融合模块。

步骤2：训练多任务增强模型，包括4个子步骤：

步骤2.1：设置多任务增强模型的总损失函数和网络参数；

步骤2.2：构建磁共振样本图像增强数据集，包括若干待增强样本图像x与目标样本图像y的配准数据对；

步骤2.3：将待增强样本图像作为多任务增强模型的输入，得到输出图像；

步骤2.4：基于输出图像和对应的目标样本图像，以最小化总损失函数的损失值为目标，更新网络参数。

步骤3：将待增强磁共振图像输入训练后的多任务增强模型，得到增强后的磁共振图像。

边缘增强模块的目标是学习从待增强样本图像到目标样本图像边缘的映射函数，从输入的低质量图像中重构出高质量目标图像的清晰边缘。信噪比增强模块的目标是学习从低信噪比输入图像到高信噪比目标图像的映射函数，实现对输入图像的去噪处理。

本发明中，待增强磁共振图像通过对比度增强模块处理得到视觉对比度提升的图像，同时通过边缘增强模块处理得到与目标样本图像边缘接近的增强边缘图像，将减边缘图像通过信噪比增强模块提高信噪比，然后通过特征融合模块进行图像主体内容与增强后的边缘信息进行融合，得到多任务增强模型的输出图像。

步骤1.1中，分别设置对比度增强模块和边缘增强模块具体为：

构造对比度增强模块，包括依次连接的一前置卷积层、一稠密块、一团块以及一后置卷积层。

本实施例的对比度增强模块中，稠密块包括6个卷积层，团块包括4个卷积层，且前置卷积层、稠密块中的卷积层、团块中的卷积层、后置卷积层均采用5*5的卷积核，激活函数为ReLU。

稠密块(dense block)是将每一层的特征都输入给之后的所有层，本实施例中，第1个卷积层得到的特征图会作为第2个卷积层的输入，经第1个卷积层得到的特征图会与第2个卷积层输出的特征图在通道维上连结，然后作为第3个卷积层的输入；第1个卷积层得到的特征图及第2个卷积层得到的特征图会与第3个卷积层得到的特征图在通道维上连结，然后作为第4个卷积层的输入，以此类推，前5个卷积层得到的特征图会在通道维上连结，作为第6个卷积层的输入。

那么，一输入图像首先通过前置卷积层进行卷积操作后得到特征图C，将特征图C作为稠密块的输入，通过6个稠密连接的卷积层，得到特征图C′，将特征图C′作为团块的输入，得到特征图C″，然后经后置卷积得到特征图C

边缘增强模块包括依次连接的一前置卷积层、一团块、一残差块，将残差块的输出特征图和前置卷积层的输出特征图相加后作为输入，通过一后置卷积层进行卷积。

本实施例的边缘增强模块中，团块包括4个卷积层，残差块包括2个卷积层，前置卷积层、团块和残差块内部的卷积层均采用3*3的卷积核，激活函数为ReLU。

将输入图像输入到前置卷积层进行卷积操作后得到特征图E，将特征图E作为团块的输入，输出得到特征图E′，将特征图E′作为残差块的输入，得到特征图E”，然后将特征图E”和E相加后，作为后置卷积层的输入，得到特征图E

本发明步骤1.3中，信噪比增强模块具体包括：依次连接的一团块、一第一残差块、一第二残差块，将团块的输出特征图、第一残差块的输出特征图、第二残差块的输出特征图相加后作为输入，通过一后置卷积进行卷积操作。

本实施例的信噪比增强模块中，团块包括4个卷积层，第一残差块和第二残差块均包括2个卷积层，团块、第一残差块及第二残差块的卷积层、后置卷积层均采用3*3的卷积核，激活函数为ReLU。

将通过差值处理模块处理后的减边缘图像作为输入图像，通过团块得到特征图D，将特征图D作为第一残差块的输入，得到特征图D′，将特征图D′作为第二残差块的输入，输出特征图D”，将特征图D、特征图D′以及特征图D”相加后，通过后置卷积进行卷积操作，得到特征图D

本实施例的步骤1.4中，特征融合模块是一个内核大小为1*1的卷积层。

本发明中所提到的任一残差块，其通过第一层的卷积层得到第一特征图，将第一特征图作为第二层卷积层的输入，得到第二特征图，将第一特征图和第二特征图相加后作为残差块的输出特征图。

如图5所示，本发明中所提到的任一团块，为CliqueNet算法中的一个block，在这个block中，每一层即是其他层的输入，也是其他层的输出；以实施例中的一个团块包括4个卷积层为例，包括两个阶段；第一个阶段的操作与DenseNet类似，用前1-1层的输出和输入图像作为第l层的输入，来更新对应的权重，以获得最新的层：团块的输入图像X

步骤2中，训练多任务增强模型具体包括以下步骤：

步骤2.1：设置多任务增强模型的总损失函数和网络参数，总损失函数为L

网络参数包括学习率等，此为本领域普通技术人员的公知常识，本领域技术人员可根据实际情况自行设置。

本实施例中，设定总损失函数中用于控制边缘损失比例的超参数a＝0.2，初始化学习率为10

本实施例中，目标样本图像的软边缘图像的提取使用曲率公式为y

步骤2.2：构建磁共振样本图像增强数据集，包括若干个待增强样本图像x与目标样本图像y的配准数据对；待增强样本图像可以为3T磁共振平扫图像，目标样本图像可以为7T磁共振图像或注射造影剂后的增强磁共振图像。

本发明中，将磁共振样本图像增强数据集划分为训练集和测试集，其中，训练集中配准数据对的数量占70％，测试集中配准数据对的数量占30％。

本实施例中，使用15个配准数据对，每一个配准数据对包括一3T磁共振图像和一7T磁共振图像，每个配准数据对都在MIN标准空间线性配准，数据归一化到[0，1]范围内。

本实施例中，采用leave-one-out交叉验证法，将测试集中1个配准数据对用于测试，将测试集中4个配准数据对用于验证，将训练集中9个配准数据对用于训练。

本实施例中，使用Adam优化器更新网络参数，训练时每100个epoch学习率减半，至总损失函数最小完成训练，得到对应的学习率在内的最优网络参数，此为本领域常规技术手段，本领域技术人员可根据实际情况自行设置。

通过本发明实施例得到增强后的3T图像如图6所示。

本发明方法提出的多任务增强模型主要包括对比度增强模块、边缘增强模块以及信噪比增强模块，每个子模块网络能实现特定任务的增强功能，整体模型可以实现端到端的训练且具有良好的可解释性。