基于双路人工神经网络的双序列加速核磁成像优化方法

摘要

本发明提出了一种基于双路人工神经网络的双序列加速核磁成像优化方法，使用核磁成像设备收集T1FLIR和T2FSE两个序列的核磁数据人脑部核磁数据，构建数据集；构建双路的级联网络结构，每一路分支共包含了4级子网络，每一级子网络的输入为上一级两个子网络的输出，每个子网络包含一个核心的U型网络，并且添加了一致性约束。网络训练时联合优化网络参数和K空间采样的方式，实现双序列图像的采样方式优化和双序列图像的同时重构。本发明方法对网络参数和K空间采样方式进行联合优化，通过不同序列图像采样信息的互补，实现了更高质量的图像重构，相比以往的加速核磁共振成像方法，较大程度的提高了加速核磁共振成像的图像重建质量和加速倍数。

说明书

技术领域

本发明属于医学图像成像领域，具体涉及一种基于双路人工神经网络的双序列加速核磁成像优化方法。

背景技术

核磁共振成像(Magnetic Resonance Imaging)作为一种没有辐射损伤、软组织成像能力强、能多序列成像的医学成像方式，为许多疾病的诊断提供了影像学的依据，但是由于其较长的采集时间使得核磁成像设备的吞吐量低、患者体验差。为了加速核磁共振成像的速度，研究人员提出在K空间(核磁成像中的频域)进行欠采样，通过数据采集量的降低实现成像过程的加速。直接重建自欠采样K空间的图像存在细节丢失、混叠、Gibbs效应等缺陷，所以需要重建算法补全未采样的K空间才能重建出清晰的图像。图像重建算法一般分为传统的压缩感知算法和深度学习算法。

文献[1]和[2]中的压缩感知算法引入稀疏性约束，通过迭代优化的方式求解K空间补全的欠定问题。尽管压缩感知算法可以实现2-3倍的核磁共振成像加速，但是由于算法对参数选择的依赖程度大，并且迭代算法的速度慢，相关算法存在较大的局限性。深度学习算法通过数据驱动的方式，利用大量数据训练神经网络，使得神经网络可以识别图像中的混叠等缺陷，实现较好的图像恢复和重建。文献[3]建立的大规模的核磁共振数据集，并且训练了U型网络作为重构网络，实现了优于压缩感知算法的重构效果以及加速倍数。文献[4]和[5]在U型网络的基础上对网络进行了级联，进一步优化了重构效果。

尽管深度学习已经在加速核磁共振成像领域取得了非常显著的成果，但是相关方法仍然存在两点较大的局限。首先，一般核磁共振成像都会采集多个序列成像的结果，基本都要包含T1和T2两个序列的图像，文献[3][4][5]等深度学习方法只考虑了从单序列的图像进行重构，这局限了网络的重构效果。其次，目前深度学习方法，如文献[3][4][5]中，多数局限于优化网络的结构，对于采样方式的优化工作较少，相关优化采样方式的研究也仅局限于单序列核磁数据的采样优化，如文献[6]。

参考文献

[1]Lustig M,Santos J M,Lee J H,et al.Application of compressedsensing for rapid MR imaging[J].SPARS,(Rennes,France),2005.

[2]Lustig M,Donoho D,Pauly J M.Sparse MRI:The application ofcompressed sensing for rapid MR imaging[J].Magnetic Resonance in Medicine:AnOfficial Journal of the International Society for Magnetic Resonance inMedicine,2007,58(6):1182-1195.

[3]Zbontar J,Knoll F,Sriram A,et al.fastMRI:An open dataset andbenchmarks for accelerated MRI[J].arXiv preprint arXiv:1811.08839,2018.

[4]Hammernik K,Klatzer T,Kobler E,et al.Learning a variationalnetwork for reconstruction of accelerated MRI data[J].Magnetic resonance inmedicine,2018,79(6):3055-3071.

[5]Sriram A,Zbontar J,Murrell T,et al.End-to-end variational networksfor accelerated MRI reconstruction[C]//International Conference on MedicalImage Computing and Computer-Assisted Intervention.Springer,Cham,2020:64-73.

[6]Bahadir C D,Wang A Q,Dalca A V,et al.Deep-learning-basedoptimization of the under-sampling pattern in MRI[J].IEEE Transactions onComputational Imaging,2020,6:1139-1152.

发明内容

针对上述问题，本发明的目的是实现双序列核磁共振图像的同时加速，通过双路的网络结构，整合不同序列的信息，同时通过采样方式优化，得到更好的采样策略，最终提高加速核磁共振的图像重构质量。

一种基于双路人工神经网络的双序列加速核磁成像优化方法，包括如下步骤：

步骤1、数据集生成：通过核磁共振设备采集T1FLAIR序列和T2FSE序列的全采样K空间数据，将数据分为训练集、验证集和测试集；

步骤2、模型构建：构建双路神经网络结构模型，该网络结模型为双路的级联网络结构，每一路分支共包含了4级子网络，每一级子网络的输入为上一级两个子网络的输出；每个子网络包含一个核心的U型网络，并且添加了一致性约束；

步骤3、模型训练：利用训练集数据对步骤2建立的模型进行训练，在训练神经网络的同时利用梯度下降法对采样掩膜的参数Θ和模型参数进行联合优化；模型训练的迭代过程中，在验证集上进行峰值信噪比(PSNR)的计算，当在验证集上重构效果及PSNR不再提升时，联合优化结束，得到最优的采样方式和重构模型；

步骤4、模型测试：将步骤3得到的采样方式和重构模型在测试集上进行评估，计算重构图像和全采样的图像的峰值信噪比(PSNR)和结构相似度(SSIM)指标，通过重构指标对重构效果进行评估；

步骤5、模型应用：核磁成像设备按照所述步骤4通过测试的模型中优化后的采样方式设置欠采样的参数并对数据进行采样，采集的K空间数据经过反傅里叶变换后，再经过步骤4通过测试的网络模型进行重构，得到最终可以用于诊断的清晰图像。

进一步，子网络迭代的表达式为：

其中

进一步，使用最小熵正则(MER)使得采样掩膜M收敛到离散的值0和1，该正则项表示为：

MER＝-M log M-(1-M)log(1-M)

采样掩模M的计算方法为：

其中Θ为可训练的参数，通过Sigmoid函数将参数转换为0-1之间的连续值Prob，之后通过归一化操作，使得Prob的均值可以等于1/ACC，ACC为加速倍数。

进一步，假设网络模型重构的结果为

其中λ为正则项系数，为人工设定的参数，通过最小化该损失函数，可以对神经网络以及采样掩模M进行联合优化。

本发明的技术效果：核磁成像加速属于医学图像领域以及计算机视觉领域的重要研究课题，本发明设计了双路神经网络用于双序列核磁成像过程的加速，通过双路神经网络实现了两个序列欠采样核磁图像的同时重构，同时通过两个序列图像的采样方式优化，大幅度提高了图像重构质量。

附图说明

图1为本发明方法的的流程图；

图2(a)-2(c)为本发明方法中的双路神经网络结构示意图，其中图2(a)为网络整体结构，图2(b)为子网络结构，图2(c)为U型子网络结构；

图3为使用本发明方法采样优化的结果图；

图4为本发明方法的应用效果图。

具体实施方式

下面将结合附图和实施例对本发明进行详细的阐述。

图1为本发明方法的流程图，展现的是双序列重构网络，结合该流程图，详细说明每个部分的实现方式。

(1)生成数据集

通过核磁共振设备采集T1FLAIR序列和T2FSE序列的全采样K空间数据，用于训练神经网络。为了训练神经网络，在该实施例中一共采集了31个病人的脑部核磁影像，图像尺寸为320×320，每个病人的影像包含24个切片。将采集的数据划分为训练集(23个病人)、验证集(3个病人)和测试集(5个病人)。

(2)双路神经网络结构构建

图2展示了双路神经网络的网络结构。双路神经网络整体结构如图2(a)所示，网络输入为由欠采样的K空间数据经过反傅里叶变换得到的欠采样的T1FLAIR图像和T2FSE图像，由于欠采样，输入图像存在混叠、模糊等缺陷，网络输出为重构的T1FLAIR和T2FSE图像，网络输出图像清晰，可以用于诊断。

网络结构整体为双路的级联网络结构，每一路分支共包含了4级的子网络，每一级子网络的输入为上一级两个子网络的输出，子网络的结构图如图2(b)所示。子网络包含了一个核心的U型网络，并且添加了一致性约束，尽可能保证了输出图像的K空间在已知部分和输入保持一致。子网络迭代的表达式可以表示为：

其中

子网络中U型网络的结构图如图2(c)所示，网络包含一个编码器和一个解码器，同时编码器中相应层与解码器中相应层进行连接，U型网络采用全局残差学习，网络输出加上输入得到U型网络的重构结果。U型网络的编码器和解码器包含对称的4次降采样和升采样，每次降采样和升采样之前都进行两次卷积操作，卷积层参数的通道数由起始的16个通道随着降采样逐步进行翻倍到256个通道，最后随着升采样再逐步减少到16个通道，由最后一个卷积层将通道数降为2个通道，并输出重构的复数图像。

(3)模型训练、验证及测试

利用训练集数据对上面建立的神经网络模型进行训练，在训练神经网络的同时利用梯度下降法对采样掩膜的参数Θ和模型参数进行联合优化。

图1中第一步的数据采集涉及采样方式的选择，一般选用沿频率编码方向的笛卡尔采样，采样会采集一部分连续低频数据，并等间隔采集高频数据，这种相对固定的采样方式存在比较大的局限性，需要进一步对数据采样方式进行优化，从而使得输入图像可以为神经网络提供更多有用的信息，并消除不同序列图像间的冗余信息。本发明提出了一种联合优化的方式，在训练神经网络的同时也对采样方式进行优化。采样的掩模M可以通过以下步骤得到：

其中Θ为可训练的参数，通过Sigmoid函数将参数转换为0-1之间的连续值(Prob)，之后通过归一化操作，使得采样的概率Prob的均值可以等于1/ACC(ACC为加速倍数)，于是通过上述操作就可以得到满足加速倍数的采样掩模M。

上述优化过程得到的采样掩模M是0-1的连续值，实际情况下，M应为0和1的离散值，所以本发明提出使用最小熵正则(Minimum Entropy Regularization)使得M可以收敛到离散的值0和1。该正则项可以写为：

MER＝-M log M-(1-M)log(1-M)

通过最小化该正则项，可以使得掩模M中的值收敛到0和1。

假设网络重构的结果为

其中λ为正则项系数，一般为人工设定的参数，通过最小化该损失函数，可以对神经网络以及采样掩模进行联合优化。

由于参数Θ是可微的，所以可以利用梯度下降算法对参数Θ进行优化，提高网络重建质量，最终得到优化的采样方式和重构结果。本发明中使用Adam优化器，设定学习速率为10

训练过程中，通过在验证集上进行峰值信噪比(PSNR)的计算，控制模型优化迭代次数，当在验证集上重构效果及PSNR不再提升时，优化结束，得到了最优的采样方式和重构模型。

由验证集上得到的采样方式和重构模型在测试集上进行评估，对全采样的测试集数据按照优化得到的采样方式进行欠采样，经过反傅里叶变换得到欠采样的T1FLAIR和T2FSE图像，欠采样的图像经过重构网络进行重构后得到重构图像，重构图像和全采样的图像计算峰值信噪比(PSNR)和结构相似度(SSIM)指标，通过重构指标对重构效果进行评估。

(4)模型部署：核磁成像设备按照优化的采样方式设置欠采样的参数并对数据进行采样，采集的K空间数据经过反傅里叶变换，再经过优化后的双路人工神经网络进行重构，得到最终可以用于诊断的清晰图像，如图1所示。

下面通过具体的实验来说明本发明的方法。

实验平台：Intel(R)Core(TM)i9-9820X CPU@3.30GHz，64GB RAM,GeForce RTX2080Ti。

图3为优化前和优化后的K空间数据采样方式和相应的经过反傅里叶变换得到的欠采样图像。从第二行优化后的结果可以看出，相比图中于第一行所示的固定的采样方式，优化后，采样掩模倾向于包含更多低频的信息，使得采样后的K空间包含了更多能量，相应经过反傅里叶变换的图像更加清晰，一定程度上压制了重构模型输入图像中的混叠等缺陷，有利于图像重构；同时可以观察到，T1FLAIR和T2FSE的采样方式都倾向于非对称的方式，这说明了优化后的采样方式可以比较好的利用频域的对称性，消除了采样中的冗余信息，包含了更多有用信息；最后，还可以从图中观察到，T1FLAIR和T2FSE的欠采样图像存在很大程度的相似，所以联合重构T1FLAIR和T2FSE的图像是合理的，重构不同序列的图像可以起到相互促进的作用。

图4为本发明的重构效果展示，第一行包括了重构目标和不同方法的重构结果，第二行展示了不同方法的重构误差，第三行展示了重构目标上框选的方形区域的重构效果，第四行展示了方形区域的重构误差，图4中还展示了图像和误差的颜色条，图像归一化到0-1，对应着黑色到白色，误差裁剪到0-0.1，对应着白色到黑色，及误差图中越接近黑色误差越大。从重构效果和重构误差可以看出，本发明相较于以往方法在图像的重构误差上有明显降低。表1展示了本发明在PSNR和SSIM两个指标上和文献[3][5]中方法的对比，在所有加速倍数和所有成像序列下，本发明的重构指标都优于以往方法。

表1测试集性能指标对比表

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。