基于SPRNN和多尺度参考模态的多模态MRI辅助重建方法

摘要

一种基于SPRNN和多尺度参考模态的快速MRI辅助重建方法，包括如下步骤：步骤1输入u倍欠采样的参考模态图像和全采样的参考模态图像步骤2由深度亚像素递归神经网络得到重构后的待定模态图像图1给出了深度亚像素递归神经网络fSPRNN(yu,y′；Θ)的设计方案。本发明将亚像素卷积、数据一致性算子、多尺度参考模态与多模态MRI辅助重建技术相结合，基于递归神经网络对高倍欠采样的MR图像进行逐步重建，能够有效降低输入数据中的大量伪影对重构效果的影响，能有效提升待定模态的MRI图像的重建质量。

说明书

技术领域

本发明涉及磁共振图像处理领域，主要为多模态磁共振图像的加速扫描提供技术支持：在其后处理阶段，利用多尺度参考模态，对高倍欠采样的MRI图像进行辅助重建。

背景技术

磁共振成像(Magnetic Resonance Imaging，MRI)是目前临床医学影像中最重要的非侵入式检查方法之一，是目前少有的对人体无伤害的、安全的临床诊断方法，已经广泛地应用于血管造影、神经病学、心脏病学检查等多种临床应用。为了对疾病进行综合分析，临床中往往需要使用多模态MRI(这也是磁共振成像相对于其它成像方式的一个主要优势)。例如，T1加权图像(T1-Weighted Image，T1WI)和T2加权图像(T2-Weighted Image，T2WI)是临床中评估解剖结构和进行病理分析时最常用的两种MRI序列，它们的作用各不相同：T1WI常用于发现脂肪组织、定位肝脏局灶性病变、描述病灶形态信息等，而T2WI常用于检测水肿和炎症、发现大脑白质病变、评估前列腺和子宫中的带状结构等。显然，多模态磁共振图像相结合更有助于医生进行精确的疾病诊断。

然而，由于磁共振成像原理的限制，相对于CT等成像方式，MRI的成像速度过慢，费用也较高。这一问题对于多模态磁共振成像而言尤为显著：不同的MRI模态要依次扫描，而每种模态的扫描都要花费较多的时间。为了加快多模态磁共振成像的速度，近年来，研究者们提出了多模态磁共振成像的辅助重建方法。此类方法建议：在多模态磁共振成像阶段，对其中一种成像速度较快的模态(通常选用T1WI)进行全采样，并将这种模态称为“参考模态”；而对于其它成像速度较慢的模态(如T2WI、PD、FLAIR等)进行高倍欠采样扫描，并将这些模态称为“待定模态”。由于只对参考模态进行了全采样，而对多种其它模态进行了高倍欠采样，这样就可以大大提升MRI的扫描速度。此类方法的可行性建立在：同一个组织的多种磁共振成像模态之间高度相关，利用这种高度相关性，可以在后处理阶段充分用全采样的“参考模态”对“待定模态”进行辅助重建。多模态辅助重建要求参考模态和待定模态之间的MRI图像相互对准，这一要求导致能够用于训练多模态辅助重建模型的数据通常较少。

现有的多模态辅助重建方法主要基于U-Net，将全采样的“参考模态”和某一高倍欠采样的“待定模态”作为两个通道，同时输入网络，利用卷积神经网络的信息融合能力，将参考模态中的细节信息“迁移”到待定模态中，从而实现对待定模态的良好重建。此类方法的主要不足是：(1)所采用的U-Net网络的参数规模通常较大，难以适用于小规模的多模态训练数据；(2)在一开始(网络输入阶段)就对高倍欠采样的待定模态的MRI图像进行了大量的零填充，大量的零填充不仅会增加额外的计算开销，而且会在重建的MRI图像中引入明显的伪影，从而导致重建的MRI图像的信噪比较低；(3)不论是全采样的“参考模态”还是高倍欠采样的“待定模态”在网络前向传播中的参与度都很低，这会导致“参考模态”中所蕴含的细节信息未被充分利用，而“待定模态”中所包含的真实采样信息又在前向传播过程中被破坏掉了。

发明内容

为了克服现有技术的不足，消除高倍欠采样的MRI图像中存在的大量伪影，并高效地利用有限的网络容量学习复杂的端到端的映射，本发明结合亚像素卷积、深度递归网络、多尺度参考模态和多尺度监督的训练方法，提出了一种基于深度亚像素递归神经网络(SPRNN)的多模态MRI重建方法，其中，所采用的亚像素卷积技术能够有效降低输入数据中存在的大量伪影对重构效果的影响，递归网络结构不仅可以提升参考模态和待定模态在网络前向传播过程中的参与度，而且可以有效地压缩神经网络的参数规模，而对递归网络的多尺度监督能够逐步重建高倍欠采样MRI图像中的高频信息。

本发明提供的具体技术方案如下：

一种基于深度亚像素递归神经网络(Sub-Pixel Recursive Neural Network，SPRNN)和多尺度参考模态的多模态MRI辅助重建方法，包括以下步骤：

步骤1输入u倍欠采样的参考模态图像

步骤2由深度亚像素递归神经网络f

进一步地，所述步骤1中，欠采样的MRI图像y

y

其中，

再进一步地，所述步骤2，的深度亚像素递归神经网络f

其中，Θ＝{Θ

这里，d∈{1，2，…，D}，

进一步地，(1)式中的

其中，

为部分零填充算子，SPC(·)表示亚像素卷积算子。

进一步地，(1)式中的

(1)式中的

其中，

进一步地，(1)式中的

其中，

进一步地，所述步骤2中的深度亚像素递归神经网络f

步骤2.1构建用于训练深度亚像素递归神经网络f

这里，Γ＝{1，2，…，L}为训练样本的索引集，L为训练样本的个数，u＝u

其中，

步骤2.2令迭代次数t＝0，随机初始化f

步骤2.3令t＝t+1，通过梯度下降法，最小化如下损失函数：

其中，

步骤2.4迭代执行上述步骤2.3，直至t＝T，这里，T为预设的最大迭代次数；

步骤2.5选取Θ＝Θ

本发明的技术构思为：现有的多模态辅助重建方法主要存在三个不足：(1)网络的参数规模较大难以适用于较小的训练数据；(2)直接对高倍欠采样的MRI图像进行了零填充所导致的额外的计算开销和较低的信噪；(3)全采样的“参考模态”和高倍欠采样的“待定模态”在网络前向传播中的低参与度所导致的“参考模态”中的细节信息和“待定模态”中所包含的真实采样信息不能被充分利用。为了克服这些不足，本发明基于亚像素递归神经网络(Sub-Pixel Recursive Neural Network，SPRNN)和多尺度参考模态，提出了一种新的多模态MRI的辅助重建方法。SPRNN主要包括亚像素卷积和递归神经网络两个部分。这里，使用递归神经网络的作用主要有两个：一方面可以有效节省网络的参数规模，从而使得其能够有效适应于小规模的多模态训练数据；另一方面可以提升参考模态和待定模态在网络前向传播过程中的参与度，从而使网络形成对参考模态和待定模态中数据的长期记忆。使用亚像素卷积是为了避免对待定模态的MRI数据进行大量的零填充，避免大量的零填充所引入的噪声信息和混叠人工痕迹。另外，由于待定模态的下采样率都很高，为了避免使用亚像素卷积一次性地预估待定模态中未被采集的所有k空间数据(这样做的计算代价和错误估计率都很高)，本发明所提出的SPRNN采用逐步上采样的策略，使得每一个递归子网只恢复一部分欠采样的数据。这一策略导致所使用的参考模态数据需要在k空间进行多尺度分解，以有针对性地辅助重建待定模态中对应区间的未采样的数据。

相比较现有的基于深度学习的多模态MRI辅助重建方法，本发明的有益效果主要体现在：(1)采用亚像素卷积模块，减少了输入数据中的伪影，使网络能从干扰较少的数据中充分提取特征，增强重构效果；(2)充分借鉴了递归神经网络的权值共享的思想，可以极大地节省网络模型的存储空间和训练数据的规模；(3)同时提升了参考模态和待定模态在网络前向传播中的参与度；(4)网络的训练使用了多尺度深度监督方法，能够指导网络从低频信息到高频信息逐步重建出高精度的MRI图像，从而提升网络的训练效率和重建效果。

附图说明

图1是本发明所设计的深度亚像素递归神经网络f

图2(a)为f

图3(a)和(b)分别为k空间中的8倍欠采样的MRI图像和全采样的MRI图像的示例，(c)和(d)分别为像素空间中的重构后的MRI图像和全采样的MRI图像的示例。

图4(a)是中心欠采样掩码矩阵的示例，图4(b)是高斯欠采样掩码矩阵的示例。

图5是对部分零填充算子的具体操作的说明：(a)、(b)、(c)分别是对k空间中的8倍、2.67倍、1.33倍欠采样的MRI图像进行部分零填充的结果，填充后的MRI图像的维度分别为

图6是对亚像素卷积算子的具体操作的说明，这里，亚像素卷积算子将通道方向上的3个特征图按照一定次序进行组合，将输入的欠采样的MRI图像的维度提升了3倍。

图7是对两种激活函数ReLU和LReLU的曲线图比较，子图(a)展示的是ReLU的曲线图，子图(b)展示的是LReLU的曲线图。

图8是对数据一致性算子f

图9是对数据一致性算子f

图10是用于训练深度亚像素递归神经网络的5个MR训练样本的示例，每一行为一个训练样本，每个训练样本由5张MRI图像组成：k空间中的u倍欠采样的MRI图像(第1列)，像素空间中的u

图11是本发明所提出的深度亚像素递归神经网络(SPRNN)与传统的零填充方法(Zero Filling，ZF)以及5种前沿方法UNet、DenseUNet、RefineGAN、D5C5、D5C15以T1WI为参考模态，针对T2WI和DP两种待定模态在下采样比率分别为1/4、1/8和1/12的情况下的重构结果的PSNR/SSIM值的量化比较。使用8个受试者的MRI图像作为训练样本，剩下2个受试者的MRI图像作为测试样本，RM和QM分别表示参考模态和待定模态。

图12是本发明所提出的深度亚像素递归神经网络(SPRNN)基于多尺度参考模态对8倍欠采样的待定模态的辅助重建过程，其中，

图13是本发明所提出的深度亚像素递归神经网络(SPRNN)及对比方法(ZF、UNet、DenseUNet、RefineGAN、D5C5、D5C15)的重效果的可视化对比。这里，参考模态为T1WI，待定模态为12倍欠采样的T2WI。从每张重构图像中选取了3个感兴趣区域，放大后按照“从左到右、从上到下”的顺序放在了下方的各方法所对应的子图中。

具体实施方式

下面结合附图进一步说明本发明的实施步骤。

参照图1～图13，一种基于深度亚像素递归神经网络(Sub-Pixel RecursiveNeural Network，SPRNN)和多尺度参考模态的多模态MRI重建方法，包括以下步骤：

步骤1输入u倍欠采样的参考模态图像

步骤2由深度亚像素递归神经网络f

进一步地，所述步骤1中，

y

其中，

进一步地，所述步骤2中，深度亚像素递归神经网络f

f

其中，Θ＝{Θ

其中，d∈{1，2，…，D}，

进一步地，(2)式中的

其中，

进一步地，(2)式中的

(2)式中的

其中，

其中，α可取0.1。图2(b)和(c)给出了R和C

进一步地，(2)式中的

其中，

进一步地，所述步骤2中的深度亚像素递归神经网络f

步骤2.1构建用于训练深度亚像素递归神经网络f

这里，Γ＝{1，2，…，L}为训练样本的索引集，L为训练样本的个数，u＝u

其中，

步骤2.2令迭代次数t＝0，初始化f

常用的神经网络的初始化方法由：随机初始化、Xavier初始化、He初始化；对于包含有ReLU类型激活函数的子网，建议使用He初始化；而对于包含有tanh类型激活函数的子网，建议使用Xavier初始化；

步骤2.3令t＝t+1，通过梯度下降法，最小化如下损失函数：

其中，

步骤2.4迭代执行上述步骤2.3，直至t＝T，这里，T为预设的最大迭代次数；T通常取10

步骤2.5选取Θ＝Θ

通过实验来验证本发明所提出的深度亚像素递归神经网络的有益效果。使用飞利浦Ingenia3T扫描仪对10名受试者进行扫描，获取T2WI模态的MRI图像，将每张MR切片裁剪为336×336×261大小。使用Adam优化算法对U-Net网络进行训练，动量大小设置为0.9，迭代次数设置为10

为了定量评价网络的重建性能，使用峰值信噪比(PSNR)和结构相似度(SSIM)对重构的MRI图像进行质量评估。将本发明所提出的深度亚像素递归神经网络(SPRNN)与填充方法(Zero Filling，ZF)和4种前沿方法DeepCascade、RefineGAN、UNet、DenseUNet进行对比。使用8个受试者的MRI图像作为训练样本，剩下2个受试者的MRI图像作为测试样本。采用交叉验证法测试所比较方法的稳定性，分别对编号为2和3、0和1、4和5、6和7、8和9的受试者的4倍、8倍和12倍欠采样的MRI图像进行重构。将重构结果与全采样图像进行对比，PSNR/SSIM值如图11所示，可以看出本发明所提出的方法超过了其它方法。

图12进一步展示了本发明所提出的SPRNN使用多尺度参考模态数据对8倍欠采样的待定模态的辅助重建过程，其中，

图13展示了本发明所提出的SPRNN及其对比方法(ZF、UNet、DenseUNet、RefineGAN、D5C5、D5C15)的重效果的可视化对比。这里，参考模态为T1WI，待定模态为12倍欠采样的T2WI。从每张重构图像中选取了3个感兴趣区域，放大后按照“从左到右、从上到下”的顺序放在了下方的各方法所对应的子图中。可以看出本发明所提出的SPRNN方法能够更好地重构高倍欠采样MRI图像的细节信息。