基于深度学习的扩散张量重建方法、系统和电子设备

摘要

本发明提供一种基于深度学习的扩散张量重建方法、系统和电子设备：获取T1加权图像、非扩散加权图像、扩散加权图像，分别简称为T1图像、b0图像、DW图像；拟合b0图像和DW图像，得到扩散张量；选用T1图像、部分b0图像和DW图像，以相邻三层为一组，获得原始网络输入图像组；对原始网络输入图像组进行排序，获得三层排序图像组和重建层排序图像组；构建并训练深度神经网络；对待成像对象进行图像采集，将采集的图像排序得到待重建的三层排序图像组和待重建的重建层排序图像组并输入训练好的深度神经网络重建得到扩散张量；由扩散张量计算得到DTI定量图像。本发明可减少扩散张量及其定量图重建所需DW图像数量，加快成像速度。

说明书

技术领域

本发明涉及磁共振成像领域，特别是指基于深度学习的扩散张量重建方法、系统和电子设备。

背景技术

扩散磁共振成像(DiffusionMagnetic Resonance Imaging，dMRI)利用水分子沿扩散梯度方向扩散的信息，可以提供组织的微结构信息。扩散张量成像(Diffusion TensorImaging，DTI)是临床常用的一种dMRI技术，在脑部疾病诊断和神经科学研究上具有重要应用价值。DTI由扩散加权(Diffusion-weighted，DW)图像拟合而来。由于DTI模型需要拟合6个参数，因此重建扩散张量至少需要6张DW图像。另一方面，DTI模型对噪声的敏感度很高，而DW图像通常信噪比较低，因此传统方法上高质量的DTI需要多于30张的DW图像来进行最小二乘拟合，导致DTI需要长的采样时间，而且在长时间的采样过程中，病人难免产生运动，从而导致图像伪影等问题。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于深度学习的扩散张量重建方法、系统和电子设备，可大大减少扩散张量及其定量图重建所需的DW图像的数量，从而减少扫描获取DW图像的时间，加快获取高质量DTI的速度。

本发明采用如下技术方案：

一种基于深度学习的扩散张量重建方法，其特征在于，包括如下步骤：

S1获取图像，图像数量为P层，每层包括1张T1图像、L张b0图像和N张扩散方向不同的DW图像，T1图像为T1加权图像，b0图像为非扩散加权图像，DW图像为扩散加权图像，N个扩散方向由设计好的扩散梯度方向表确定；

S2对所有b0图像取平均，并将其连同所有DW图像，按照DTI拟合公式，采用最小二乘算法逐像素进行信号拟合，得到扩散张量标签；

S3沿层的方向抽取图像得到所有层循环DW图像，沿层的方向选取图像组成原始网络输入图像组；

S4对每个原始网络输入图像组进行排序，获得对应的三层排序网络输入图像组，并从三层排序网络输入图像组中抽取重建层图像，获得对应的重建层排序网络输入图像组；

S5构建能够适应三层排序网络输入图像组和重建层排序网络输入图像组同时输入的深度神经网络用于扩散张量重建，使用每个三层排序网络输入图像组和对应的重建层排序网络输入图像组作为网络输入，以扩散张量标签作为网络标签对深度神经网络进行训练，得到对应的训练好的深度神经网络；

S6以每层1张T1图像、1张b0图像和所有层循环DW图像的采集方案对待成像对象进行图像采集，将所采集的图像组成若干个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组，将每个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组输入训练好的深度神经网络，重建出每个重建层的扩散张量；

S7利用重建出的扩散张量进行特征值分解和公式计算，得到DTI定量图像。

优选的，步骤S3中沿层的方向抽取图像得到所有层循环DW图像，具体为：沿层的方向从任一端开始，以三层为一循环，按扩散梯度方向表的前M个扩散方向顺序每层抽取M/3张DW图像，获得所有层循环DW图像。

优选的，步骤S3中，沿层的方向选取图像组成原始网络输入图像组，具体为：

沿层的方向以所述抽取图像开始的同一端的第二层作为重建层，加上与其相邻的两层为一组，选取此三层的图像组成一个原始网络输入图像组；

不断向另一端移动重建层，并以新的重建层及其相邻两层为一组，组成新的原始网络输入图像组，直至重建层移动到另一端倒数第二层，获得P-2个所述原始网络输入图像组。

优选的，步骤S3中，以重建层和其相邻两层为一组，选取各层1张T1图像、第1张b0图像、循环DW图像，组成一个原始网络输入图像组，如此，一个原始网络输入图像组包含三层共3张T1图像、3张b0图像和M张DW图像；将图像按照3张T1图像-3张b0图像-M张DW图像的顺序排列，相同类型图像按照采集时层的顺序排列。

优选的，步骤S4具体包括如下：

以扩散梯度方向表的前M个扩散方向顺序作为DW图像的排列顺序，对每个原始网络输入图像组内的DW图像进行重新排序，从而形成新的三层排序；

以新的三层排序对原始网络输入图像组中的T1图像和b0图像进行排序，获得对应的三层排序网络输入图像组；

从三层排序网络输入图像组中选取重建层的T1图像、b0图像和DW图像组成重建层排序网络输入图像组。

一种基于深度学习的扩散张量重建系统，其特征在于，包括：

图像获取单元：获取图像，图像数量为P层，每层包括1张T1图像、L张b0图像和N张扩散方向不同的DW图像，T1图像为T1加权图像，b0图像为非扩散加权图像，DW图像为扩散加权图像，N个扩散方向由设计好的扩散梯度方向表确定；

标签获取单元：对所有b0图像取平均，并将其连同所有DW图像，按照DTI拟合公式，采用最小二乘算法逐像素进行信号拟合，得到扩散张量标签；

图像生成单元：沿层的方向抽取图像得到所有层循环DW图像，沿层的方向选取图像组成原始网络输入图像组；

图像处理单元：对每个原始网络输入图像组进行排序，获得对应的三层排序网络输入图像组，并从三层排序网络输入图像组中抽取重建层图像，获得对应的重建层排序网络输入图像组；

网络构建和训练单元：构建能够适应三层排序网络输入图像组和重建层排序网络输入图像组同时输入的深度神经网络用于扩散张量重建，使用每个三层排序网络输入图像组和对应的重建层排序网络输入图像组作为网络输入，以扩散张量标签作为网络标签对深度神经网络进行训练，得到对应的训练好的深度神经网络；

重建层扩散张量重建单元：以每层1张T1图像、1张b0图像和所有层循环DW图像的采集方案对待成像对象进行图像采集，将所采集的图像组成若干个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组，将每个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组输入训练好的深度神经网络，重建出每个重建层的扩散张量；

DTI定量图像生成单元：利用重建出的扩散张量进行特征值分解和公式计算，得到DTI定量图像。

优选的，所述图像生成单元还包括：

图像选取子单元：沿层的方向从任一端开始，以三层为一循环，按扩散梯度方向表的前M个扩散方向顺序每层抽取M/3张DW图像，获得所有层循环DW图像；沿层的方向以同一端的第二层作为重建层，加上与其相邻的两层为一组，选取此组各层1张T1图像、第1张b0图像、循环DW图像，组成一个原始网络输入图像组，如此，一个原始网络输入图像组包含三层共3张T1图像、3张b0图像和M张DW图像，不断向另一端移动重建层，并以新的重建层及其相邻两层为一组，组成新的原始网络输入图像组，直至重建层移动到另一端倒数第二层，获得P-2个所述原始网络输入图像组；

图像排序子单元：将原始网络输入图像组的图像按照3张T1图像-3张b0图像-M张DW图像的顺序排列，相同类型图像按照采集时层的顺序排列。

优选的，所述图像处理单元包括：

DW图像排序子单元：以扩散梯度方向表的前M个扩散方向顺序作为DW图像的排列顺序，对每个原始网络输入图像组内的DW图像进行重新排序，从而形成新的三层排序；

T1图像与b0图像排序子单元：以新的三层排序对原始网络输入图像组中的T1图像和b0图像进行排序，获得对应的三层排序网络输入图像组；

重建层选取子单元：从三层排序网络输入图像组中选取重建层的T1图像、b0图像和DW图像组成重建层排序网络输入图像组。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：处理器执行计算机程序时实现所述的基于深度学习的扩散张量重建方法。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

本发明包括：获取T1加权图像、非扩散加权图像和扩散加权图像；拟合b0图像和DW图像，得到扩散张量标签；选用T1图像、部分b0图像和DW图像，以相邻三层为一组，获得原始网络输入图像组；对原始网络输入图像组进行排序，获得三层排序图像组和重建层排序图像组；构建并训练深度神经网络；对待成像对象进行图像采集，将采集的图像排序得到待重建的三层排序图像组和待重建的重建层排序图像组并输入训练好的深度神经网络重建得到扩散张量；由扩散张量计算得到DTI定量图像。

本发明实现了快速重建扩散张量及其定量图，有效改善了因DW图像信噪比差造成利用少量DW图像重建DTI扩散张量及其定量图质量差的问题，提供了高质量的扩散张量及其定量图。

附图说明

图1为本发明方法流程图；

图2为本发明实施例每层使用3张DW图像得到的扩散张量及其定量图：(a)扩散张量的对角元素之一D

图3为本发明实施例每层使用6张DW图像采用传统逐点最小二乘拟合方法得到的扩散张量及其定量图：(a)扩散张量的对角元素之一D

图4为本发明实施例一种基于深度学习的扩散张量重建系统架构图；

图5为本发明实施例一种电子设备实施例示意图。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参见图1，一种基于深度学习的扩散张量重建方法，可大大减少扩散张量及其定量图重建时所需的DW图像的数量，从而减少扫描获取DW图像的时间，加快获取高质量DTI的速度，具体包括如下步骤：

S1获取图像，图像数量为P层，每层包括1张T1图像、L张b0图像和N张扩散方向不同的DW图像，T1图像为T1加权图像，b0图像为非扩散加权图像，DW图像为扩散加权图像。该步骤中，L不小于2，N一般不小于30，N个扩散方向由设计好的扩散梯度方向表确定，P不小于3。

在实际应用中，所述S1中，获取的T1图像、b0图像和DW图像均来源于人类连接组计划(Human Connectome Project，HCP)数据集。从数据集中每个志愿者抽取18张b0图像(即L＝18)、90张b＝1000s/mm

S2对所有b0图像取平均，并将其连同所有DW图像，按照DTI拟合公式，采用最小二乘算法逐像素进行信号拟合，得到扩散张量标签。具体如下：

按照DTI拟合公式，采用最小二乘算法，使用每层所有的b0图像和DW图像，逐像素进行信号拟合，获得扩散张量标签。DTI拟合公式为：

其中S

因此拟合公式可以改写为：

其中α

D

其中A＝(α

最终通过最小二乘算法拟合出D

在实际应用中，S

S3沿层的方向抽取图像得到所有层循环DW图像，沿层的方向选取图像组成原始网络输入图像组。

其中，沿层的方向抽取图像得到所有层循环DW图像，具体为：沿层的方向从任一端开始，以三层为一循环，按扩散梯度方向表的前M个扩散方向顺序每层抽取M/3张DW图像，获得所有层循环DW图像，M/3远小于30且一般不大于6。实际应用中，可选取扩散梯度方向表的前9个扩散方向进行循环，按照顺序每层抽取3张DW图像。

沿层的方向选取图像组成原始网络输入图像组，具体为：

S3.1沿层的方向以抽取所有层循环DW图像开始的同一端的第二层作为重建层，加上与其相邻的两层为一组，选取此三层的图像组成一个原始网络输入图像组；具体的，以重建层和其相邻两层为一组，选取各层1张T1图像、第1张b0图像、循环DW图像，组成一个原始网络输入图像组，如此，一个原始网络输入图像组包含三层共3张T1图像、3张b0图像和M张DW图像。实际应用中，获得的原始网络输入图像组尺寸为174×145，共15个通道。

S3.2将图像按照3张T1图像-3张b0图像-M张DW图像的顺序排列，相同类型图像按照采集时层的顺序排列。

S3.3不断向另一端移动重建层，并以新的重建层及其相邻两层为一组，组成新的原始网络输入图像组，直至重建层移动到另一端倒数第二层，获得P-2个所述原始网络输入图像组。

S4对每个原始网络输入图像组进行排序，获得对应的三层排序网络输入图像组，并从三层排序网络输入图像组中抽取重建层图像，获得对应的重建层排序网络输入图像组。具体包括如下：

S4.1以扩散梯度方向表的前M个扩散方向顺序作为DW图像的排列顺序，对每个原始网络输入图像组内的DW图像进行重新排序，从而形成新的三层排序；

S4.2以新的三层排序对原始网络输入图像组中的T1图像和b0图像进行排序，获得对应的三层排序网络输入图像组。实际应用中，获得的三层排序网络输入图像组尺寸可为174×145，共15个通道。

S4.3从三层排序网络输入图像组中选取重建层的T1图像、b0图像和DW图像组成重建层排序网络输入图像组。实际应用中，获得的重建层排序网络输入图像组尺寸可为174×145，共5个通道。

S5构建能够适应三层排序网络输入图像组和重建层排序网络输入图像组同时输入的深度神经网络用于扩散张量重建，使用每个三层排序网络输入图像组和对应的重建层排序网络输入图像组作为网络输入，以扩散张量标签作为网络标签对深度神经网络进行训练，得到对应的训练好的深度神经网络。

实际应用中，深度神经网络使用常见的深度学习框架PyTorch搭建。神经网络模型基于五层的U-Net神经网络模型改进。在U-Net一个编码器一个解码器的网络结构基础上，将编码器拆分成两个编码器，从而适应同时两个输入。网络的每一层中均包含有相同的卷积、池化和采样结构，相同分辨率层面采用跳跃连接结构沟通。重建结果采用L1范数进行约束，训练过程不分块，批次数为16，总共训练100轮，其中每轮会完整地对所有训练数据和验证数据进行训练，并且更新网络权重。

对深度神经网络进行训练时，共有19720组样本用于训练，6670组样本用于验证。

S6以每层1张T1图像、1张b0图像和所有层循环DW图像的采集方案对待成像对象进行图像采集，将所采集的图像组成若干个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组，将每个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组输入训练好的深度神经网络，重建出每个重建层的扩散张量。

实际应用中，以每层1张T1图像、1张b0图像和所有层循环DW图像的采集方案对待成像对象进行图像采集指的是HCP数据集内，排除已经用于训练和验证的志愿者后，在额外的21个志愿者数据上以生成训练样本的相同方法生成的3045个样本。

S7利用重建出的扩散张量进行特征值分解和公式计算，得到DTI定量图像，包括但不限于MD、FA等。

该步骤中，重建的扩散张量进行特征值分解指的是对每个像素点的扩散张量单独进行特征值分解得到该像素点的扩散张量的特征值，进行进一步的公式计算。

本实施例每层使用3张DW图像得到的扩散张量及其定量图，分别展示在图2：(a)扩散张量的对角元素之一D

为了评价本发明提出的方法，本发明提供了每层使用6张DW图像采用传统逐点最小二乘拟合方法得到的扩散张量及其定量图，分别展示在图3：(a)扩散张量的对角元素之一D

参见图4，本发明还提出一种基于深度学习的扩散张量重建系统，该系统采用上述的一种基于深度学习的扩散张量重建方法，包括：

图像获取单元10：获取图像，图像数量为P层，每层包括1张T1图像、L张b0图像和N张扩散方向不同的DW图像，T1图像为T1加权图像，b0图像为非扩散加权图像，DW图像为扩散加权图像。其中，L不小于2，N一般不小于30，N个扩散方向由设计好的扩散梯度方向表确定，P不小于3。

标签获取单元20：对所有b0图像取平均，并将其连同所有DW图像，按照DTI拟合公式，采用最小二乘算法逐像素进行信号拟合，得到扩散张量标签。具体为：按照DTI拟合公式，采用最小二乘算法，使用每层所有的b0图像和DW图像，逐像素进行信号拟合，获得扩散张量标签。DTI拟合公式为：

其中S

因此拟合公式可以改写为：

其中α

D

其中A＝(α

最终通过最小二乘算法拟合出D

图像生成单元30：沿层的方向抽取图像得到所有层循环DW图像，沿层的方向选取图像组成原始网络输入图像组。具体的，其包括：

图像选取子单元31：沿层的方向从任一端开始，以三层为一循环，按扩散梯度方向表的前M个扩散方向顺序每层抽取M/3张DW图像，获得所有层循环DW图像；沿层的方向以同一端的第二层作为重建层，加上与其相邻的两层为一组，选取此组各层1张T1图像、第1张b0图像、循环DW图像，组成一个原始网络输入图像组，如此，一个原始网络输入图像组包含三层共3张T1图像、3张b0图像和M张DW图像，不断向另一端移动重建层，并以新的重建层及其相邻两层为一组，组成新的原始网络输入图像组，直至重建层移动到另一端倒数第二层，获得P-2个所述原始网络输入图像组。

图像排序子单元32：将原始网络输入图像组的图像按照3张T1图像-3张b0图像-M张DW图像的顺序排列，相同类型图像按照采集时层的顺序排列。

图像处理单元40：对每个原始网络输入图像组进行排序，获得对应的三层排序网络输入图像组，并从三层排序网络输入图像组中抽取重建层图像，获得对应的重建层排序网络输入图像组。具体的，其还包括：

DW图像排序子单元41：以扩散梯度方向表的前M个扩散方向顺序作为DW图像的排列顺序，对每个原始网络输入图像组内的DW图像进行重新排序，从而形成新的三层排序；

T1图像与b0图像排序子单元42：以新的三层排序对原始网络输入图像组中的T1图像和b0图像进行排序，获得对应的三层排序网络输入图像组；

重建层选取子单元43：从三层排序网络输入图像组中选取重建层的T1图像、b0图像和DW图像组成重建层排序网络输入图像组。

网络构建和训练单元50：构建能够适应三层排序网络输入图像组和重建层排序网络输入图像组同时输入的深度神经网络用于扩散张量重建，使用每个三层排序网络输入图像组和对应的重建层排序网络输入图像组作为网络输入，以扩散张量标签作为网络标签对深度神经网络进行训练，得到对应的训练好的深度神经网络。

重建层扩散张量重建单元60：以每层1张T1图像、1张b0图像和所有层循环DW图像的采集方案对待成像对象进行图像采集，将所采集的图像组成若干个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组，将每个待重建的三层排序网络输入图像组和对应的待重建的重建层排序网络输入图像组输入训练好的深度神经网络，重建出每个重建层的扩散张量。

DTI定量图像生成单元70：利用重建出的扩散张量进行特征值分解和公式计算，得到DTI定量图像，包括但不限于MD、FA等。

本发明的目的是提供一种基于深度学习的快速高质量扩散张量及其定量图的重建方法及系统，可大大减少扩散张量及其定量图重建所需的DW图像的数量，从而减少扫描获取DW图像的时间，加快获取高质量DTI的速度。

参见图5，本发明实施例提供了一种电子设备500，包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现本发明实施例提供的一种基于深度学习的扩散张量重建方法。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。