一种基于MR深度学习自动分割分析脑白质高信号的方法

摘要

本发明公开一种基于MR深度学习自动分割分析脑白质高信号的方法，通过重叠‑平铺技术建立，构建数据扩张体系，网络架构优化，白质病灶自动分割，增强分割，掩模提取以及数据分析。基于卷积神经网络的方法使用T1和T2加权流体衰减反演恢复(T2‑FLAIR)的强度作为输入特征，通过优化空间信息提高了分割算法的性能，构建了自动化白质信号分析工具。本发明使用FLAIR MRI进行脑组织分割；脑组织分割和WMH分割可以从单个FLAIR MRI进行。还可以应用于T2、SWI和GRE MRI，而无需从配对的T1w MRI中获取脑组织标签。

说明书

技术领域

本发明涉及一种分析脑白质高信号的方法，具体涉及一种基于MR深度学习自动分割分析脑白质高信号的方法。

背景技术

据统计，我国疾病负担正在悄然发生转变，心脑血管类的慢性病逐渐成为我国人口过早死亡的主要原因，脑血管疾病致病因素较多，脑血管病的分类及分型直接影响着临床的诊断、治疗及预防，临床上诊断脑血管病主要采取影像学手段，MR相比于CT，最大的一个优势除了没有电离辐射，其中第二点就是软组织对比度高。特别是在神经系统成像头颅扫描中，MR图像的灰白质对比度要明显优于CT图像。而在磁共振颅脑成像中，除了常规的一些解剖序列，有时候为了突出某种脑组织，甚至有专门的脑灰质成像和脑白质成像。当某些患者出现头痛等症状就诊后，头部磁共振往往会显示“脑白质高信号WMH”，“脑白质高信号”是影像学的一种专业描述，并非疾病名称。

研究显示，60岁以上人群中，脑白质高信号出现率超过90％。随着年龄增长，人体脑白质多呈现高信号，主要原因是大脑的血流量分布不均，大部分供应给了大脑皮质，仅有六分之一供应到脑白质，易发生高信号的脑白质主要位于大脑深部，该区域最易受到缺血影响。既往，脑白质高信号普遍被当做人体正常衰老的表现，如今临床医生更倾向于把它作为脑小血管病变的症状之一。研究显示，随着年龄增长，脑小血管病风险不断上升，首先就是出现脑白质高信号。临床证实，脑白质高信号与血压升高相关。同时，脑白质高信号可增加认知障碍和抑郁的风险，并与步态障碍、平衡障碍、尿失禁相关。此外，脑白质高信号也可能增加脑卒中风险。因此，客观分析脑白质高信号，对临床的综合评估尤为重要。

在目前的临床工作流程中，尽管人工识别白质病变并不具有挑战性，但每天大量图像所带来的工作量很可能导致放射科医生的效率下降。此外，白质病变的描述通常依赖于有经验的放射科医生的手工标记，这项操作十分耗时，会受到主观判断、不同临床经验的影响。因此，基于深度学习的方法已经成为主流趋势，本技术研发了一个可以基于解剖学知识的MR深度学习通道(

发明内容

针对上述现有技术存在的问题，本发明提供一种基于MR深度学习自动分割分析脑白质高信号的方法，通过优化空间信息提高了分割算法的性能，构建了自动化白质信号分析工具。

为了实现上述目的，本发明采用的技术方案是：一种基于MR深度学习自动分割分析脑白质高信号的方法，包括以下步骤：

步骤S1:重叠-平铺技术建立,

采用全卷积网络，用上采样操作代替网络后部的池化操作，通过在网络收缩过程(路径)中产生的高分辨率特征，被连接到了修改后网络的上采样的结果上；上采样部分中，设置大量特征通道，使得网络可以将上下文信息传播到更高分辨率的层；结果，扩展路径或多或少地相对于收缩路径对称，并且产生u形结构，网络不存在任何连接层，且使用每个卷积的有效部分；

步骤S2:构建数据扩张体系，

网络架构由收缩路径和扩展路径组成；收缩路径包括多个3*3卷积层、ReLU激活函数和一个2*2的步长为2的最大池化层，每一次下采样后把特征通道的数量加倍处理；

扩展路径中，首先使用反卷积，每次使用反卷积特征通道数量减半，特征图大小加倍；反卷积过后，将反卷积的结果与收缩路径中对应步骤的特征图拼接起来，跟随3*3卷积层、ReLU激活函数，在最后一层，使用1x1卷积将每个64分量特征向量映射到所需的类数；

步骤S3:网络架构优化，

首先，采用随机梯度下降法训练，基于caffe框架，设momentum为0.99，损失函数就是像素化软最大值+交叉熵软最大值函数，(其中公式1中，a

为了使某些像素点更加重要，在公式中引入了w(x)；对每一张标注图像预计算了一个权重图，来补偿训练集中每类像素的不同频率，使用形态学操作计算分割边界，权重图计算见公式2：

其中，w c是用于平衡类别频率的权重图，d1代表到最近组织的边界的距离，d2代表到第二近的组织的边界的距离；

其次，使用随机位移矢量在粗糙的3*3网格上产生平滑形变；位移是从10像素标准偏差的高斯分布中采样的，然后使用双三次插值计算每个像素的位移，在收缩路径的末尾进一步增加数据；

最后，对获取数据的进行增强，

首先创建随机位移场来使图像变形，即：

Δx(x，y)＝rand(-1，+1)

Δy(x，y)＝rand(-1，+1)  (3)

其中rand(-1,+1)是生成一个在(-1,1)之间均匀分布的随机数，然后用标准差为σ的高斯函数对Δx和Δy进行卷积，高斯函数如下：

如果σ很大，则结果值很小，如果σ很小，则归一化后该字段为一个完全随机的字段；对于中间σ值，位移场看起来像弹性变形，其中σ是弹性系数，然后将位移场乘以控制变形强度的比例因子α，将经过高斯卷积的位移场乘以控制变形强度的比例因子α，得到一个弹性形变的位移场，最后将这个位移场作用在仿射变换之后的图像上，得到最终弹性形变增强的数据；

步骤S4:白质病灶自动分割,

基于AU-Net框架，采用先进标准化工具中构建的对称微分同胚图像配准算法，通过T1图像之间的配准，将目标患者的脑图谱转换到原生空间；由于在T1和T2-FLAIR之间进行了数据内部的复配，所有ROI均会立即在T2-FLAIR上被定义；将双侧白质区域合并为一个ROI，得到对称的白质区域；计算白质高信号发生的修正先验概率，并通过公式5将其分配到18个脑区(前深白质、后深白质、下深白质、胼胝体体、胼胝体脾、胼胝体膝、内包膜前肢、内包膜后肢、额叶皮层下白质、颞叶皮层下白质、顶叶皮层下白质、枕叶皮层下白质、边缘白质，小脑白质，脑室，核，皮层和脑干)。

其中，V

S5：增强分割，

基于深度学习的初始分割，

采用FLAIR MRI和脑组织的联合注册伪标签训练卷积神经网络(CNN)；对于初始分割模型，使用U-Net和进化归一化激活层，在预处理步骤中，进行基于直方图的强度正则化、百分位截断为(0.05，99.95)的最小最大值归一化和z分数归一化，并设置输入形状；

降噪、校正形态，

对FLAIR MRI脑组织分割进行训练后，由于存在一定的噪声，将使得训练标签数据不完整；因此，采用一种基于大脑结构特征的简单形态学校正方法来增强脑组织标签，此外，通过在三维空间中连接最近的26个体素，使用填充孔方法实现了基于连接分量的降噪；

预处理，

在1mm

S6：掩模提取，

图像掩模在计算机图学中，当要给定图像放在背景上时，可以通过二进制掩模指定区域；这样对每个预期图像，实际上都有两个位图；实际图像中未使用区域指定为像素值设置为零，另外一个掩模中的对应图像区域被指定了像素值为一；

S7:数据分析，

通过在前面建立的程序基础上获得了标签融合产生的ROI解剖空间图，本技术利用了这个新的模态，加上之前的数据集中已有的模态输入到神经网络中，来达到增强分割精度的提升，并测试证实了模态的可行性；解剖空间图通过热编码形成0-1之间的可用于输入到神经网络的状态，并且跟T2-FLAIR的空间性保持一致性；基于以上流程，将预处理完成的数据进行网格化训练以达到最优效果。

进一步的，所述步骤S2具体为：

S21:面向硬件算法，

该硬件算法，其操纵k×k滤波器系数以形成更小的子块，重新安排输出值在ofmaps中的位置，将非常规的重新映射策略直接应用于传入的ifmaps值；

为实现高速性能，所提出的方法能够为每个map计算并行提供SD×SD结果；具体为用于处理KC×KC激活窗口，在k×k窗口内被重新映射；然后，在重新映射的窗口和k-k滤波器之间执行逐元素乘法，随后进行累加以产生SD×SD并行结果；

S22:重构硬件加速器，

为实现高计算速度，所提出的硬件加速器利用了并行性，同时展示了每次处理TMifmaps和TN滤波器，TM和TN在运行时根据当前操作模式、内核大小k和上采样因子SD而产生的变化,对于要完成的通用层的操作，需要

硬件加速器的顶层架构由计算模块(CM)和有限状态机(FSM)组成。前者接收TMifmap和TN滤波器作为输入，每个滤波器由收集k×k个系数的TM内核组成，并每次提供Tn个ofmaps；相反，FSM接收输入配置，该配置设置所需的工作模式、内核大小k、fmap大小和窗口大小KC，并向CM提供适当的控制/配置信号。通过这些信号，FSM配置CM并监控整个数据流。

进一步的，所述步骤S4中，通过评估了

进一步的，所述步骤S5中，预处理具体为：

S51:增强训练，

通过比较三种脑组织分割和WMH分割架构:U-Net，U-Net++和HighRes3Dnet；对于每种体系结构，使用了指定的内核大小；将输入和输出形状设置为196×196，并使用EvoNorm激活层代替批处理规范化和激活函数，脑组织分割和WMH分割训练过程唯一的区别是数据增强方面；对于脑组织分割，使用以下TorchIO增强方法；

A.随机仿射，其比例参数的范围为0.85×1.15。

B.随机运动，具有高达10度值和高达10mm的平移值。

C.随机偏移，其幅度系数参数在0.5到0.5之间。

D.随机噪声，其高斯分布的平均值在0到0.025的范围内。

E.随机翻转，具有高达2的空间转换值，它反转了Z轴。

对于WMH分割，没有在方法中设置包含数据增强，因此可以专注于WMH区域的实际强度范围；

步骤S52:参数设置,

在工作站上使用PyTorch深度学习作为主框架，该工作站上有Intel i9-9900×3.5GHz CPU、128G RAM和两个NVIDIA RTX 2080 11GB CPUs；此外，为进行预处理和增强，使用了TorchIO；为增强脑组织分割，使用的基于CNN的分割模型补丁训练，从随机选择的位置截取的每个FLAIR MRI均包含了128个样本；裁剪的MRI贴片大小为128×128；使用交叉熵损失函数和AdamW优化器，学习率＝0.001，权值衰减＝0.01。

本发明的有益效果是：

(1)通过在深度学习的决策过程中融入基于解剖学的知识以及在深度学习的分割后立即识别检测到的单个病灶解剖位置的观点，基于卷积神经网络(CNN)的方法使用T1和T2加权流体衰减反演恢复(T2-FLAIR)的强度作为输入特征，通过优化空间信息提高了分割算法的性能，构建了自动化白质信号分析工具；

(2)可以应用于来自不同供应商的多个扫描仪的图像，具有广泛的面内分辨率、切片厚度和其他成像参数；

(3)训练过的U-Net工具的适用性并不局限于某一特定疾病类型的WM病变，经研究证实了来自MS、NMOSD和CSVD的自动和手动结果之间的重叠率没有显著差异，即本发明实现了在开始WM病变分割之前不需要有特定的诊断信息；

(4)本发明不依赖于头骨剥离图像，使预处理更容易；

(5)本发明使用FLAIR MRI进行脑组织分割。脑组织分割和WMH分割可以从单个FLAIR MRI进行；本发明不仅限于FLAIR MRI，还可以应用于T2、SWI和GRE MRI，而无需从配对的T1w MRI中获取脑组织标签；

(6)在本技术中，提出AU-Net框架，实现了同时分割和量化WMH负担，提高了WMH的分割性能，特别是在中小型WMH负荷的队列中，同样能够取得较好的性能；在完成分割后，基于解剖学的WMH负荷描述可以立即实现量化分析。

附图说明

图1为本发明的整体工作结构示意图；

图2为本发明实施例1中的无缝分割图像示意图；

图3为本发明实施例1中的网络架构示意图；

图4为本发明实施例1中AU-Net框架示意图；

图5为本发明实施例1中用于训练的详细参数示意图；

图6为本发明实施例1中预处理增强模型示意图；

图7为本发明实施例1中降噪处理效果示意图；

图8为本发明实施例1中对T1影像进行粗分割得到掩模模型示意图；

图9为本发明实施例1中去头骨处理前后对比示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图及实施例，对本发明进行进一步详细说明。但是应该理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限制本发明的范围。

除非另有定义，本文所使用的所有的技术术语和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同，本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

本发明中，我们提出了在深度学习的决策过程中融入基于解剖学的知识以及在深度学习的分割后立即识别检测到的单个病灶解剖位置的观点，基于卷积神经网络(CNN)的方法使用T1和T2加权流体衰减反演恢复(T2-FLAIR)的强度作为输入特征，通过优化空间信息提高了分割算法的性能，构建了自动化白质信号分析工具，主要分为以下几个步骤，总体流程图如图1所示：

一：重叠-平铺技术建立

全卷积网络的核心思想是修改一个普通的逐层收缩的网络，用上采样操作代替网络后部的池化操作。这些层增加了输出的分辨率，为了精准定位，在网络收缩过程(路径)中产生的高分辨率特征，被连接到了修改后网络的上采样的结果上。在此之后，连续的卷积层基于这些综合信息得到更精确的结果。

本发明架构集中在上采样部分中，我们拥有大量特征通道，这些特征通道使网络可以将上下文信息传播到更高分辨率的层。结果，扩展路径或多或少地相对于收缩路径对称，并且产生u形结构。网络不存在任何全连接层，并且只使用每个卷积的有效部分，例如，分割图只包含这样一些像素点，这些像素点的完整上下文都出现在输入图像中，该策略允许通过重叠-平铺策略对任意大图像进行无缝分割，如图2所示。

二：构建数据扩张体系

本发明网络架构由收缩路径和扩展路径组成，如图3所示，收缩路径遵循卷积网络的典型架构。它包括了重复单元：2个3*3卷积层、ReLU激活函数和一个2*2的步长为2的最大池化层。每一次下采样后我们都把特征通道的数量加倍。扩展路径中的每一步都首先使用反卷积，每次使用反卷积都将特征通道数量减半，特征图大小加倍。反卷积过后，将反卷积的结果与收缩路径中对应步骤的特征图拼接起来，跟随2个3*3卷积层、ReLU激活函数。由于每次卷积中都会丢失边界像素，因此有必要进行裁剪。在最后一层，使用1x1卷积将每个64分量特征向量映射到所需的类数。该网络总共有23个卷积层(18个顺序卷积+4个收缩到扩展的卷积+1个1*1的卷积)。

本实施例优选的，本发明还提出了一种新的面向硬件的算法，可以实现将去卷积转换为卷积，避免复杂的滤波系数重映射，同时也适用于卷积操作。本发明的设计目的是在运行时使自己适应两种操作模式和不同的内核大小，以支持在卷积和去卷积层中使用的所有操作。

新算法采用了一种与以前的工作完全不同的计算策略，其操纵k×k滤波器系数以形成更小的子块，重新安排输出值在ofmaps中的位置，它将非常规的重新映射策略直接应用于传入的ifmaps值。从硬件的角度来看，这意味着：(1)该过程在线发生并且不需要预处理；(2)所提出的算法的结果一旦产生就可以输出，因此避免了额外的时间和缓冲/计算资源。另一个优点是，输入的ifmaps实际上没有被上采样，而是被处理，如同用零去卷积方法上采样。

为了实现高速性能，我们所提出的方法能够为每个map计算并行提供SD×SD结果。用于处理KC×KC激活窗口，在k×k窗口内被重新映射；然后，在重新映射的窗口和k-k滤波器之间执行逐元素乘法，随后进行累加以产生SD×SD并行结果。

上面提出的新方法在可重新配置的硬件结构中使用，该硬件结构专门设计为在运行时执行卷积层和去卷积层，使其自身适应不同的工作模式。

为了实现高计算速度，所提出的硬件加速器利用了一定程度的并行性，同时展示了每次处理TM ifmaps和TN滤波器，TM和TN在运行时根据当前操作模式、内核大小k和上采样因子SD而产生的变化。对于要完成的通用层的操作，不管它是卷积还是去卷积层，都需要

三：网络架构优化

1.架构

本发明采用随机梯度下降法训练，基于caffe框架，设momentum为0.99，损失函数就是像素化软最大值+交叉熵软最大值函数，公式1，a

为了使某些像素点更加重要，我们在公式中引入了w(x)。我们对每一张标注图像预计算了一个权重图，来补偿训练集中每类像素的不同频率，使用形态学操作计算分割边界。权重图计算见公式2：

其中，w

2.数据扩充：

本发明使用随机位移矢量在粗糙的3*3网格上产生平滑形变。位移是从10像素标准偏差的高斯分布中采样的。然后使用双三次插值计算每个像素的位移。在收缩路径的末尾进一步增加数据。

3.数据增强

首先创建随机位移场来使图像变形，即：

Δx(x，y)＝rand(-1，+1)

Δy(x，y)＝rand(-1，+1)  (3)

其中rand(-1,+1)是生成一个在(-1,1)之间均匀分布的随机数，然后用标准差为σ的高斯函数对Δx和Δy进行卷积。高斯函数如下：

如果σ很大，则结果值很小，如果σ很小，则归一化后该字段看起来像一个完全随机的字段。对于中间σ值，位移场看起来像弹性变形，其中σ是弹性系数。然后将位移场乘以控制变形强度的比例因子α，将经过高斯卷积的位移场乘以控制变形强度的比例因子α，得到一个弹性形变的位移场，最后将这个位移场作用在仿射变换之后的图像上，得到最终弹性形变增强的数据。

四：白质病灶自动分割

在这个公式中，V

用于分割的基本U-Net架构以及用于训练的详细参数显示在图5中。我们评估了

五：增强分割

1.基于深度学习的初始分割

本技术采用FLAIR MRI和脑组织的联合注册伪标签训练卷积神经网络(CNN)，如图6所示。对于初始分割模型，我们使用U-Net和进化归一化激活层。在预处理步骤中，进行基于直方图的强度正则化、百分位截断为(0.05，99.95)的最小最大值归一化和z分数归一化，并设置输入形状为196。我们使用了基于医学MR的增强技术来提高基于CNN的分割架构的鲁棒性。

2.降噪、校正形态

对FLAIR MRI脑组织分割进行训练后，由于存在一定的噪声，将使得训练标签数据不完整。因此，本发明采用了一种基于大脑结构特征的简单形态学校正方法来增强脑组织标签。此外，我们通过在三维空间中连接最近的26个体素，使用填充孔方法实现了基于连接分量的降噪，如图7所示。

3.预处理

我们在等距空间中进行重采样(因为我们的训练过程需要2D MRI切片，因此z方向被排除在这个过程中)。对于WMH分割，我们在WMH数据集的FLAIR MRI上使用带有HD-BET的头骨剥离方法，将我们训练对应的区域聚焦在白质区域上。此外，我们使用基于直方图的强度正则化、最小-最大归一化(百分位截断为(0.05，99.95))和使用z-归一化来处理MRI强度方差的差异。

我们比较了三种著名的脑组织分割和WMH分割架构:U-Net，U-Net++和HighRes3DNet。对于每种体系结构，我们都使用了指定的内核大小。我们将输入和输出形状设置为196×196，并使用EvoNorm激活层代替批处理规范化和激活函数。脑组织分割和WMH分割训练过程唯一的区别是数据增强方面。对于脑组织分割，我们使用以下TorchIO增强方法。

A随机仿射，其比例参数的范围为0.85×1.15。

B随机运动，具有高达10度值和高达10mm的平移值。

C随机偏移，其幅度系数参数在0.5到0.5之间。

D随机噪声，其高斯分布的平均值在0到0.025的范围内。

F随机翻转，具有高达2的空间转换值，它反转了Z轴。

对于WMH分割，我们没有在方法中设置包含数据增强，因此我们可以专注于WMH区域的实际强度范围。

3.2参数设置

我们在工作站上使用PyTorch深度学习作为我们的主框架，该工作站上有Inteli9-9900×3.5GHz CPU、128G RAM和两个NVIDIA RTX 2080 11GB CPUs。此外，为了进行预处理和增强，我们使用了TorchIO。为了增强脑组织分割，我们使用的基于CNN的分割模型补丁训练，从随机选择的位置截取的每个FLAIR MRI均包含了128个样本。裁剪的MRI贴片大小为128×128。此外，我们使用交叉熵损失函数和AdamW优化器，学习率＝0.001，权值衰减＝0.01。

在脑组织分割方面，我们将68名受试者按0.8的分割率进行分割；54名受试者用于训练，14名受试者用于验证。在模型的训练完成后，我们使用基于网格的采样和聚合对分割结果进行推断。

对于WMH分割，我们分配了308个受试者，使用277个受试者进行训练，31名受试者进行验证。未使用医学MRI增强技术处理WMH分割，以避免混淆已经敏感对象的任何信息。其余实验设置与脑组织分割实验相同。对于损失函数，我们使用DiceBCE损失函数，它是骰子损失函数和二元交叉熵损失函数的组合，用于处理不同大小的WMH区域。此外，我们使用了AdamW优化器，学习率＝0.001，权值衰减＝0.01。

六：掩模提取

图像掩模在计算机图学中，当要给定图像放在背景上时，可以通过二进制掩模指定区域。这样对每个预期图像，实际上都有两个位图。实际图像中未使用区域指定为像素值设置为零，另外一个掩模中的对应图像区域被指定了像素值为一。

其中本发明实施例中将会提取颅内掩模和白质掩模如图8所示。其中的脑内掩模内值设置为一和原图像进行矩阵相乘去除在像素值上呈现高亮的颅骨，我们只保存颅内的组织，并生成脑内组织二值掩模。

头骨在MRI成像中会显示高强度信号，在利用未去头骨的图像进行网络分割时很容易把高亮信号的头骨错分成白质高信号。我们利用分割的脑白质掩模能够在分割完成后的后处理过程帮助去除分割假阳性头骨，进一步提高分割的准确性，其中使用脑组织掩模处理后的图像如图9所示。

七：数据分析

通过在前面建立的程序基础上获得了标签融合产生的ROI解剖空间图，本技术利用了这个新的模态，加上之前的数据集中已有的模态输入到神经网络中，来达到增强分割精度的提升，并测试证实了模态的可行性。解剖空间图通过热编码形成0-1之间的可用于输入到神经网络的状态，并且跟T2-FLAIR的空间性保持一致性。基于以上流程，将预处理完成的数据进行网格化训练以达到最优效果，具体可参照公式(1)与公式(2)。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。