一种基于MIP序列的肠系膜上动脉血管重建方法

摘要

本发明涉及医学图像分割技术领域，具体涉及一种基于MIP序列的肠系膜上动脉血管重建方法，包括：S1：获取肠系膜上动脉血管MIP薄切序列数据集，并对数据做增强处理；S2：建立基于上下文引导的图神经网络与卷积神经网络的血管预重建网络，结合使用双注意力结构与条件随机场获得血管预重建结果；S3：建立基于Iter‑Unet的后处理网络，对预重建得到的结果做进一步细化处理，加强细小血管的边缘结构的同时连接断裂血管。本发明引入序列优化对单张图像的血管分割，利用空间冗余信息推理出由于CT扫描造成的血管的缺失部分，提高血管的连通性与拓扑结构，减轻噪音、伪影、重叠组织对分割的扰动，实现末端细小血管的精准分割，提高了血管分割重建的深度和精度。

说明书

技术领域

本发明涉及医学图像分割技术领域，具体涉及一种基于MIP序列的肠系膜上动脉血管重建方法。

背景技术

肠系膜上动脉血管疾病主要包括急性肠系膜上动脉闭塞，肠系膜上动脉血栓以及肠系膜上动脉肿瘤与创伤，其中急性肠系膜上动脉闭塞与肠系膜上动脉血栓病情发展迅速，死亡率高达60％-80％，这类疾病在临床表现与其他急腹症高度相似，因而常常误诊，错失治疗良机，导致患者死亡。

血管的形态特征中蕴含大量辅助诊断的关键信息，如长度、直径、血管狭窄程度角度、血管疏密程度等，从不同深度的CT图像中获取血管的微观结构，可对辅助诊断、术中手术方案的选择以及术后观察做出巨大贡献。基于计算机辅助的诊断技术可在短时间内获得有用信息，辅助医生快速准确的诊断，大大提高诊断效率，降低医者工作负担。

传统的用于血管分割的方法主要基于统计形状模型、图割法、区域增长法和水平集法。这些方法主要是基于灰度、纹理、边缘、形状等信息。由于血管CT图像背景复杂、对比度低、边界弱、噪声大等特点，目前这些方法仍难以实现肠系膜上动脉血管的高精度自动分割。

在过去的7年中，基于深度学习的分割方法发展迅速，随着深度学习的发展，大多数先进的主流算法都是基于卷积神经网络。神经网络使图像处理能够实现端到端的特征向量转换为分割图像，自动学习特征，并取得显著的性能。与传统方法相比，深度学习具有更好的推理速度和泛化能力。在分割领域，广泛使用的神经网络有卷积神经网络(CNN)、全卷积网络(FCN)、递归神经网络(RNN)、Resnet、U-net等，其中U-net在医学图像领域中被广泛使用。

目前很多基于深度学习的分割都采用U-net作为主干网络，然而将U-net直接用于肠系膜上动脉血管分割时，发现其对细小特征提取能力较差，在细血管的分割方面表现不足，造成这种局面的主要原因是原始U-net中使用固定大小的卷积核对特征进行提取，网络的感受野较小，固定的感受野在保证大血管分割效果的同时不能维持小血管的分割性能，对多尺度的特征不敏感。针对这种情况Feng等人提出了一种尺度感知的金字塔融合块，该块将三种扩张卷积提取的特征以不同的扩张速率进行融合，获取不同尺度的信息。虽然这些策略与原始固定的感受野相比可能是有帮助的，但非适应性的方法无法彻底处理大范围变化的血管。自注意力机制最在2017年由谷歌团队提出，最初被用于自然语言处理。自我注意机制能很好地融合上下文信息，后续用于图像分割，有助于提高图像分割的准确性。自我注意机制的目的是从输入中提取更多相关信息，并建立全局体素之间的长距离依赖模型，用于捕获体素之间的相互依赖关系。然而，并不是所有体素都能对语义表示做出贡献，有些甚至是有害的。

目前医院主要通过CT扫描获得同一时刻不同深度的SMA血管图像，利用最大密度投影技术(MIP)将一定厚度(通常为15mm)中最大CT值的体素投影到背景平面上，在最终得到的一张二维图中显示固定层厚中所有强化密度高的血管，因此任何一张MIP图像都无法体现血管冠状面的最大投影。据我们所知，目前还未有人针对SMA血管的重建做深入研究，同时针对MIP序列的研究也较为罕见。MIP图过滤了原始CT序列中大部分软组织以及腹腔干扰，以层距1mm，层厚15mm为例，一张MIP图像包含的信息量为原始序列15倍，直接对MIP图像进行处理大大提高了重建效率，然而MIP图的使用同时带来的大量特征表达相似的动脉干扰，SMA血管的重建挑战表现在：(1)SMA血管尺度变化较大(2)低对比度以及噪声伪影的广泛分布(3)特征表达相似的静脉干扰(4)MIP成像原理使得投影面中血管被大面积的腹主动脉覆盖，导致大部分血管缺失，其中(1)(2)是分割存在的共性问题。(3)是本项工作要解决的重难点问题，同一类别与不同类别的血管都具备相似的特征表达为重建工作带来困难，问题(4)是本发明重建任务中独有的问题，大面积的血管遮挡对模型分割的准确性提出更高要求，同时遮挡造成的信息缺失也会使得连续的MIP的投影面仍然无法反映完整的血管结构，导致最终叠加的2D分割结果中的断裂，这种断裂通常是微小的，一种可行的解决方案是根据血管的走向趋势推导缺失的部分，虽然近年来各种血管分割算法层出不穷，但很少有人致力于解决由原始信息不足引起的血管断裂问题。

发明内容

针对以上问题，本发明提供了一种基于MIP序列的肠系膜上动脉血管重建方法，解决了在CT图像的分割问题中，由于成像技术造成的血管的断裂，缓解了原始图像中由于大面积的组织遮挡造成的分割断裂，提高血管分割深度，增强网络对低对比度、边界模糊的边缘末梢血管的分割能力，降低了原图质量以及背景噪音干扰对分割的干扰，提高了分割的深度、准确率，保证了血管的连通性。

为了实现上述目的，本发明采用的技术方案如下：

一种基于MIP序列的肠系膜上动脉血管重建方法，对腹部肠系膜上动脉的CT序列图像进行分割重建处理，包括以下步骤：

S1：获取肠系膜上动脉血管MIP薄切序列数据集，并对数据做增强处理；

S2：建立基于上下文引导的图神经网络与卷积神经网络的血管预重建网络，结合使用双注意力结构与条件随机场获得血管预重建结果；

S3：建立基于Iter-Unet的后处理网络，对预重建得到的结果做进一步细化处理，加强细小血管的边缘结构的同时连接断裂血管。

优选地，在步骤S2中：

血管预重建网络包括空间上下文引导的血管重建结构、条件随机场特征推理模块、尺度感知注意力模块，以及通道特征融合模块；

所述下文引导的血管重建结构在图像的下采样和上采样过程中分别使用三维数据与二维数据，并将空间特征聚合成2D特征，利用前后序列的空间冗余特征丰富单张图像特征量，推断原始图像中由于CT扫描造成的血管局部缺失部分；

所述条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络GCN与卷积神经网络CNN提取血管特征，利用条件随机场建立血管体素邻域间的关系，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个体素进行精准分类，将条件随机场的平均场操作转化为卷积操作，实现端对端的训练；

所述尺度感知注意力模块，计算可变感受野中体素之间的相似度，以空间自适应方式学习相邻块的偏移量和权重，聚焦不同大小的血管，尤其增强对细小血管的特征捕捉能力；

所述通道特征融合模块，聚合来自编码层的低级信息以及解码层中的高级特征，给不同通道分配权重，抑制背景中噪音、重叠组织以及伪影对分割的干扰。

优选地，对于CT图像中肠系膜上动脉血管的分割，为了充分利用空间冗余信息推断当前切片中由于CT成像技术以及大面积组织遮挡造成的血管不连续，在预重建网络中引入上下文引导的血管分割结构，用于学习序列图像中前后切片间的相关特征，所述上下文引导的血管分割结构继承U-net的解编码结构，包括编码层、解码层以及中间用于特征拼接的跳跃连接层；

所述编码层中采用3D残差块对3D体积数据进行特征提取，编码层一共分为7层，前5层中，每层都由一个3D卷积和一个3D残差块构成，为防止网络过拟合，在第六层的3D卷积之前加入了池化层，第7层中则只包含池化层；

所述解码层中采用使用2D残差块进行特征提取，除第7层中只包含上采样操作，其余6层都由道特征融合模块、2D残差块以及上采样三个步骤构成；

所述跳跃连接层接受来自编码层的3D低级特征，将其聚合为2D特征并传入到解码层中，用于后续的特征拼接，共7层。

优选地，为了避免最大化概率来分配分割标签时，由于相邻体素共享特征表达相似而导致不正确的边界分割，在预重建网络中引入条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络(GCN)与卷积神经网络(CNN)提取血管特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个体素进行精准分类。

所述条件随机场特征推理模块在使用图卷积神经网络提取特征时运用三线性插值采样器，使用随机梯度下降的方法为每个原始特征学习移动距离，从而对给定的V个节点的图中，对特征节点X

优选地，考虑不同特征提取器中上下文信息对最终分割结果的贡献程度，采用注意门控制来自不同特征提取器中的信息流，注意门通过最小化总能量成本E()来调节从主干神经网络的编码特征到潜在表征的信息流，条件随机场特征推理模块属于概率图分割模型，图像分布符合吉布斯分布可用P表示，将用图卷积提取的特征和使用条件随机场推理的图卷积中的隐藏特征以及卷积提取的特征和使用条件随机场推理的卷积中隐藏特征之间的关系看作一元势，将使用条件随机场融合的最终特征与注意门之间关系看作二元势，使用高斯函数将推测所得的隐藏特征H表征到观测特征X上，预测图像的分布可用分布Q表示，利用KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，引入最小化自由能函数来优化KL散度的求解，求解公式如下所示：

式中D

优选地，所述条件随机场特征推理模块使用卷积操作代替条件随机场中平均场的更新，定义使用图卷积网络提取的特征X

(1)计算注意门权重矩阵的更新矩阵：

(2)使用sigmoid函数σ对更新矩阵做归一化处理：

(3)H

(4)

(5)通过使用剩余连接添加一元势来更新H

优选地，为了提高网络对多尺度血管的敏感度，增强网络对小血管的分割能力，在预重建网络中引入尺度感知注意力模块，采用1×1×1的3D卷积将二维图像的自注意力机制引入到三维空间，结合可变形卷积(deformable convolution,DC conv)，自适应的调整感受野使感受野在不同尺度的血管区域逐渐缩小、扩展，具体操作步骤为：

给定某个规则的固定大小的采样网块K×K×K，设置额外的卷积层中的卷积核与采样网块大小与扩张相同，输入特征图与额外的卷积层交互为规则采样块中每个体素生成一个偏移量ΔP

将输入特征

优选地，为了降低背景噪音、伪影对分割结果的干扰，在预重建网络中引入通道特征融合模块，对低级特征和高级特征进行融合与特征选择，将来自跳跃连接层中的底层特征图与解码层中上采样的高级特征在通道维度进行拼接，基于挤压和激发(SE)操作来指导特征层之间的融合。将低阶特征

式中F

优选地，为了增强血管缺失部分推理所得特征，同时增强末梢边缘小血管的拓扑结构，在得到主干网络分割的预分割结果后，引入后处理网络增强小血管的边缘特征,突出细化小血管的边界，利用Iter-Unet增强推理过程中的得到的微弱特征表达，加强血管之间的连接，增强血管的拓扑结构，取预重建网络中倒数第二层特征图作为Iter-Unet的输入，用于浅血管的结构加强，为了限制优化方向，引入了第一层跳跃层中的低级2D对Iter-Unet迭代结果进行限制，为防止过拟合，分担权重，迭代网络之间的连接采用了dense连接，具体来说每次传送到Iter-Unet中的特征包括此次迭代过程中、来自跳跃连接层一中的低级特征，以及前面每次迭代的输出结果，因此，每次Iter-Unet的输入都不相同。

优选地，所述Iter-Unet中，每次迭代过程中的损失函数都是独立的，且使用cldice作为损失函数，其具体表达式为：

式中ClDice(V

优选地，所述后处理网络中，引入了新的评价指标C用于描述血管的连通特征，具体表达式为：

本发明有益效果：

1、本发明采用了上下文引导的血管分割结构，将一对一的分割模式拓展到了多对一，利用空间中的冗余上下文信息完成对当前切片中缺失血管的推理，增强了血管的连续性与拓扑结构，非纯粹的3D Unet同时减少了计算的复杂度。

2、本发明通过尺度感知自注意力模块，自适应的调整感受野使其针对多尺度的血管特征都有很好地提取能力，增强了细小血管的分割能力，通过通道特征融合模块更好的融合高级语义与低级语义特征，减少了背景中噪音伪影的扰动，获得的粗分割结构通过后处理网络进一步优化，增强粗分割中推理的虚弱特征表达以及优化全局血管的连接，增强血管的连通性与拓扑结构。

附图说明

图1为本发明的流程图，其中Ks为卷积核大小，s为步长；

图2为本发明中上下文引导的血管分割结构中在编码层和解码层中分别用于特征提取使用的3D残差块以及2D残差块的示意图；

图3为本发明中后处理网络中迭代模块之间采用dense连接的示意图；

图4为本发明中尺度感知自注意力模块和道特征融合模块结构以及两者通过跳跃连接层相互连接的示意图；

图5为本发明针对由于CT扫描造成的血管断裂分割结果的可视化效果图；

图6为本发明针对由于大面积组织遮挡造成的血管不连续分割结果的可视化效果图；

图7为本发明与传统方法在小血管的分割效果、血管断裂处的推理性能、血管拓扑结构以及血管连续程度的对比可视化效果图。

具体实施方式

下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1-7，一种基于MIP序列的肠系膜上动脉血管重建方法，对腹部肠系膜上动脉的CT序列图像进行分割重建处理，包括以下步骤：

1、数据增强

为增强网络的泛化能力，采用图像增广技术对原始CT图像做增强处理，对连续输入的一组序列图像以及对应的标签以0.5的概率同时做翻转、旋转、裁剪和仿射变换，旋转角度以随机数rand()函数的形式控制在正负15度之间，避免图像间的差异过大扰动网络。为减少数据加强对实验的扰动，对输入的序列图像做5次单独的数据加强，相应得到5个模型，使用评价参数对网络进行评价时，取5次模型的平均值作为最终结果。

2、上下文引导的血管分割结构

本实施例中，在下采样过程中，即编码层中，将连续的4张切片组成的体积数据作为输入，图像经过若干层的卷积层对特征进行提取，以步长1×2×2大小为2×2×2的3D卷积核提取图像特征，后传入3D残差块中，残差块示意图如图2所示，无论是3D还是2D残差块均采用2层卷积结构，每次经历一次卷积，一层BN(batch normalization,正则化)，一层Relu，然后再经历一次卷积与一层BN，接着将输入残差块的特征与上一次经历BN层后的特征在体素尺度上进行Add融合后，再经relu层后输出到跳跃连接层中同时将特征图传递到下一层，此时通道数加倍，图像尺寸减半，连续经历5层的特征提取后图像从512×512缩小至32×32，通道数为256，为防止过拟合，将特征传到第六层时，先经过一次池化处理，以0.5的概率对特征进行丢弃后进入尺度感知注意力模块中，随后继续使用3D残差块进一步提取特征，到第7层时，再次进行池化处理并将最终得到3D特征传输到跳跃连接层中。

跳跃连接层中实现特征维度的转变，每层的跳跃连接层接收来自编码层中的特征后用步长为1×1×1大小为4×1×1的卷积核将3D特征转化为2D特征，随后通过reshape操作确保图像与编码层中的3D特征图的高度与宽度保持一致，特征最终传送到编码层中。

编码层接受来自跳跃连接层中的特征对特征图中的细节进行恢复，从第7层开始，来自跃连接层中的2D特征图首先经过一次上采样，图像的高度宽度均加倍，该特征与来自第6层跳跃连接层中的特征在通道维度拼接后相继传入通道特征融合模块与2D残差块中，输出的特征再次实行上采样操作，重复上述步骤，直至特征传送回第一层，此时得到的特征为粗分割特征，用做后处理网络的输入，最后使用1×1卷积输出最终结果，得到粗分割图。

网络训练过程中，损失函数为Dice，优化方式为随机梯度下降(SGD),batch_size设置为4。

3、条件随机场特征推理模块

为了避免以最大化概率来分配分割标签时，由于相邻体素共享特征表达相似而导致不正确的边界分割，在预重建网络中引入条件随机场特征推理模块，使用不同特征提取器——图卷积神经网络(图卷积神经网络)与卷积神经网络(CNN)提取血管特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场进行推理，对每个节点进行精准分类，具体位置放置在网络下采样过程中的第4层以及第5层中。

在使用图卷积神经网络提取特征的过程中，通过G＝{V,G,A}构建特征交互空间，其中V是交互图中的节点集合，G是节点之间边的集合，A是邻接矩阵，将原始输入的特征图投影到特征交互空间得到新的投影特征

卷积神经网络下采样提取的卷积特征X

式中φ(H,X)指代一元势，h

式中

式中E(H

条件随机场中，图像的分割问题被转化为能量函数最小化问题，采用平均场更新来近似代替复杂的后验概率分布，使用具有拟合参数的Q作为后验代理，形成隐藏变量的后验分布：

式中P(H

引入KL散度表示使用理论分布Q拟合真实分布P时产生的信息损耗，

式中D

利用相邻体素之间潜在特征表达的重新加权学习体素之间的共生关系，体素n的潜在卷积和图形特征之间的注意力平衡允许重新加权来自体素n的领域间的成对潜在信息。定义

式中

式中

权重矩阵

式中，

在实际的操作过程中，将条件随机场的平均场更新替换为卷积操作，以适应任何卷积网络的端对端的训练。定义使用图卷积网络提取的特征X

(1)计算注意门权重矩阵的更新矩阵：

(2)使用sigmoid函数σ对更新矩阵做归一化处理：

(3)H

(4)

(5)通过使用剩余连接添加一元势来更新H

4、尺度感知注意力模块

为使网络对多尺度的血管特征都有很好地提取能力，尤其针对小血管，自适应的调整感受野的形状与大小，并获取体素间的注意力权重矩阵。

可变形卷积在规则卷积的基础上对每个方格块的采样点增加了一个3D偏移，从而允许感受野自由扩张与变形，P

将输入特征

5、通道特征融合模块

将来自跳跃连接层中的低层特征图与解码层中上采样的高级特征在通道维度进行拼接，拼接后的特征进行挤压扩张处理(squeeze-and-excitation,SE)，将来自跳跃连接层中的底层特征图与解码层中上采样的高级特征在通道维度进行拼接，基于挤压和激发(SE)操作来指导特征层之间的融合。将低阶特征

(式中F

6、后处理网络

为了增强血管缺失部分推理所得特征，同时增强末梢边缘小血管的拓扑结构，在得到主干网络分割的预重建结果后，引入后处理网络增强小血管的边缘特征,突出细化小血管的边界，利用Iter-Unet增强推理过程中的得到的微弱特征表达，加强血管之间的连接，增强血管的拓扑结构，取预重建网络中倒数第二层特征图作为Iter-Unet的输入，用于浅血管的结构加强，为了限制优化方向，引入了第一层跳跃层中的低级2D对Iter-Unet迭代结果进行限制，为防止过拟合，分担权重，迭代网络之间的连接采用了dense连接，具体来说每次传送到Iter-Unet中的特征包括此次迭代过程中、来自跳跃连接层一中的低级特征，以及前面每次迭代的输出结果，因此，每次Iter-Unet的输入都不相同，输入的数据经过1×1卷积实行数据降维，每次迭代得到结果时都会计算一次loss，Iter-Unet的损失函数使用cldice作为损失函数，其具体表达式为：

式中ClDice(V

引入了新的评价指标C用于描述血管的连通特征，判断血管连通的方法为8邻近体素法，以3×3的滤波器遍历分割图像，定义滤波器正中心的体素为A，若A的周围8个体素的灰度值与A的灰度值相等，则称A、B连通。

具体表达式为：

图5和图6分别展示了本发明针对扫描断裂以及组织遮挡时分割图的可视化效果图，图7为本发明与其他先进方法分割的对比效果图，其中第三列图像为本发明的分割结果，可以看到，本发明能够推断出空间缺失的血管，降低背景扰动并在小血管的分割上取得巨大突破。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。