集成分割功能的肺CT图像配准方法及系统

摘要

本发明公开了一种集成分割功能的肺CT图像配准方法及系统，该方法包括以下步骤：S1、数据预处理；S2、建立肺分割‑配准集成网络，所述肺分割‑配准集成网络包括特征编码模块、肺分割模块和肺配准模块；S3、构建肺分割模块；S4、构建肺配准模块；S5、建立用于肺配准的自适应正则约束项：S6、训练肺分割‑配准集成网络；S7、将待配准的肺部4D‑CT图像输入到训练后的肺分割‑配准集成网络中，自动输出配准结果。本发明能够获得滑移和平滑运动模式兼容的理想的肺部位移场，本发明根据像素点位置特征不同，计算自适应正则项，并将两种正则项进行空间加权结合，保障了图像的局部差异和配准精度。

说明书

技术领域

本发明涉及医学图像处理技术领域，特别涉及一种集成分割功能的肺CT 图像配准方法及系统。

背景技术

肺部4D-CT图像的形变配准是监测肺部器官和肺部肿瘤的精确运动轨迹，可以应用于肺癌放疗中以最大化病灶靶区的剂量同时避免了对健康组织的损害的必要技术。然而，肺是高度复杂变形的器官，对于传统的配准方法，实现精确的肺部形变配准是一项具有挑战性的任务，主要体现在：(1)由于肺部的运动较大，传统的配准方法容易陷入局部最优解，从而导致误配准。 (2)在呼吸过程中，肺的CT强度值会发生变化。其局部强度不均匀性不符合传统配准方法中强度恒定的假设。因此，这些传统的基于灰度的配准方法 (如基于B样条的形变模型、Demons和光流法)，无法有效地配准肺部图像。此外，这些传统方法是迭代优化的，通常计算耗时非常长，特别是对于大型 4D-CT数据集。

现今，深度学习技术被有效应用于快速预测形变场，并且也有肺部4D-CT 的配准网络被提出提升了肺部4D-CT图像的配准速度。这些方法通常采用传统的正则化项(如L

一些研究者采用基于L

因此，现在有必要提供一种兼容滑移和平滑运动模式的理想的肺部图像配准方案。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种集成分割功能的肺CT图像配准方法及系统。

为解决上述技术问题，本发明采用的技术方案是：提供一种集成分割功能的肺CT图像配准方法，包括以下步骤：

S1、对采集的病人的肺部4D-CT数据进行预处理，形成若干组图像对，构建为训练数据集；

其中，每组图像对均包括一幅参考图像F和一幅浮动图像M，每一幅参考图像和浮动图像均进行肺实质手动分割形成有参考图像的标准的肺实质边界S

S2、建立肺分割-配准集成网络，所述肺分割-配准集成网络包括特征编码模块、肺分割模块和肺配准模块；

其中，参考图像F和浮动图像M输入所述特征编码模块后，输出参考图像F的特征映射C

S3、构建肺分割模块；

S4、构建肺配准模块；

S5、建立用于肺配准的自适应正则约束项

以所述肺分割模块输出的参考图像F的预测的肺实质边界

S6、训练所述肺分割-配准集成网络，其中采用联合优化损失函数L

其中，L

S7、将待配准的肺部4D-CT图像输入到经步骤S6训练后得到的肺分割- 配准集成网络中，自动输出配准结果。

优选的是，所述步骤S1中，每例肺部4D-CT数据均包括整个呼吸周期的至少两个阶段的3D-CT数据，所述步骤S1中进行预处理的方法具体包括：

S1-1、将整个呼吸周期的至少两个阶段中任意两个阶段的两幅图像形成一个图像对，选择图像对中的一幅作为参考图像，另一幅作为浮动图像；进行数据扩增，增大训练数据集量；

S1-2、采用水平集分割算法对所有的参考图像和浮动图像进行肺实质粗略分割；

S1-3、根据步骤S1-2的结果，由医生或专家对每一幅参考图像和浮动图像均进行手动分割，得到参考图像的标准的肺实质边界S

优选的是，所述特征编码模块为向下采样卷积，所述肺分割模块和肺配准模块均为上采样卷积，所述肺分割模块和肺配准模块共用所述特征编码模块；

所述特征编码模块由三个下采样池化操作模块形成四个分辨率级别，每个分辨率级别包含一个最大池化层和两个卷积层。

优选的是，所述肺分割模块的结构与所述特征编码模块形成对称，所述肺分割模块由三个上采样操作模块形成四个分辨率级别，每个分辨率级别包含一个反卷积层和两个卷积层，所述肺分割模块的最后一层是一个1通道的以Sigmoid为激活函数的卷积层，用于输出肺实质边界的预测概率图。

优选的是，参考图像F和浮动图像M输入所述特征编码模块后，得到参考图像F的特征映射C

其中，S

其中，α是平衡因子，γ为调节简单样本权重降低的速率。

优选的是，所述肺配准模块的结构与所述肺分割模块的结构的不同之处仅在于：所述肺配准模块中的最后一层是一个3通道的不包括激活函数的卷积层，用于输出待配准图像对原始分辨率下x、y、z方向的形变场φ；

C

优选的是，步骤S5中

其中，η为经验参数，用来调整L

其中，w(x)的计算步骤包括：

1)首先，对所述肺分割模块输出的参考图像F的分割后的图像进行高斯核卷积滤波，得到肺边界信息图像d(x)，图像d(x)包含了体素与肺边界的距离信息；

2)通过以下公式计算w(x)：

优选的是，其中，c

优选的是，其中，α＝0.25，γ＝2。

优选的是，其中，c

优选的是，其中，λ设置为1，β设置为0.01。

本发明还提供一种集成分割功能的肺CT图像配准系统，其采用如上所述的方法对肺CT图像进行配准。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明的有益效果是：

1、本发明能够用于具有滑移运动的肺部图像的配准，获得滑移和平滑运动模式兼容的理想的肺部位移场，本发明根据像素点位置特征不同，计算自适应正则项，并将两种正则项进行空间加权结合，保障了图像的局部差异和配准精度。

2、本发明基于深度网络实现肺配准，极大地加快了配准速度；

3、本发明融合了配准和分割两种功能，能够同时实现肺4D-CT图像的准确分割和配准，能为精准的肺癌放疗或呼吸运动建模提供技术支撑，也能为其他具有周期性运动的器官图像配准建模奠定了技术基础。

附图说明

图1为本发明的实施例1中的集成分割功能的肺CT图像配准方法的流程图；

图2为本发明的实施例1中的肺分割-配准集成网络的结构图；

图3为本发明的实施例1中提供的肺部CT图像的经过肺分割网络的肺边界检测结果；

图4为本发明的实施例1中的基于不同正则化项的配准结果图；

图5为本发明的实施例1中提供的两幅图像经过专家手动分割的标准肺边界和本发明的肺分割模块获得的肺边界图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

参考图1，本实施例的一种集成分割功能的肺CT图像配准方法，包括以下步骤：

S1、对采集的病人的肺部4D-CT数据进行预处理，形成若干组图像对，构建为训练数据集

其中，每组图像对均包括一幅参考图像F和一幅浮动图像M，每一幅参考图像和浮动图像均进行肺实质手动分割形成有参考图像的标准的肺实质边界SF以及浮动图像的标准的肺实质边界SM。

本发明中的4D-CT训练数据集是在苏州大学附属第一医院放疗科采集的 38例病人的肺部CT临床数据。其中，每例肺部4D-CT数据均包括整个呼吸周期的10个阶段的3D-CT数据，该临床数据的切片厚度为3mm，每张切片大小为768×768体素，切片内体素间的分辨率为0.9115mm，而各例4D-CT 数据包含的切片数不相同，从87到289张不等。

在优选的实施例中，所述步骤S1中进行预处理的方法具体包括：

S1-1、将10个阶段中任意两个阶段的两幅图像形成一个图像对，选择图像对中的一幅作为参考图像，另一幅作为浮动图像，产生了1710组图像对。进行数据扩增，增大训练数据集量；本实施例中具体方式为：交换图像对中的参考图像和浮动图像，训练样本对的总数增加了一倍，最终产生了3420组用于训练的图像对。

S1-2、采用水平集分割算法对所有的参考图像和浮动图像进行肺实质粗略分割；

S1-3、根据步骤S1-2的结果，由经验丰富的放疗科医生或专家对每一幅参考图像和浮动图像均进行手动分割，得到参考图像的标准的肺实质边界S

其中，对肺感兴趣区域进行裁剪时，为了避免边界效应，图像裁剪后保留了一定的边缘。

S2、建立肺分割-配准集成网络，所述肺分割-配准集成网络包括特征编码模块、肺分割模块和肺配准模块

在本实施例中提供的肺分割-配准集成网络的结构类似于3D-Unet网络结构，如图2所示。其中，参考图像F和浮动图像M输入所述特征编码模块后，输出参考图像F的特征映射C

S3、构建肺分割模块

所述特征编码模块为向下采样卷积，所述肺分割模块和肺配准模块均为上采样卷积，所述肺分割模块和肺配准模块共用所述特征编码模块；

所述特征编码模块由三个下采样池化操作模块形成四个分辨率级别，每个分辨率级别包含一个最大池化层和两个卷积层。

所述肺分割模块的结构与所述特征编码模块形成对称，所述肺分割模块由三个上采样操作模块形成四个分辨率级别，每个分辨率级别包含一个反卷积层和两个卷积层，所述肺分割模块的最后一层是一个1通道的以Sigmoid 为激活函数的卷积层，用于输出肺实质边界的预测概率图。

具体的，参考图像F和浮动图像M输入所述特征编码模块后，得到参考图像F的特征映射C

其中，S

其中，α是平衡因子，γ为调节简单样本权重降低的速率。在本实施例中，α＝0.25，γ＝2。相较于传统的交叉熵损失函数基，本实施例中采用Focal loss损失函数降低了大量简单负样本在训练中所占的权重，能更关注于肺边界点的预测。这些肺实质边界反映了肺表面的解剖信息，即每个像素的肺分割概率。将该边界信息集成到肺配准模块的优化中，对肺实质不同部位的形变场自适应施加不同的正则约束，在一定程度上保留了肺的形变特性。

S4、构建肺配准模块

所述肺配准模块的结构与所述肺分割模块的结构的不同之处仅在于：所述肺配准模块中的最后一层是一个3通道的不包括激活函数的卷积层，用于输出待配准图像对原始分辨率下x、y、z方向的形变场φ；

并且，为了加快网络模型的收敛速度，在一种可选的实施例中，肺分割- 配准集成网络在各编码阶段和对应的分割、配准解码阶段之间都使用了跳跃连接。这使得网络的每一层，特别是第一层，可以得到有效的训练，因为梯度可以更容易地从最后一层传递到第一层，减少梯度消失或爆炸的问题。

C

其中，-NCC(F,M(φ))为配准后的浮动图像M(φ)和对应的参考图像F的归一化互相关值，

S5、建立用于肺配准的自适应正则约束项

图像配准任务是一个高复杂度的优化问题，很容易会出现过拟合问题。所以一般会在配准问题的优化函数中加入对形变参数的正则约束，可以防止不合理的形变，保证所求解的图像形变具有空间拓扑结构，近似于一一映射。对于正则化约束项R(φ)，现有方法通常使用单一的L

其中Ω为图像域Ω＝{x＝(x,y,z)|0≤x＜N

现有方法中，单一的L

其中，η为经验参数，用来调整L

其中，w(x)的计算步骤包括：

1)首先，对所述肺分割模块输出的参考图像F的分割后的图像进行高斯核卷积滤波，得到肺边界信息图像d(x)，图像d(x)包含了体素与肺边界的距离信息；若当前体素越接近于肺边界，对应的d(x)值越大。反之，则若当前体素越远离边界，对应的d(x)越小，接近于0；

2)通过以下公式计算w(x)：

其中，c

有以上公式可知，权重w(x)是有关d(x)的单调递增函数，在0到1之间变化。因此，如果当前体素越接近于滑动界面，对应的w(x)越接近于1，则L

S6、训练所述肺分割-配准集成网络

本发明中分割网络和配准网络同时训练，使分割损失函数(即肺分割模块的训练目标函数)和配准损失函数(即肺配准模块的训练目标函数)共同最小化，具体的，采用以下联合优化损失函数L

其中，L

S7、将待配准的肺部4D-CT图像输入到经步骤S6训练后得到的肺分割- 配准集成网络中，自动输出配准结果

由于本发明的分割-配准集成网络集成有肺图像分割功能，所以待配准的肺部图像不再续约其他分割网络和人工分割处理，直接输入该分割-配准集成网络即可得到最终的配准结果。

相比于传统方案中采用全局不变的正则项对图像进行配准，本发明则根据像素点位置特征不同，计算自适应正则项，并将两种正则项进行空间加权结合，保障了图像的局部差异和配准精度；本发明基于深度网络实现肺配准，相比于传统采用4D-CT配准算法极大地加快了配准速度；本发明中肺分割模块能够同时提供肺表面的解剖信息，从而使得本发明能够同时实现肺4D-CT 图像的准确分割和配准。

为了验证本发明中的4D-CT配准模型在不同数据集上的鲁棒性和泛化能力，本实施例中，使用从公开的DIR-Lab数据集作为配准精度评估的测试数据集。DIR-Lab数据集中提供了10例病人4D-CT数据，每例4D-CT数据同样包含有10个呼吸阶段的3D-CT数据。空间分辨率从0.97mm×0.97mm×2.5 mm到1.16mm×1.16mm×2.5mm不等，切片数从94到136张不等，切片厚度为2.5mm。其中每例4D-CT数据中的第0阶段(吸气相末端)和第5阶段(呼气相末端)图像具有由临床专家精心标定的300组对应解剖标记点，用于TRE 定量指标评估，对比结果见表1和图3。在预处理过程中，DIR-Lab数据集与训练数据集采用相同的操作。其中，裁剪训练数据集中的4D-CT数据和 DIR-Lab数据集的数据覆盖一致的肺部区域，并且对训练集和测试集进行重采样使之具有相同的分辨率(128×128×96)。

表1.DIR-Lab 10组肺CT图像基于不同正则项配准后TRE结果(单位：mm)

TRE为目标配准误差，值越小代表配准结果越准确，从表1的结果可以看出，本实施例的方法获得的配准结果具有很高的准确度。

参照图4，为两幅图像经过专家手动分割的标准肺边界和本发明的肺分割模块获得的肺边界图。图像中包括两条绿色轮廓线，一条为通过本发明中的肺分割模块获得的肺边界，另一条轮廓线是专家手动分割的标准肺边界；可以看出，本发明中的肺分割模块产生的肺边界与标准的肺边界是高度吻合的。

实施例2

本实施例提供一种集成分割功能的肺CT图像配准系统，其采用实施例1 的方法对肺CT图像进行配准。

本实施例还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现实施例1的方法。

本实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。