腹部组织图像自动分割方法及系统

摘要

本发明公开了一种腹部组织图像自动分割方法及系统，该方法包括以下步骤：1)构建第一训练数据集；2)利用所述第一训练数据集对3D U‑Net网络进行训练，得到腹部组织自动分割模型；3)构建用于肿瘤分割任务的第二训练数据集；4)利用所述第二训练数据集对DeepLab V3+网络进行训练，得到肿瘤自动分割模型；5)将所述腹部组织自动分割模型和肿瘤自动分割模型级联，得到腹部组织自动分割模型；6)将待分割的腹部扫描图像输入腹部组织自动分割模型，自动得到腹部组织分割图像和肿瘤分割图像。本发明的腹部组织图像自动分割方法能够对形态多变的腹部组织和肿瘤进行分割，在低对比度和边缘模糊的情况下取得良好的分割精度。

说明书

技术领域

本发明涉及医学图像处理领域，特别涉及一种腹部组织图像自动分割方法及系统。

背景技术

影像学检查是诊断腹部脏器疾病的重要手段，而CT影像学检查是诊断腹部肿瘤的主要手段之一。根据CT影像中肿瘤的大小、形状等特征，医生可制定相应的治疗手段。但是由于不同医生的主观思想不同，采用人工勾画或是半自动分割方法对病变分割的结果存在差异性，容易导致分割结果不理想，进而影响对病症的判断。另外，现在的一些自动分割方法对于低对比度和边缘模糊的图像存在分割精度低的缺陷。

所以，现在需要一种更为客观可靠的腹部组织自动分割方案。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种腹部组织图像自动分割方法及系统。

为解决上述技术问题，本发明采用的技术方案是：一种腹部组织图像自动分割方法，包括以下步骤：

1)对腹部扫描图像进行预处理，构建得到用于腹部组织分割任务的第一训练数据集；

2)利用所述第一训练数据集对3D U-Net网络进行训练，得到腹部组织自动分割模型；

3)将所述第一训练数据集经所述腹部组织自动分割模型处理后得到的结果进行裁剪和数据增强处理，构建得到用于肿瘤分割任务的第二训练数据集；

4)利用所述第二训练数据集对DeepLab V3+网络进行训练，得到肿瘤自动分割模型；

5)将所述腹部组织自动分割模型和肿瘤自动分割模型级联，得到腹部组织自动分割模型；

6)将待分割的腹部扫描图像输入所述腹部组织自动分割模型，自动得到腹部组织分割图像和肿瘤分割图像。

优选的是，所述步骤1)中的预处理具体包括：对腹部扫描图像依次进行灰度截断处理、Z-score标准化处理和重采样处理。

优选的是，所述步骤2)中，先将所述第一训练数据集中的腹部扫描图像随机裁剪为大小一致的图像块后作为3D U-Net网络的输入，其中，图像块的采样方法采用以下方法A和方法B相结合的方式进行；

方法A：将图像块的中心点选取为腹部组织区域的坐标点；

方法B：在整个腹部扫描图像中随机选取图像块。

优选的是，所述3D U-Net网络包括下采样单元和上采样单元；

所述下采样单元包括依次连接的5个卷积下采样层，每个所述卷积下采样层均包括第一下单元层和第二下单元层，所述第一下单元层包括步长为2的3×3×3下采样卷积块、实例归一化模块以及ReLU激活函数，所述第二下单元层包括3×3×3的三维卷积块、实例归一化模块以及ReLU激活函数；

所述上采样单元包括依次连接的5个卷积上采样层，每个所述卷积上采样层均包括第一上单元层，且除与所述5个卷积下采样层中的最后一个连接的卷积上采样层外，其余的4个卷积上采样层还均包括两个第二上单元层；

所述第一上单元层包括步长为2的3×3×3转置卷积块，每个所述第二上单元层均包括3×3×3的三维卷积块、实例归一化模块以及ReLU激活函数。

优选的是，所述步骤3)中，进行裁剪时，对腹部组织分割结果分别在X、Y、Z轴扩充20、20、5个像素点，得到腹部组织感兴趣区域，用于肿瘤的分割；

进行数据增强的方法包括：对图像进行随机旋转90度、对称翻转、图像模糊处理、缩放并旋转随机角度、对比度增强处理。

优选的是，所述DeepLab V3+网络包括初始化层、与所述初始化层依次连接的4个特征提取模块、与最后一个特征提取模块连接的空间金字塔池化模块以及解码模块；

所述初始化层包括卷积块、批归一化操作层和ReLU激活函数；

所述特征提取模块包括依次连接的若干提取单元，每个所述提取单元均包括一个第一残差瓶颈结构和若干个第二残差瓶颈结构；

所述第一残差瓶颈结构包括依次连接的第一卷积块、第二卷积块和第三卷积块，以及一个侧边卷积块；所述侧边卷积块连接所述第一卷积块的输入端和所述第三卷积块的输出端；其中，所述所述第一卷积块、第三卷积块和侧边卷积块均为1×1卷积块，所述第二卷积块为3×3卷积块；

所述第二残差瓶颈结构包括依次连接的第四卷积块、第五卷积块和第六卷积块，其中，所述第四卷积块和第六卷积块为1×1卷积块，所述第五卷积块为3×3卷积块；

所述空间金字塔池化模块包括依次设置的1×1卷积块、膨胀率依次为2、4、8的3个3×3卷积以及全局平均池化层；

所述解码模块包括一个1×1卷积块、一个3×3卷积块和Sigmoid函数，第一个所述提取单元处理得到的特征图通过该1×1卷积块处理后与所述空间金字塔池化模块输出的融合特征图拼接，然后经该3×3卷积块操作和上采样处理恢复图像分辨率，最后经该Sigmoid函数进行二值化处理后得到肿瘤分割图像。

优选的是，所述步骤4)中采用L

其中，y是真实的分割标签，

本发明还提供一种腹部组织图像自动分割系统，其采用如上所述的方法对腹部组织图像进行自动分割。

本发明还提供一种存储介质，其上存储有计算机程序，该程序被执行时用于实现如上所述的方法。

本发明还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明的有益效果是：本发明的腹部组织图像自动分割方法能够对形态多变的腹部组织和肿瘤进行分割，在低对比度和边缘模糊的情况下取得良好的分割精度；本发明相比于人工勾画和半自动分割方法，可以大大提高医学图像中腹部组织分割的效率。

附图说明

图1为本发明的腹部组织图像自动分割方法的流程图；

图2为本发明的3D U-Net网络的结构示意图；

图3为本发明的DeepLab V3+网络的结构示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

本实施例中以腹部扫描图像中肾脏的分割以及进一步在肾脏图像中肾肿瘤的分割为例进行详细说明，即腹部组织具体为肾脏，肿瘤具体为肾肿瘤。

参照图1，本实施例的一种腹部组织图像自动分割方法，该方法包括两个阶段，阶段一：肾脏分割，阶段二：肾肿瘤分割，其具体步骤为：

1、对腹部扫描图像进行预处理，构建得到用于肾脏分割任务的第一训练数据集

预处理包括以下三个步骤：

(1)灰度截断：通过计算所有数据肾脏范围内像素值的第5和第95百分位数分别作为灰度截断的上限和下限值去除数据中的极端灰度值；

(2)Z-score标准化：通过减去图像灰度值的均值并除以方差，其中，均值和标准差的计算只基于肾脏区域的像素值；

(3)重采样：在肾脏分割预处理过程中将所有样本的空间分辨率重采样至(1.62mm,1.62mm,3.22mm)。

其中，腹部扫描图像为腹部CT图像。

2、利用所述第一训练数据集对3D U-Net网络进行训练，得到肾脏自动分割模型

先将所述第一训练数据集中的腹部扫描图像随机裁剪为大小一致(80×160×160)的图像块后作为3D U-Net网络的输入，其中，图像块的采样方法采用以下方法A和方法B相结合的方式进行；

方法A：将图像块的中心点选取为肾脏区域的坐标点；

方法B：在整个腹部扫描图像中随机选取图像块。

方法A可保证网络能够完整地学习到整个肾脏，加快网络的收敛；方法B可将非肾脏区域的背景输入到网络进行训练，有助于在预测阶段减少非肾脏区域的假阳性目标。

3、将所述第一训练数据集经所述肾脏自动分割模型处理后得到的结果进行裁剪和数据增强处理，构建得到用于肾肿瘤分割任务的第二训练数据集

其中，进行裁剪时，对肾脏分割结果分别在X、Y、Z轴扩充20、20、5个像素点，得到肾脏感兴趣区域，用于肾肿瘤的分割；

进行数据增强的方法包括：对图像进行随机旋转90度、对称翻转、图像模糊处理、缩放并旋转随机角度、对比度增强处理。

4、利用所述第二训练数据集对DeepLab V3+网络进行训练，得到肾肿瘤自动分割模型

参照图2，所述3D U-Net网络包括下采样单元和上采样单元：

所述下采样单元包括依次连接的5个卷积下采样层(X

所述上采样单元包括依次连接的5个卷积上采样层(S

所述第一上单元层包括步长为2的3×3×3转置卷积块，所述第二上单元层包括标准3×3×3的三维卷积块、实例归一化模块以及ReLU激活函数。另外，参照图2，进行同级之间的跳跃连接实现特征融合能增强图像细节。

5、将所述肾脏自动分割模型和肾肿瘤自动分割模型级联，得到腹部组织自动分割模型

参照图3，所述DeepLab V3+网络包括初始化层、与所述初始化层依次连接的4个特征提取模块、与最后一个特征提取模块连接的空间金字塔池化模块以及解码模块。

所述初始化层包括stride＝2、padding＝3、卷积核大小为7×7、卷积核数量为64的标准卷积块、批归一化操作层和ReLU激活函数；经过初始化卷积层的特征图大小为80×80，通道数为64。

所述特征提取模块包括依次连接的4个提取单元(即图3中的阶段1、阶段2、阶段3、阶段4)，每个所述提取单元均包括一个第一残差瓶颈结构和若干个第二残差瓶颈结构；

所述第一残差瓶颈结构包括依次连接的第一卷积块、第二卷积块和第三卷积块，以及一个侧边卷积块；所述侧边卷积块连接所述第一卷积块的输入端和所述第三卷积块的输出端；其中，所述第一卷积块、第三卷积块和侧边卷积块均为1×1卷积块，所述第二卷积块为3×3卷积块；第一个1×1卷积将特征图通道数和大小减半，第二个1×1卷积块将特征通道数恢复至原来的大小，侧边卷积块将输入特征图的通道数扩充至输出特征图的通道数。

所述第二残差瓶颈结构包括依次连接的第四卷积块、第五卷积块和第六卷积块，其中，所述第四卷积块和第六卷积块为1×1卷积块，所述第五卷积块为3×3卷积块；其中两个1×1卷积块分别用于压缩和扩充通道数以增强非线性能力。

经过4个特征提取模块得到的特征图小为20×20，通道数为2048，输入到基于空洞卷积的空间金字塔池化模块(即图3中的ASPP)中，用于提取多尺度信息。

所述空间金字塔池化模块包含5个分支结构，包括依次设置的1×1卷积块、膨胀率依次为2、4、8的3个3×3卷积以及全局平均池化层；采用不同膨胀率的卷积核，使得网络具有不同大小的感受野，从而获取不同大小肿瘤的特征信息；全局平均池化操作能够增强网络的全局特征，有助于增强肿瘤的识别能力。

解码模块将阶段1的低级特征和多尺度高级特征进行融合以增强分割结果的细节信息和边缘信息，具体的所述解码模块包括一个1×1卷积块、一个3×3卷积块和Sigmoid函数，第一个所述提取单元处理得到的特征图通过该1×1卷积块将通道数256映射为通道数为48的特征图，然后与所述空间金字塔池化模块输出的融合特征图拼接，然后经该3×3卷积块操作和上采样处理恢复图像分辨率，最后经该Sigmoid函数进行二值化处理后得到肾肿瘤分割图像。

其中，采用一种优化后的Dice损失函数：L

其中，y是真实的分割标签，

6、将待分割的腹部扫描图像输入所述腹部组织自动分割模型，自动得到肾脏分割图像和肾肿瘤分割图像

整个自动分割流程为：首先采用3D U-Net对肾脏进行分割以定位肾脏区域，采取基于最大连通域的后处理算法去除假阳性区域；基于肾脏分割结果裁取肾脏感兴趣区域(ROIs)作为DeepLabV3+分割网络的输入，得到初步的肾肿瘤分割结果，最后基于肾脏分割模板去除肾肿瘤分割的假阳性目标优化肾肿瘤分割结果。

实施例2

本实施例提供一种腹部组织图像自动分割系统，其采用实施例1的方法对腹部组织图像进行自动分割。

实施例3

本实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被执行时用于实现实施例1的方法。

实施例4

本实施例提供一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1的方法。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。