一种改进U-Net的肺结节分割方法

摘要

本发明公开了一种改进U‑Net的肺结节分割方法，获取Luna16数据集，并对所述Luna16数据集依次进行数据预处理、数据增强和数据拆分；在U‑Net网络中加入双向特征融合网络，并采用尺寸填充的方式对相邻两个特征图进行融合，完成对所述U‑Net网络的改进；利用拆分后的数据集对改进后的所述U‑Net网络进行训练和验证，并将输出的分割图像与所述Luna16数据集进行叠加，完成分割，采用端到端的U‑Net深度学习网络，引入双向特征融合机制，有效融合图像的高级语义特征与低级特征，从而实现肺结节的有效分割，本发明对临床中常见的多种肺部结节类型有较好的分割效果。

说明书

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种改进U-Net的肺结节分割方法。

背景技术

肺结节是肺癌早期的表现形式之一，计算机断层扫描(Computed Tomography,CT)是中一种高精度的肺结节筛查和分析格式。为了做出准确的诊断，放射科医生必须从大量CT图像数据中准确的找出肺结节。然而，临床中常见的肺结节大小和类型变化很大，大都具有边缘模糊的特点，这极大增加了放射科医师的工作量，也容易在疾病诊断过程中造成误诊和漏诊。

肺结节的精确分割可以有效提取肺结节的特征并适应肺结节的异质性，对后续临床诊断、治疗等方面的研究有着重要的应用价值。因此，致力于肺部CT图像中肺结节分割技术的研究，有很强的实际临床意义。

发明内容

本发明的目的在于提供一种改进U-Net的肺结节分割方法，对临床中常见的多种肺部结节类型有较好的分割效果。

为实现上述目的，本发明提供了一种改进U-Net的肺结节分割方法，包括以下步骤：

获取Luna16数据集，并对所述Luna16数据集依次进行数据预处理、数据增强和数据拆分；

在U-Net网络中加入双向特征融合网络，并采用尺寸填充的方式对相邻两个特征图进行融合，完成对所述U-Net网络的改进；

利用拆分后的数据集对改进后的所述U-Net网络进行训练和验证，并将输出的分割图像与所述Luna16数据集进行叠加，完成分割。

其中，获取Luna16数据集，并对所述Luna16数据集依次进行数据预处理、数据增强和数据拆分，包括：

获取Luna16数据集，并对所述Luna16数据集中的所有图像进行去噪和像素归一化处理；

对归一化后的所述Luna16数据集进行随机翻转和高斯模糊，并将增强后的所述Luna16数据集拆分为训练集和测试集。

其中，在U-Net网络中加入双向特征融合网络，并采用尺寸填充的方式对相邻两个特征图进行融合，完成对所述U-Net网络的改进，包括：

向U-Net网络加入双向特征融合网络，并采用尺寸填充的方式将相邻两层特征图中的后层特征图进行尺寸改变，将相邻两个特征图进行融合；

利用Mish激活函数对所述U-Net网络中的激活函数进行替代，完成对所述U-Net网络的改进。

其中，利用拆分后的数据集对改进后的所述U-Net网络进行训练和验证，并将输出的分割图像与所述Luna16数据集进行叠加，完成分割，包括：

基于设定的训练参数，利用所述训练集对改进后的所述U-Net网络进行训练，得到网络训练模型；

将所述测试集输入所述网络训练模型中，得到对应的分割图像，并将所述分割图像与所述Luna16数据集进行叠加，完成分割。

其中，获取Luna16数据集，并对所述Luna16数据集中的所有图像进行去噪和像素归一化处理，包括：

对所述Luna16数据集建立数据索引；

从原始数据格式中加载样本数据，并将标注文件中的坐标信息加载到所述样本数据中；

对所述Luna16数据集中的所有图像进行像素归一化处理。

其中，对所述Luna16数据集中的所有图像进行像素归一化处理，包括：

将所述Luna16数据集中的所有图像转换成掩膜图像，并将所述掩膜图像的数据归一化为[0,255]；

将所述掩膜图像的尺寸调整为512×512。

本发明提出的一种改进U-Net的肺结节分割方法，获取Luna16数据集，并对所述Luna16数据集依次进行数据预处理、数据增强和数据拆分；在U-Net网络中加入双向特征融合网络，并采用尺寸填充的方式对相邻两个特征图进行融合，完成对所述U-Net网络的改进；利用拆分后的数据集对改进后的所述U-Net网络进行训练和验证，并将输出的分割图像与所述Luna16数据集进行叠加，完成分割，采用端到端的U-Net深度学习网络，引入双向特征融合机制，有效融合图像的高级语义特征与低级特征，从而实现肺结节的有效分割，本发明对临床中常见的多种肺部结节类型有较好的分割效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种改进U-Net的肺结节分割方法的步骤示意图。

图2是本发明提供的一种改进U-Net的肺结节分割方法的流程示意图。

图3是本发明提供的数据预处理流程图。

图4是本发明提供的改进的U-Net网络的总体框架图。

图5是本发明提供的尺寸填充的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

请参阅图1和图2，本发明提供一种改进U-Net的肺结节分割方法，包括以下步骤：

S101、获取Luna16数据集，并对所述Luna16数据集依次进行数据预处理、数据增强和数据拆分。

具体的，获取Luna16数据集。Luna16数据集一共包含888例低剂量肺部CT图像(.mhd文件包含CT图像的基本信息，.raw文件存储着具体的CT图像)，是LIDC-IDRI数据集去除切片厚度大于3mm和肺结节小于3mm后的CT影像数据，该数据集中共有1186个结节。原始图像为三维图像，每个图像包含一系列胸腔的多个轴向切片。

数据准备包括数据预处理、数据增强、数据拆分三部分，具体内容如下：

①数据预处理。预处理的过程主要包括：图像去噪，图像缩放。医学图像在采集过程中会引入噪声，造成图像边缘细节等信息模糊，因此首先需要对CT数据进行去噪。图像缩放是为了将所有输入图像的像素统一化，供后续分割算法使用，如图3所示，具体为：

1.建立数据集索引。通常一个病例的全肺CT包含100-300张肺部切面图像，通过建立索引的方式扫描样本数据集的列表。

2.加载数据。从原始数据格式(.raw)中加载样本数据，并将标注文件(.csv)中的坐标信息加载到对应样本数据中。

3.生成掩膜图像。

4.归一化处理。将数据范围归一化为[0,255]。

5.调整样本数据尺寸。将样本数据的像素调整为适合模型训练的大小，本发明的输入图像像素为512×512。

②数据增强。训练深度学习模型需要大量的数据集，但LUNA16数据集的样本有限，因此训练前需要对数据集进行扩充。对统一像素后的图像做一些随机翻转和一定程度的高斯模糊(对输入图像进行弹性变换、随机剪切、缩放、旋转和增加椒盐噪声)，产生相似但又不完全相同的样本，以保持相同的输入尺寸，从而扩充样本数据，抑制过拟合，提升模型的泛化能力，并提高模型的鲁棒性。

③数据拆分。将数据集进行拆分，训练集占比80％，测试集占比20％。

S102、在U-Net网络中加入双向特征融合网络，并采用尺寸填充的方式对相邻两个特征图进行融合，完成对所述U-Net网络的改进。

具体的，向U-Net网络加入双向特征融合网络，包括：将获取的所述Luna16数据集中的任一个切片，在相应的U-Net网络中输出5个深度输出特征，并将5个所述输出特征作为所述双向特征融合网络的输入；融合将所述双向特征融合网络的输出与所述U-Net网络的解码器进行组合，得到底层细粒度特征与高层语义特征的组合，最终输出肺结节的掩膜图像。在传统U-Net网络中引入双向特征融合网络。医学图像语义较为简单、结构较为固定，所以高级语义信息和低级特征都显得很重要。本发明将双向特征融合网络添加到传统U-Net模型，有助于上采样的低级特征和来自双向特征融合网络的特征映射组合，从而实现高级语义特征与低级特征的有效融合。本发明提出的改进的U-Net算法总体框架如下图4所示。

采用尺寸填充的方式将相邻两层特征图中的后层特征图进行尺寸改变，将相邻两个特征图进行融合，包括：用填充操作替代传统U-Net网络中的中央裁剪操作。传统U-Net网络中，特征融合时，采用的操作是将前层特征图做中央裁剪后，与后层特征图融合，这种操作会使特征图丢失一部分特征信息。因此，本发明中不再使用裁剪操作，而是将后层特征图填充成前层特征图相同的大小，从而减少信息丢失，具体操作示意图如下图5所示。为保证输入图像像素和输出图像保持一致，每次3×3卷积操作后，用填充操作保持特征图的尺寸不变。

利用Mish激活函数对所述U-Net网络中的激活函数进行替代，完成对所述U-Net网络的改进，引入更加平滑的Mish激活函数代替传统U-Net网络中的ReLU激活函数。深度学习中大都采用ReLU函数作为激活函数，RuLU函数在正向传播过程中不存在梯度饱和问题，但在反向传播过程中会出现梯度消失。而Mish函数在反向传播时可以允许比较小的负梯度流入，从而保证信息流动。另外，Mish函数也保证了每一点的平滑，从而使得梯度下降效果比ReLU函数更好。

S103、利用拆分后的数据集对改进后的所述U-Net网络进行训练和验证，并将输出的分割图像与所述Luna16数据集进行叠加，完成分割。

具体的，将所示训练集输入改进后的所示U-Net网络中进行训练，并基于设置的训练参数(学习率、迭代次数等)，得到网络训练模型，然后，在所述测试集上预测训练模型的分割效果，得到对于的分割图像，然后将分割出的Mask图像叠加在输入CT图像上，得到最终的分割效果。

训练结束后，分别对传统U-Net网络、和本发明改进算法的分割效果进行评估。为说明Mish激活函数的有效性，评估时该还加入了只替换掉激活函数的U-Net(传统U-Net+Mish)的训练效果进行对比。本设计采用的分割评价的量化标准是DSC(The Dicesimilarity coefficient)系数，DSC系数是一个较为客观的分割评价量化标准，它是一种常用的度量标准，用于计算两种分割结果之间的差异，具体表达式如下：

除此之外，敏感性(SEN)和阳性预测(PPV)也被用作辅助评价标准，具体表达式如下：

其中，S代表分割结果，T为真实标签。

本发明训练的最终结果如下表所示：

从上表可见，传统U-Net的DSC得分为76.81％，本发明通过在传统U-Net的架构中引入双向特征融合网络，最终DSC得分为81.92％，较传统U-Net有明显改善。

本发明的一种改进U-Net的肺结节分割方法，获取Luna16数据集，并对所述Luna16数据集依次进行数据预处理、数据增强和数据拆分；在U-Net网络中加入双向特征融合网络，并采用尺寸填充的方式对相邻两个特征图进行融合，完成对所述U-Net网络的改进；利用拆分后的数据集对改进后的所述U-Net网络进行训练和验证，并将输出的分割图像与所述Luna16数据集进行叠加，完成分割，采用端到端的U-Net深度学习网络，引入双向特征融合机制，有效融合图像的高级语义特征与低级特征，从而实现肺结节的有效分割，本发明对临床中常见的多种肺部结节类型有较好的分割效果。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。