一种磨玻璃样肺结节自动分割方法及计算机设备

摘要

本发明涉及一种磨玻璃样肺结节自动分割方法及计算机设备，所述方法包括以下步骤：获取计算机断层扫描设备采集的医学图像原始数据；对所述医学图像原始数据进行预处理；将预处理后的图像作为训练好的基于ASPP结构和注意力机制的全卷积残差网络的输入，获得磨玻璃样肺结节分割结果；所述基于ASPP结构和注意力机制的全卷积残差网络以多个Conv2D卷积层为基础架构，相邻Conv2D卷积层之间设置有残差模块和注意力模块，并在全卷积残差网络中设置ASPP结构以捕获磨玻璃样肺结节的多尺度信息。与现有技术相比，本发明具有快速、准确等优点。

说明书

技术领域

本发明涉及深度学习与计算机断层扫描图像处理技术领域，尤其是涉及一种基于全卷积残差网络的磨玻璃样肺结节自动分割方法及计算机设备。

背景技术

肺癌是全球相关癌症死亡的主要原因，当今，计算机断层扫描成像快、图像分辨率高，已成为发现、监测早期肺癌的首选技术。早期肺癌的影像表现是肺结节形成，而准确、快速分割肺结节是良恶性分类中不可或缺的预处理。磨玻璃样肺结节是一类特殊的结节，与实性结节相比，磨玻璃样肺结节具有边界模糊、形状不规则、强度不均匀、与周围正常组织对比度低等特点，易被医生忽略。因此，磨玻璃样肺结节的分割与诊断一直是医学图像分割领域的重点和难点。准确分割磨玻璃样肺结节可为医学影像评价和治疗方案的制定提供重要依据，对提高早期肺癌的监测效率有重要意义。

磨玻璃样肺结节分割方法大多采用无监督方法。传统的无监督方法可分为聚类、可变形模型、基于随机游走(Random Walk，RW)和马尔科夫随机场(Markov random field，MRF)理论的分割方法，如自动化学报上公开的文献“基于稀疏表示和随机游走的磨玻璃型肺结节分割”。这些方法虽在分割复杂背景下的磨玻璃样肺结节有优势，但对人工干预的依赖性也较强，如聚类、基于RW理论的分割方法过度依赖种子点的选择；可变形模型依赖初始轮廓的位置，且对噪声敏感；基于MRF理论的分割方法易消耗不必要的计算。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种快速、准确的基于全卷积残差网络的磨玻璃样肺结节自动分割方法及计算机设备。

本发明的目的可以通过以下技术方案来实现：

一种磨玻璃样肺结节自动分割方法，该方法包括以下步骤：

获取计算机断层扫描设备采集的医学图像原始数据；

对所述医学图像原始数据进行预处理；

将预处理后的图像作为训练好的基于ASPP结构和注意力机制的全卷积残差网络的输入，获得磨玻璃样肺结节分割结果；

所述基于ASPP结构和注意力机制的全卷积残差网络以多个Conv2D卷积层为基础架构，相邻Conv2D卷积层之间设置有残差模块和注意力模块，并在全卷积残差网络中设置ASPP结构以捕获磨玻璃样肺结节的多尺度信息。

进一步地，所述基于ASPP结构和注意力机制的全卷积残差网络的训练过程包括：

获取标记有磨玻璃样肺结节的肺部医学图像原始数据，进行预处理后形成训练样本；

选取初始的网络参数，构建基于ASPP结构和注意力机制的全卷积残差网络，基于该全卷积残差网络，确定训练样本中每个肺部医学图像的类别概率；

基于预设的损失函数计算训练样本中每个肺部医学图像与对应的标签之间的误差；

基于所述误差，更新所述全卷积残差网络的网络参数；

在所述误差满足预设的条件后，得到训练好的全卷积残差网络。

进一步地，所述预处理具体为：

将所述原始数据的CT值调整至设定范围，保存为灰度图像，从该灰度图像中提取感兴趣区域，并对所述感兴趣区域进行one-hot编码。

进一步地，所述预处理具体为：

将所述原始数据的CT值调整至设定范围，保存为灰度图像，从该灰度图像和对应的标签数据中提取感兴趣区域，并对所述感兴趣区域进行one-hot编码。

进一步地，所述设定范围为[-1000，400]Hu。

进一步地，所述基于ASPP结构和注意力机制的全卷积残差网络还包括用于融合低层特征和高层特征的长跳跃连接层。

进一步地，所述基于ASPP结构和注意力机制的全卷积残差网络划分为低层子网络和高层子网络，所述低层子网络中间隔设置有MaxPooling2D池化层，所述高层子网络中间隔设置有ConvTranspose2D卷积层。

进一步地，所述ASPP结构设置于低层子网络与高层子网络之间。

进一步地，所述多个Conv2D卷积层中，输出层采用Sigmoid激活函数，其余层采用Relu激活函数。

本发明还提供一种计算机设备，包括：

一个或多个处理器；

存储器；和

被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上所述磨玻璃样肺结节自动分割方法的指令。

传统肺结节分割方法需要先对肺实质进行分割，再提取感兴趣区域，然后设计有针对性的算法完成分割，但由于磨玻璃样肺结节灰度不均匀、形状不规则、与周围组织对比度低，且部分结节与血管、胸膜等结构粘连，传统方法难以对该类肺结节进行有效分割。

与现有技术相比，本发明具有如下有益效果：

1、本发明采用训练好的基于ASPP结构和注意力机制的全卷积残差网络直接对原始数据信息进行特征提取，并根据所得特征直接对目标进行分割，效率高，且不依赖人工干预。

2、本发明构建的全卷积残差网络具有ASPP结构，并考虑了注意力机制，其中，ASPP结构可以捕获磨玻璃样肺结节的多尺度信息，有效地从高层特征图中提取多尺度感受野特征，提高了模型处理大小不同结节的能力；注意力机制将编码层中的空间信息传播到解码层，同时减少前向传播过程中信息的丢失，有效减少了传递过程中结节特征信息的损失；将批量标准化层加入残差结构加快了网络训练速度，同时避免了网络深度加深带来的梯度消失、性能退化问题，有效提高了最终图像分割的准确性。

3、本发明还设置有用于有效融合低层特征和高层特征的长跳跃连接层，使整个网络的有效信息损失最小化。

4、本发明进一步在全卷积残差网络中设置MaxPooling2D池化层和ConvTranspose2D卷积层，其中，MaxPooling2D池化层对卷积操作提取的特征进行压缩，一方面使特征变小，简化网络计算复杂度，另一方面进行特征压缩，提取主要特征；ConvTranspose2D卷积层将特征图恢复至原分辨率大小，方便实现端到端的分割预测。

5、本发明可对各种类型的磨玻璃样肺结节进行分割，普适性好。

6、本发明构建基于ASPP结构和注意力机制的全卷积残差网络采用添加在残差模块的批量标准化层，加快了网络训练速度，同时避免了网络深度加深带来的梯度消失、性能退化问题。

7、本发明方法具有计算精度高、时间快、鲁棒性好等优点，能够得到可靠、稳定的结果。

附图说明

图1为本发明方法的流程框图；

图2为基于ASPP结构和注意力机制的全卷积残差网络框架图；

图3为ASPP结构图；

图4为注意力机制结构图；

图5为残差结构图；

图6为基于ASPP结构和注意力机制的全卷积残差网络所得结果，其中，图(a)、(b)分别表示训练集与验证集的损失率对比与训练集与验证集的重叠率对比。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

本发明提供一种磨玻璃样肺结节自动分割方法，为一种医学图像自动化处理方法，该方法包括以下步骤：获取计算机断层扫描设备采集的医学图像原始数据；对所述医学图像原始数据进行预处理；将预处理后的图像作为训练好的基于ASPP(Atrous SpatialPyramid Pooling，空洞空间卷积池化金字塔)结构和注意力机制的全卷积残差网络(ResAANet)的输入，获得磨玻璃样肺结节分割结果。该方法中，基于ASPP结构和注意力机制的全卷积残差网络以多个Conv2D卷积层为基础架构，相邻Conv2D卷积层之间设置有残差模块和注意力模块，并在全卷积残差网络中设置ASPP结构以捕获磨玻璃样肺结节的多尺度信息，直接对原始数据进行有效的特征提取，从而快速、准确地获得分割结果，分割过程不依赖人工干预。该方法基于深度学习的有监督方法主要通过神经网络训练结节与标签图像，自动提取结节的相关特征，并自动完成分割。

如图1所示，基于ASPP结构和注意力机制的全卷积残差网络的训练过程包括：

步骤1，获取计算机断层扫描设备采集得到的磨玻璃样肺结节的肺部医学图像原始数据。

步骤2，获取与原始数据对应的标记数据，该标记为放射科医生人工标注的结节类型信息。

步骤3，进行预处理，形成训练样本，将所有训练样本划分为训练集、验证集和测试集三部分，以验证训练好的网络的性能。

步骤4，选取初始的网络参数，构建基于ASPP结构和注意力机制的全卷积残差网络，基于该全卷积残差网络，确定训练样本中每个肺部医学图像的类别概率；基于预设的损失函数计算训练样本中每个肺部医学图像与对应的标签之间的误差；基于所述误差，更新所述全卷积残差网络的网络参数。

步骤5，在所述误差满足预设的条件后，得到训练好的全卷积残差网络。

通过对已知磨玻璃样肺结节数据和标注数据进行训练，将得到的网络用于测试集中磨玻璃样肺结节数据的掩模预测，将得到的分割掩模与已知标注数据进行对比，由此判断构建的全卷积残差网络的可靠、稳定性。

训练过程中的预处理需要同时对原始数据和标记数据进行，具体为：将所述原始数据的CT值调整至设定范围，保存为灰度图像，从该灰度图像中提取以肺结节为中心的感兴趣区域(region of interesting ROI)，并对所述感兴趣区域进行one-hot编码。本实施例中，设定范围为[-1000，400]Hu，灰度图像为8bit，感兴趣区域尺寸为256×256。

在优选的实施例中，基于ASPP结构和注意力机制的全卷积残差网络还包括用于融合低层特征和高层特征的长跳跃连接层。

在另一优选的实施例中，基于ASPP结构和注意力机制的全卷积残差网络划分为低层子网络(编码)和高层子网络(解码)，所述低层子网络中间隔设置有MaxPooling2D池化层，所述高层子网络中间隔设置有ConvTranspose2D卷积层。

在另一优选的实施例中，多个Conv2D卷积层中，输出层采用Sigmoid激活函数，其余层采用Relu激活函数。

本实施例构建的基于ASPP结构和注意力机制的全卷积残差网络包括Conv2D卷积层、MaxPooling2D池化层、ConvTranspose2D卷积层、ASPP结构、注意力模块、残差模块和长跳跃连接层，其中，Conv2D卷积层用于完成磨玻璃样肺结节特征的提取；MaxPooling2D池化层对卷积操作提取的特征进行压缩，一方面使特征变小，简化网络计算复杂度，另一方面进行特征压缩，提取主要特征；ConvTranspose2D卷积层将特征图恢复至原分辨率大小，完成端到端的分割预测；ASPP结构用于捕获磨玻璃样肺结节的多尺度信息；注意力机制将编码层中的空间信息传播到解码层，同时减少前向传播过程中信息的丢失；残差模块使网络深度得到加深，实现信息跨通道融合，同时避免了残差结构加深网络深度带来的网络梯度消失、性能退化的问题；长跳跃连接层将低层特征和高层特征进行了有效融合，使整个网络的有效信息损失最小化。

该的基于ASPP结构和注意力机制的全卷积残差网络具有自动学习的能力，首先经Conv2D卷积层对其输入的数据进行特征提取，同时为了减少卷积层的特征数进而降低运算参数从而加快计算速度，施加MaxPooling2D池化层对特征进行压缩，提取主要特征，然后利用ConvTranspose2D卷积层将特征图恢复至原分辨率大小，最后使用Sigmoid激活函数完成像素样本的概率预测，并取0.5的阈值生成预测掩模。

本实施例的全卷积残差网络结构如图2所示，具体为：

(1)Conv2D卷积层：Conv1～Conv8的卷积核尺寸均为(3,3)，卷积核个数见表1所示；Conv9的卷积核尺寸为(1,1)，卷积核个数为1；各卷积步长均为(1,1)，每一个卷积层后均包含一个批量标准化层和一个Relu激活函数；

表1 Conv2D卷积层的卷积核大小及个数信息

(2)MaxPooling2D池化层：在第5、10、15、20层分别施加池化层，窗大小均设置为(2,2)；

(3)ConvTranspose2D卷积层：在第22、27、32、37层分别施加反卷积层，卷积核的尺寸均为(3,3)，卷积核个数分别为128、64、32、16；

(4)ASPP结构：在第21层施加空洞卷积空间金字塔池化结构，并行的空洞卷积采样率分别设置为1、6、12、18；

(5)注意力机制：在每两个残差块后增加一个注意力模块；

(6)残差模块：在Conv1～Conv8每个卷积层后增加两个相同结构的残差模块；

(7)长跳跃连接：将第4与37、9与32、14与27、19与22层进的输出进行全连接；

(8)采用Sigmoid激活函数对磨玻璃样肺结节像素进行分类，并取0.5的阈值生成掩模。

仿真实验：

实验首先对预处理好的磨玻璃样肺结节数据和标注数据进行读取，然后通过预先编写好的程序输入神经网络进行模型训练、验证。本实验涉428个病例的794个磨玻璃样肺结节，其中509个作训练集，56个作验证集，229个作测试集，采用测试集预测掩模与医生的标注结果之间的骰子相似系数、重叠率对分割结果进行评价。

仿真实验结果如图6和表2所示。

表2骰子相似系数、重叠率指标信息

通过训练集与验证集的损失率与重叠率对比发现，损失不断减小，网络不断优化，且最终训练与验证的损失值基本一致，同时，训练与验证的重叠率曲线拟合得也很好，不存在过拟合或欠拟合现象，重叠率达到71.98％，这个结果说明本发明在对磨玻璃样肺结节的分割有效。

通过图6和表2的结果可知，本发明方法能对磨玻璃样肺结节进行快速、准确分割。

实施例2

本实施例提供一种计算机设备，包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如实施例1所述磨玻璃样肺结节自动分割方法的指令。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。