一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法

摘要

一种残差ECA通道注意力UNet结合TRW‑S的肺结节分割方法，它包括以下步骤：步骤1：读取肺部CT影像，对影像进行预处理；步骤2：切割出肺结节图片并生成对应的掩膜；步骤3：对获取的肺结节图片及对应的掩膜进行数据集的划分以获得训练集、验证集、测试集；步骤4：构建残差ECA通道注意力UNet深度学习网络；步骤5：将所获得的训练集、验证集输入构建的深度学习网络中进行训练；步骤6：将所获得的测试集输入训练好的网络以获得预测图；步骤7：将预测图输入基于马尔科夫随机场的顺序树加权信息传递算法(TRW‑S)进行边缘平滑；步骤8：输出预测图像。

说明书

技术领域

本发明属于图像分割技术领域，具体涉及到一种残差注意力UNet网络与顺序树重加权信息传播(TRW-S)算法结合的肺结节分割方法。

背景技术

肺癌是如今全球发病率最高的癌症，占所有癌症发病率的11.6％，2019年肺癌位居中国男性发病第一位，吸烟是导致肺癌的最重要原因。肺部恶性结节是肺部肿瘤产生的先兆，表现在CT图像上的特征是直径小于3cm的肺部高密度白影或者磨玻璃状虚影，使用分割算法对肺部结节进行病灶分割会辅助医生对于病情的判断。也可以通过分割下来的病灶进行进一步的病灶良恶性分类。尽早的发现，辨别，跟踪，去除恶性肺结节病灶是预防肺癌的重要手段。人工进行肺结节的筛选，分辨往往需要消耗影像科医生大量的时间精力，使用机器算法能够辅助医生进行诊断，减小医生的工作强度。

运用端到端的深度学习网络进行图像分割已经成为图像语义分割的主流，基于Unet及其改进的全卷积神经网络通过训练，可以对肺部结节进行像素级分类，最后输出二值图像标记出肺结节区域及其边缘。全卷积网络结合高维的位置信息和低维的边缘信息，通过解码-编码模式完成语义分割的任务。但不足在于：肺结节的CT影像由于边缘容积效应的影响，采用Unet及其改进网络进行分割往往存在着边缘模糊的问题，并且一些病灶较小、或病灶组织与周围组织差异较小时，肺结节比较难以完整的分割出来。通过引入了经过处理的公开数据集，将其与现有的通用医学图像分割方法进行对比，可以发现，采用UNet及其改进方法无法得到较好的肺结节分割效果；其根本原因在于：这些网络训练过程中波动较大，无法很好的获取通道之间的联系，并且最后的结果边缘定界模糊，甚至在病变区域内部存在一些错误判断的问题；本发明的目的是为了解决所述的技术问题。

发明内容

本发明的目的是为了解决采用UNet及其现有的UNet改进网络对肺部结节进行分割存在的边缘定界模糊、病变区域内部分割不一致的技术问题。

一种残差ECA通道注意力UNet结合TRW-S的肺结节分割方法，它包括以下步骤：

步骤1：读取肺部CT影像，对影像进行预处理；

步骤2：切割出肺结节图片并生成对应的掩膜；

步骤3：对获取的肺结节图片及对应的掩膜进行数据集的划分以获得训练集、验证集、测试集；

步骤4：构建残差ECA通道注意力UNet深度学习网络；

步骤5：将所获得的训练集、验证集输入构建的深度学习网络中进行训练；

步骤6：将所获得的训练集输入训练好的神经网络中以获得预测图；

步骤7：将预测图输入基于马尔科夫随机场的顺序树加权信息传递算法(TRW-S)进行边缘平滑；

步骤8：输出预测图像。

在步骤1中，读取目标数据集中指定格式的肺部CT影像；将CT影像的窗位、窗宽进行调整。

在步骤2中，切割出CT图像中具有肺结节的部分，并生成肺结节对应的掩膜图片。

在步骤4中，所构建的残差ECA通道注意力UNet深度学习网络具体为：

输入层→卷积模块→第一个残差ECA通道注意力模块(由两个3×3的卷积，BN层与一个ECA通道注意力模块形成的组合结合残差连接组成)→第一个最大池化层→第二个残差ECA通道注意力模块→第二个最大池化层→第三个残差ECA通道注意力模块→第三个最大池化层→第四个残差ECA通道注意力模块→第四个最大池化层→空洞卷积金字塔模块→第一次两倍上采样，第一次两倍上采样形成的特征图与第四个残差ECA通道注意力模块形成的特征图进行通道融合→第一个ECA通道注意力模块(由两个3×3的卷积，BN层与一个ECA通道注意力模块组成)→第二次两倍上采样，第二次两倍上采样形成的特征图与第三个残差ECA通道注意力模块形成的特征图进行通道融合→第二个ECA通道注意力模块→第三次两倍上采样，第三次两倍上采样形成的特征图与第二个残差ECA通道注意力模块形成的特征图进行通道融合→第三个ECA通道注意力模块→第四次两倍上采样，第四次两倍上采样形成的特征图与第一个残差ECA通道注意力模块形成的特征图进行通道融合→第四个ECA通道注意力模块→卷积模块→sigmoid函数→预测图。

在步骤5中，在进行神经网络的训练时，使用二元交叉熵与置信度结合的损失函数，使用Nadam作为优化函数，使用交并比作为模型的评价指标。

在步骤7中对预测图构建马尔科夫随机场，对二元项进行平滑处理，提高分割效果的边缘连续性与区域内部一致性，具体包括以下步骤：

7-1)在深度学习网络输出的灰度预测图中构建马尔科夫随机场，将图像的每个像素作为马尔科夫随机场的一个节点，使用像素灰度值作为节点的一元项权重；

7-2)构建基于马尔科夫随机场的顺序树加权信息传递算法(TRW-S)对分割边缘进行二元项平滑，其中的一元项权重即通过分割网络产生的分割结果的像素数值大小。

与现有技术相比，本发明具有如下技术效果：

1)现有技术使用全卷积神经网络分割出肺结节之后，常采用硬阈值方法直接对分割结果进行二值化，这样没有考虑到每个像素之间的影响；本发明在深度学习网络输出的图像中构建基于马尔科夫随机场的顺序树加权信息传递算法，通过像素间信息传递更好的确定肺结节的边界，同时，对于一些病变区域内部的灰色区域(即分割不准确区域)也可以依靠其周围的病变像素对其的影响进行调整，最终达到分割区域内部一致性高和分割边界合理清晰的目的；

2)本发明改进了UNet的主干网络架构，在其主干网络中使用残差网络结合ECA通道注意力的方式，并使用ASPP对网络进行改进；

3)由于网络的解码器中加入残差结构对分割结果影响不大，因此，本发明在UNet的主干网络的编码部分中加入了残差结构，并使用残差结构直接把输入信息传到输出，减小了信息的损耗；对网络而言减少了梯度爆炸的问题，从而，使构建的网络模型收敛得更快、更好；

4)在本发明构建的网络中加入ECA通道注意力机制能够使得模型更好的关注重要通道的信息，来提升模型的训练效果；在模型中使用ASPP空洞卷积金字塔能够使得模型更好的获取多尺度信息，提高对小病变的检测效果，最后在其插入批标准化来防止模型过拟合。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1为本发明的流程图；

图2为本发明中神经网络的结构图；

图3为本发明的实验结果图。

具体实施方式

如图1至图2所示，一种肺结节分割方法，它包括以下步骤：

1.读取LIDC-IDRI数据集中dcm格式的肺部CT影像

2.将CT影像的窗位调整至1600，窗宽调整至450

3.读取XML标注文件，通过标注信息切割出CT图像中具有肺结节的部分，大小为64*64读取XML标注文件，通过边缘的分割信息生成肺结节对应的掩膜图片；

4.将步骤3中截取的图片进行数据集的划分

5.构建残差ECA通道注意力UNet深度学习网络

6.将步骤五中划分后的训练集与验证集输入步骤6构建的网络中进行训练

7.将测试集输入步骤7中训练好的网络中得出预测图

8.将步骤7中的输出图输入基于马尔科夫随机场的顺序树加权信息传递算法(TRW-S)进行边缘平滑

9.输出预测图像；

在步骤1中LIDC-IDRI数据集是由美国国家癌症研究所发起收集，一共有1018个研究病例，每个病例大约有200-400张CT图像不等，并且由四位专业的医生标注，每张CT图片的大小为512*512，本方法选取的是其中3mm-33mm的包含结点完整轮廓的肺部结节切片进行分割。

在步骤3中在根据数据集中XML文件标注的位置信息将含有结点部分以结点为中心截取为64*64大小的图片，根据结点轮廓信息坐标值生成对应的边界图片，将边界通过算法填满得到对应的掩膜图片。最后截取出10454张的肺结节图片及对应的掩膜。

在步骤4中使用8:1:1的比例进行数据集划分，其中训练集有8363对图片，验证集有1045对图片，测试集有1046对图片。

在步骤5中构建残差ECA通道注意力UNet全卷积神经网络：

输入大小为64×64的肺结节图像在经过一个1×1卷积之后得到A，进入一个残差ECA通道注意力模块，具体是A经过两个3×3的卷积，BN层与一个ECA通道注意力模块得到B，A经过1×1的卷积后与B逐元素相加得到B1，通过最大池化层得到B2，特征图大小变成了32×32，通道数变成128。B2通过一个残差ECA通道注意力模块后得到C1，C1经过一层最大池化层得到C2，特征图大小变成了16×16，通道数变成256。C2通过一个残差ECA通道注意力模块得到D1，D1经过一层最大池化层得到D2，特征图大小变成了8×8，通道数变成512。D2通过一个残差ECA通道注意力模块得到E1，E1经过一层最大池化层得到E2，特征图大小变成了4×4，通道数变成1024,E2通过一个空洞金字塔卷积模块获取多尺度信息得到F。F经过两倍上采样得到E-1，E-1与E1进行通道融合后经过两层3×3卷积，BN层与ECA通道注意力后得到E-2。E-2经过两倍上采样得到D-1，D-1与D1进行通道融合后经过两层3×3卷积，BN层与ECA通道注意力后得到D-2。D-2经过两倍上采样得到C-1，C-1与C1进行通道融合后经过两层3×3卷积，BN层与ECA通道注意力后得到C-2。C-2经过两倍上采样得到B-1，B-1与B1进行通道融合后经过两层3×3卷积，BN层与ECA通道注意力后得到B-2。B-2在经过1×1卷积与sigmoid函数之后得到A-1为预测结果。

在步骤6中使用了二元交叉熵与置信度结合的损失函数，使用Nadam作为优化函数，使用交并比作为模型的评价指标，batch_size设为32，学习率为1e-4,在训练了200轮之后效果达到了最优。并且通过验证集精度对模型超参数进行调整。

在步骤8中对输出图构建马尔科夫随机场，对二元项进行平滑处理，提高分割效果的边缘连续性与区域内部一致性，具体包括以下步骤：

8-1)在本发明构建的网络输出的灰度预测图中构建马尔科夫随机场，将图像的每个像素作为马尔科夫随机场的一个节点，使用像素灰度值作为节点的一元项权重；

8-2)构建基于马尔科夫随机场的顺序树加权信息传递算法(TRW-S)对分割边缘进行二元项平滑，其中的一元项权重即通过分割网络产生的分割结果的像素数值大小。