基于对抗训练的半监督CT图像分割方法

摘要

本发明涉及图像处理技术领域，具体涉及一种基于对抗训练的半监督CT图像分割方法，包括以下步骤：首先获取肺部的三维CT图像，建立体素级标注的患病数据集、未标注的患病数据集及健康数据集；接着将三种数据集中的CT图像依次输入给生成器和分割器，分别得到合成的健康图像和分割掩码。然后将合成的健康图像的掩码区域和输入图像的反掩码区域拼接得到恢复的健康图像；合成的健康图像的掩码区域的值设为0得到反掩码图像。最后以对抗训练的方式让两个判别器分别监督恢复的健康图像和反掩码图像，来提高分割器的分割和生成器的效果。本发明实现了使用少量体素级标记样本来得到性能准确的分割模型，特别设计的分割器有效地提高了特征表示能力。

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种基于对抗训练的半监督CT图像分割方法。

背景技术

背景技术涉及：肺部CT图像分割和注意力机制。

1)肺部CT图像分割

肺部CT在诊断肺部疾病方面具有更高的准确性，已有不少工作使用深度学习技术用于肺部医学图像。但是之前的不少工作针对的是肺部图像的分类任务，他们不能像分割任务一样体现出病变区域的位置和大小。应用CT图像对感染区域进行分割可以帮助放射科医生更好地对病变区域进行定量分析。对病灶区域的分割掩码进行定量分析可以得到肺部相关的一系列有意义的诊断结果。

目前，深度学习已被初步应用于肺部的CT分割任务，但是该方法需要大量的训练数据。在临床上，肺部的三维CT图像数据标注十分困难，放射科医生注释一个肺部CT体积品均需要花费3个小时以上。所以，带体素级标签的肺部CT图像的稀缺是一个重要的问题。图像合成和数据增强能够缓解体素级别标签缺失的问题。主动学习和自学习可以为未标注的数据提供伪标签来优化分割模型。生成对抗网络(GAN)和类激活图(CAM)通过使用弱标签，如带有CT的切片级标签或体积级标签的数据来训练分割模型，以此来应对像素级或体素级标签的缺失。但是，使用伪标签来训练模型可能会引入噪声，影响模型的性能，并且模型仅仅在带有弱标签数据上被训练，往往失败得到一个令人满意的分割掩码。

2)注意力机制

计算机视觉中注意力机制的基本思想是让系统学会注意并能够忽略不相关的信息而专注于关键信息。近年来，注意力模型被广泛应用于图像处理、语音识别、自然语言处理等各个领域。随着深度学习发展到今天，构建一个具有注意力机制的神经网络开始变得越来越重要。一方面，这个神经网络可以自主学习注意力机制，另一方面，注意力机制又可以帮助理解神经网络所看到的世界。近年来，关于深度学习和视觉注意力机制结合的研究工作大多集中在使用掩码形成注意力机制。掩码的原理是通过另一层新的权重来识别图像数据中的关键特征。通过学习和训练，深度神经网络可以学习到每张新图像中需要注意的区域。

发明内容

本发明的目的是解决体素级别CT图像数据标签短缺的问题，提出了一种基于对抗训练的半监督CT图像分割方法。

实现本发明目的的具体技术方案是：

一种基于对抗训练的半监督CT图像分割方法，该方法包括如下步骤：

步骤1)获取肺部三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据集D及健康数据集H，设标注的患病图像为I

步骤2)对于数据集中的任意一张输入图像，对其进行包括图像裁剪、重采样和标准化的图像预处理操作后得到图像I

步骤3)对分割掩码

步骤4)取生成器结果I

步骤5)取生成器结果I

步骤6)构建半监督CT图像分割模型，模型包括生成器G、分割器S、判别器D

所述半监督CT图像分割模型包括四种损失，即监督损失，重构损失，判别损失1和判别损失2；监督损失在输入CT图像属于体素级标注的患病数据集时生效；重构损失是模型输入和生成器G结果之间的均方误差MSE损失，以监督生成器G产生更真实的健康CT图像；判别损失1是对抗损失，判断输入图像是真实图像还是合成的图像，以监督恢复的健康图像的质量；判别损失2是对抗损失，判断输入的图像来自真实的模型输入图像还是生成器G生成的图像，以监督反掩码图像的质量；使用基于对抗训练的模型优化方法不断优化所述损失，直到损失收敛；

步骤7)当模型训练完成后，给定待分割的三维CT图像，输入给分割器S，即可得到图像的体素级的三维分割掩码。

所述步骤1)具体包括：

步骤a1：对通过专业设备采集三维CT图像样本得到原始数据集；

步骤a2：将原始数据集分为患病数据集和健康数据集，随机采样患病数据中五分之一的数据，由人工专家进行标注，作为体素级标注的患病数据集V；其余图像数据作为未标注的患病数据集D，所有的健康图像数据构成健康数据集H；

步骤a3：依次将体素级标注的患病数据集V、未标注的患病数据集D和健康数据集H中的图像输入给分割器和生成器，模型的输入CT图像记为I

所述步骤2)中的图像预处理操作具体包括：

(1)图像裁剪

图像裁剪将三维的医学图像裁剪到它的非零区域，即在图像中寻找一个最小的三维边界框，该边界框区域以外的值为0，使用这个边界框对图像进行裁剪；

(2)重采样

重采样可以解决在三维CT数据集中，不同的体素图像所代表的实际空间大小不一致的问题。为了统一所有CT图像的分辨率大小，使用重采样对不同CT图像分辨率进放缩，以将分辨率统一为0.5mm×0.5mm×0.5mm；

(3)标准化

为了使每张图像具有相同的分布的灰度值，将CT图像灰度值的最小值和最大值设置为300和3000；灰度值小于300的值被提高为300，而灰度值大于3000的值被减小为3000；接着对CT图像的体素值进行归一化，得到[0,1]之间的值，然后将这些值放缩到[0,255]区间。

步骤6)所述的生成器G和判别器D

步骤6)所述的分割器S基于3DU-Net，在分割器S中设计了特征增强模块，用于增强编码器的特征表示，特征增强模块中包含通道注意力和空间注意力。；为了在内存使用和分割精度之间取得平衡，在分割器S中使用了四次2倍的下采样；分割器S采用了密集空洞空间金字塔池化的结构，能够使用不同大小的膨胀率来组合不同尺度的特征，很好地实现了特征的重用；分割器S中膨胀卷积(dilated convolution)使用了3，6，12的膨胀率；为了提高学习到的特征的质量，相同尺度的特征通过快捷连接的方式进行融合；此外，相同尺度的特征通过快捷连接的方式进行融合，这提高学习到的特征的质量。考虑到的3D分割模型的内存使用情况，通道数设置为16个。

步骤6)所述基于对抗训练的模型优化方法，采用基于Adam优化器的梯度下降算法来迭代优化分割器S、生成器G、判别器D

(1)初始化判别器D

(2)优化分割器S和生成器G：冻结判别器D

(3)优化判别器D

(4)优化判别器D

重复(1)-(4)，iter大于iter

本发明的生成器和判别器的设计遵循CycleGAN的结构，此外在最后一层使用全连接层来连接分类器得到最终的判别结果。将频谱归一化操作添加到判别器。关于3D图像的内存使用情况，基本通道数从64个减少到16个。

相对于现有技术，本发明的有益效果为：

1、本发明提出了一种基于对抗训练的半监督CT图像分割方法，用于在肺部三维CT图像中的病灶区域分割。相比二维分割器，三维分割器可以结合图像层间信息，所以能够保证隔层图像掩码之间的一个变化连续性。本发明可以仅仅使用少量体素级注释的数据和其余的未标注数据来进行训练。

2、本发明以对抗训练的方式优化模型中的生成器、分割器和判别器，并使分割器从体素级别的注释的数据中学习健康肺部和病灶的特征信息，来逐渐提高模型的分割性能，这极大地减少了训练模型所需的体素级别标签的数量。

3、为了更好地处理肺部感染区域与正常组织之间的对比度低的问题，本发明设计了一个特征增强模块来处理模糊不清的边界。具体来说，通道注意力用于隐式地增强特征之间的对比度，从而突出病灶区域的边界信息，空间注意力生成空间注意力图用来突出显示重要的区域。特征增强模块通过融合这些特征有效地增强了病灶区域的特征表示。

附图说明

图1为本发明流程图；

图2为本发明对抗半监督模型示意图；

图3为本发明分割器示意图；

图4为本发明结合了通道和空间注意力的特征增强模块示意图。

具体实施方式

以下结合具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

本发明的整个过程包括步骤1)-7)，请参照图1和图2。图1是本发明的基于对抗训练的半监督CT图像分割方法流程图，图2是对抗半监督模型示意图。

本发明的过程：

步骤1)获取肺部的三维CT图像，建立体素级标注的患病数据集V、未标注的患病数据集D，健康数据集S，设标注的患病图像为I

步骤2)对于所有的输入数据，输入给生成器得到健康的重构版本I

步骤3)对分割掩码

步骤4)取生成器结果I

具体的，设一张未标注的患病数据为I

1)

其中，φ是生成伪健康图像的函数；

步骤5)取生成器结果I

因为没有监督信号去约束I

2)

接着I

步骤6)构建三维对抗半监督模型，并迭代优化生成器、分割器、判别器D

为了完全欺骗判别器D

其中θ

将合成图像标记为0，真实健康图像目标函数

5)

6)其中，

将合成健康区域标记为0，真实健康区域标记为1，其中目标函数

7)

其中，

本发明的分割器参照图3。图3为分割器示意图。

本发明提出了特征增强模块，使用通道注意力和空间注意力来自适应优化特征以优化分割器，参照图4，图4为结合了通道和空间注意力的特征增强模块示意图。具体地说，通道注意力模块学习全局参数以突出显示有用的边界信息。空间注意力模块计算出肺部区域的注意力权重图。通道注意力、空间注意力可以改善感兴趣区域的特征的表示能力，从而实现突出重要特征并抑制不必要的特征。给定中间特征映射

通道注意力：为了增强特征的对比度，首先使用平均池和最大池化操作聚合特征图上的空间信息，生成两个不同的空间上下文描述符平均池化特征和最大池化特征。这两个描述符被转发到一个共享参数的多层感知机网络，最后将结果经过sigmoid函数以产生通道注意图M

8)

其中，F为通道注意力的输入特征；σ表示sigmoid激活函数；AvgPool为平均池化函数；MaxPool为最大池化函数。

空间注意力：空间注意力的目的是丢弃不重要的特征并突出显示感兴趣的特征，这些特征有利于分割COVID19感染。空间注意力利用特征间的空间关系生成空间注意图M

其中，σ表示sigmoid激活函数；Conv是大小为7x7x7的卷积运算；

由于合成的图像I

为了提高步骤6)中对抗训练的稳定性，本发明进一步设置了辅助约束。首先，健康图像I

其次，为了进一步地提高生成器的性能，本方法使用重构损失

其中MSE(·)是均方误差函数；G(I

其中，G(I

以便通过将I

综上所述，通过添加四个新的损失作为辅助约束来扩展损失函数

其中，λ

步骤7)基于所述训练好的分割器，实现CT图像分割。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。