一种基于混合监督学习的肝脏CT图像分割系统和算法

摘要

本发明公开了一种基于混合监督学习的肝脏CT图像分割系统和算法，图像分割系统包括图像预处理单元，特征提取单元，词向量分割单元以及单层卷积分类单元，图像预处理单元与特征提取单元进行数据连接，特征提取单元分别与词向量分割单元和单层卷积分类单元进行数据连接。本发明使用多任务框架分别进行分割和分类任务，利用大量弱标签数据和少量强标签达到较高的分割精度，针对多任务之间独立参数量较多的问题，尽量增加多任务之间共享的网络参数，使用一个可学习的词向量v实现分割任务，减少独立参数量，提升多任务之间的结果一致性，本发明对于分类和分割任务，均能保持较高的表现，体现了较好的一致性。

说明书

技术领域

本发明属于医学于计算机科学的交叉领域，具体涉及一种基于混合监督学习 的肝脏CT图像分割系统和算法。

背景技术

CT扫描是一种常规医疗检查手段，利用X射线和探测器围绕人体进行断面 扫描，借助计算机将探测信息重建成横截面视图，即切片，多幅切片可以组合成 人体内部器官组织的三维视图。在腹部CT图像中，对于肝脏的像素级分割有助 于肝脏疾病的病理诊断、手术前的规划以及手术后的评估等，对于治疗和研究肝 炎、肝硬化、肝癌等肝脏疾病有重要意义。肝脏的像素级分割需要对每一层CT 切片中的肝脏部位进行像素级标记，一般由医生在术前规划中完成，但是为了获 取更为微小的组织病变图像，通常会进行高分辨率CT扫描，因此CT切片中的像 素分辨率较高，且切片厚度较薄，造成切片数量增加，从而增加了医生的工作量。

为了让医生能够实现快速准确的肝脏分割，现有的方法大多采用卷积神经网 络接结构，利用大量带像素级标注的CT图像作为监督进行网络训练，使网络实 现分割任务，这种学习方式被称为监督学习，其中CT图像的像素级标注因其带 有分割任务的真值掩模(mask)，被称为强标签。与之相对的，图像级别标注， 即CT切片中是否含目标物体，被称为弱标签。

上述监督学习分割方法存在的问题是，在制作训练数据集的过程中，像素级 图像标注需要大量的时间成本和人力成本，同时需要具有丰富医学经验的医生进 行质量控制，导致强标签的获取难度大。为了解决监督学习对强标签的依赖，传 统的解决方法为数据增强，将原始图像进行裁剪、旋转、翻转等操作扩充训练数 据集，以提高神经网络的泛化能力。但是这种方法的提升有限，并且浪费了除带 有强标签数据外的大量有效数据。因此，近年来有很多研究提出半监督学习方法， 对于无标注的图像，使用生成对抗学习、知识蒸馏等方法产生伪标签，从而实现 训练数据集的扩充，但是这些方法无法避免错误标签对网络学习的影响，难以进 一步提升图像分割精度。对此，有研究提出使用混合监督学习，利用标注成本远 小于强标签的弱标签提升网络的泛化能力，弱标签不需要医生对病灶的精确位置 进行判断和标注，人工标注成本极大减少，并且能够大批量获取，并且由于弱标 签相比于无标签具有准确的图像类别信息，能够更好地提供有效监督，实现分割 精度要求和标注成本之间的平衡，但是现有的混合监督方法通常使用多任务框 架，多个任务之间由于独立参数较多会造成多任务结果不一致，分类任务在一定 程度上影响网络模型的特征表示，进而影响分割精度。

发明内容

针对上述算法的优劣势和存在的问题，本发明提供了一种基于混合监督学习 的肝脏CT图像分割系统和算法，以提升肝脏疾病检查的准确率。本发明是通过 以下技术方案来实现的：

本发明公开了一种基于混合监督学习的肝脏CT图像分割系统，图像分割系统 包括图像预处理单元，特征提取单元，词向量分割单元以及单层卷积分类单元， 图像预处理单元与特征提取单元进行数据连接，特征提取单元分别与词向量分割 单元和单层卷积分类单元进行数据连接。

作为进一步地改进，本发明所述的图像预处理单元的构建过程为：

截断CT切片图像中的HU值范围为[H

作为进一步地改进，本发明所述的特征提取单元的构建过程为：

以U-Net为基本骨架，对于U-Net倒数第二层卷积层的输出特征图，其尺寸满 足(B,C

作为进一步地改进，本发明所述的词向量分割单元的构建过程为：

引入一个可学习的词向量v，维度为C，词向量v与上述目标特征图进行卷积， 得到一个尺寸为(B，1，H，W)的热度图，使用sigmoid激活函数对热度图每个 像素的置信度进行计算，得到每个像素的分割置信度，并且以τ

作为进一步地改进，本发明所述的单层卷积分类单元的构建过程为：

对于上述特征提取单元生成的目标特征图，使用一个可学习的K1×K1卷积核 进行卷积，满足K

本发明还公开了一种基于混合监督学习的肝脏CT图像分割系统的分割算法， 算法分割包括测试阶段和训练阶段，测试阶段的步骤如下：

使用CT扫描获取待分割的腹部CT图像，将CT图像沿人体轴向拆分为单帧二维 CT切片，依次输入图像预处理单元，经过预处理的图像输入特征提取单元，输出 的深层次图像特征被输入到词向量分割单元完成肝脏像素级分割任务。

作为进一步地改进，本发明训练阶段中，构建CT扫描数据集，数据集构建过 程为：采集腹部CT扫描数据，将CT沿人体轴位拆分为一系列二维切片图像，以是 否含有肝脏对所有切片图像进行人工分类，作为弱标签，含有肝脏为前景，不含 肝脏为背景，在所有分为前景的图像中，随机选取远小于前景总量的一部分图像 进行像素级标注，作为强标签，强标签与前景弱标签的数量分别表示为s和w。

作为进一步地改进，本发明在强标签图像中随机采样若干图片依次通过图像 预处理单元，特征提取单元和词向量分割单元，将输出的置信度图像与像素级标 注的强标签的每个对应像素计算二值交叉熵损失Loss

其中x

其中p

作为进一步地改进，本发明在所的弱标签前景图像中随机采样若干图片依次通过图像预处理单元，特征提取单元和单层卷积分类单元，得到这些图像的置信度， 结合图像级别的类别标签计算前景的分类损失Loss

Loss

其中x

Loss

其中x

Loss＝Loss

与现有技术相比，本发明具有的有益效果为：

使用多任务框架分别进行分割和分类任务，利用大量弱标签数据和少量强标 签达到较高的分割精度，针对多任务之间独立参数量较多的问题，尽量增加多任 务之间共享的网络参数，使用一个可学习的词向量v实现分割任务，使用一个1 ×1卷积核进行单层卷积实现分类任务，减少独立参数量，提升多任务之间的结 果一致性。

针对分类任务对网络模型特征表示产生干扰的问题，本发明引入可学习的词 向量v对特征层进行卷积，同时引入度量学习中的三元组损失，显式地对特征表 示进行学习，使得同一类别像素级特征保持一致。

混合监督学习的分割表现明显优于使用少量强标签的监督学习，本发明在分 类和分割指标上均明显优于现有方法，并且对于分类和分割任务，本发明均能保 持较高的表现，体现了较好的一致性。

附图说明

图1是实施例提供的基于混合监督学习的肝脏CT图像分割算法的流程示意 图；

图2是实施例提供的算法网络模型结构示意图及训练阶段损失函数计算示 意图。

具体实施方式

本发明公开了一种基于混合监督学习的肝脏CT图像分割系统，分割系统包含 图像预处理单元，特征提取单元，词向量分割单元以及单层卷积分类单元，图像 分割系统包括图像预处理单元，特征提取单元，词向量分割单元以及单层卷积分 类单元，所述的图像预处理单元与特征提取单元进行数据连接，所述的特征提取 单元分别与词向量分割单元和单层卷积分类单元进行数据连接。

图像预处理单元的构建过程为：

截断CT切片图像中的HU值范围为[H

特征提取单元的构建过程为：

以U-Net为基本骨架，对于U-Net倒数第二层卷积层的输出特征图，其尺寸 满足(B,C

词向量分割单元的构建过程为：

引入一个可学习的词向量v，维度为C，词向量v与上述目标特征图进行卷 积，得到一个尺寸为(B，1，H，W)的热度图，使用sigmoid激活函数对热度图 每个像素的置信度进行计算，得到每个像素的分割置信度，并且以τ

单层卷积分类单元的构建过程为：

对于上述特征提取单元生成的目标特征图，使用一个可学习的K

本发明还公开了一种基于混合监督学习的肝脏CT图像分割算法，算法在测试 时执行以下步骤：图1是实施例提供的基于混合监督学习的肝脏CT图像分割算法 的流程示意图，使用CT扫描获取待分割的腹部CT图像，将CT图像沿人体轴向拆分 为单帧二维CT切片，依次输入图像预处理单元，经过预处理的图像输入特征提取 单元，输出的深层次图像特征被输入到词向量分割单元完成肝脏像素级分割任 务。

算法在训练时执行以下步骤：构建CT扫描数据集，采集腹部CT扫描数据， 将CT沿人体轴位拆分为一系列二维切片图像，以是否含有肝脏对所有切片图像 进行人工分类，作为弱标签，含有肝脏为前景，不含肝脏为背景，在所有分为前 景的图像中，随机选取远小于前景总量的一部分图像进行像素级标注，作为强标 签。

强标签与前景弱标签的数量分别表示为s和w，图2是实施例提供的算法网 络模型结构示意图及训练阶段损失函数计算示意图，在强标签图像中随机采样若 干图片依次通过图像预处理单元，特征提取单元和词向量分割单元，将输出的置 信度图像与像素级标注的强标签的每个对应像素计算二值交叉熵损失Loss

其中x

其中p

在弱标签前景图像中随机采样若干图片依次通过图像预处理单元，特征提取 单元和单层卷积分类单元，得到这些图像的置信度，结合图像级别的类别标签计 算前景的分类损失Loss

Loss

其中x

Loss

其中x

Loss＝Loss

本发明在公开的LiTS腹部CT数据集中进行了实验，其中强标签与前景弱标 签的比例为1∶49。首先对于是否引入三元组损失进行了消融实验，结果如下：

表1

其中准确率、精准率、召回率、F1、AUC为分类任务常用指标，Dice和IOU 为分割任务常用指标，根据表1的结果可以看出，引入三元组损失可以明显提升 网络在分类和分割任务中的表现。此外，本发明与现有的混合监督方法的对比结 果如下：

其中U-Net表示基于U-Net框架使用强标签进行监督学习，U-Net-m表示使 用U-Net完成分割任务，并将中间层结果通过全连接网络完成分类任务的多任务 框架，Pawel-19代表Pawel等人发表的“Deep learning with mixed supervision for brain tumorsegmentation”中的多任务网络结构。结果表明，混合监督学 习的分割表现明显优于使用少量强标签的监督学习，本发明在分类和分割指标上 均明显优于现有方法，并且对于分类和分割任务，本发明均能保持较高的表现， 体现了较好的一致性。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范 围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属 于本发明所要求保护的范围。