肺部轮廓分割、肿瘤免疫浸润分类系统及方法

摘要

本发明提供了肺部轮廓分割、肿瘤免浸润分类系统及方法。包括：对第一数据集中的第一数据进行预处理；将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；将第二数据集输入分割网络进行分割得到肺部区域分割结果；根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。该肺部轮廓分割、肿瘤免浸润分类系统改善了现有技术中医生肉眼区分不同的免疫浸润类型在CT上的影像表现难度较大的问题。

说明书

技术领域

本发明涉及计算机多媒体技术领域，尤其是涉及一种基于深度学习的肺部轮廓分割、肿瘤免浸润分类系统及方法。

背景技术

通过发挥促肿瘤作用和抗肿瘤作用，浸润肿瘤的免疫细胞可以深刻影响肿瘤的进展以及抗癌治疗的成功。因此，肿瘤浸润免疫细胞的量化有望揭示免疫系统在人类癌症中的多方面作用，并参与肿瘤逃逸机制和对治疗的反应。我们可以使用生物信息学方法从人肿瘤的RNA测序数据中量化肿瘤浸润的免疫细胞。

医生团队对肺癌肿瘤免疫浸润进行分析，通过对样本进行免疫分型，并分析免疫相关细胞激活程度，结合关键蛋白表达等分析了不同亚型样本的免疫浸润程度及预测了不同亚型的预后。免疫调节剂及细胞通讯分析则为不同亚型个体的免疫治疗提供指导作用。

CT扫描可探测肺部病变情况，不同的免疫浸润类型在CT上有一定的影像表现，但医生肉眼区分难度较大。

发明内容

本发明的目的在于提供一种基于深度学习的肺部轮廓分割、肿瘤免疫浸润分类系统及方法，该基于深度学习的肺部轮廓分割、肿瘤免疫浸润分类系统能够解决现有技术中医生肉眼区分不同的免疫浸润类型在CT上的影像表现难度较大的问题。

为了实现上述目的，本发明提供如下技术方案：

一种肺部轮廓分割方法，所述方法具体包括：

S101，对第一数据集中的第一数据进行预处理；

S102，将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；

一种肿瘤免疫浸润分类方法，所述方法具体包括：

S101，对第一数据集中的第一数据进行预处理；

S102，将预处理后的所述第一数据输入Unet网络进行训练得到分割网络；

S103，将第二数据集输入分割网络进行分割得到肺部区域分割结果；

S104，根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步地，得到第三数据集具体包括：以肿瘤区域最大区域所在的CT切片为中心，上下各取8层CT切片，形成所述第三数据集。

进一步地，得到免疫浸润类型分类具体包括：将所述第三数据集中的CT图像读取为RGB三通道，通过imagenet均值方差将所述RGB三通道归一化；将肿瘤最大矩形区域的角点坐标输入所述分类网络，所述分类网络根据生成肿瘤区域为1，其余区域为0的注意力图；resnet输出特征图，根据所述特征图的大小等比例缩放所述注意力图。

进一步地，得到免疫浸润类型分类具体还包括：将RGB三通道归一化后的第三数据集和所述注意力图输入所述分类网络，通过resnet作为backbone提取第一数据和所述注意力图中肿瘤的高阶特征。

进一步地，得到免疫浸润类型分类具体还包括：将所述高阶特征输入注意力模块，将所述特征图与所述注意力图相乘，得到肿瘤局部特征图，将肺部全局特征图和所述肿瘤局部特征图拼接在一起，作为注意力模块的输出；

将所述肺部全局特征图和所述肿瘤局部特征图做平均池化，得到embedding后的第一特征向量。

进一步地，得到免疫浸润类型分类具体还包括：通过门控机制将所述肺部全局特征图和所述肿瘤局部特征图降维处理为256通道，通过线性层tanh函数激活得到权重值，通过线性层sigmoid函数得到门控值，所述权重值与所述门控值相乘得到门控权重，通过线性层将所述门控权重降维至16，得到每个肺部全局特征图和每个所述肿瘤局部特征图对应的特征向量权重。

进一步地，得到免疫浸润类型分类具体还包括：将所述第一特征向量乘以所述特征向量权重得到加权后的第二特征向量，将16个通道的第二特征向量相加，得到融合权重的第三特征向量；

所述第三特征向量通过全连接层，得到预测结构，使用交叉熵函数转为不同类型的概率，得到免疫浸润类型分类。

一种肺部轮廓分割系统，包括：

预处理模块，用于对第一数据集中的第一数据进行预处理；

分割模型，其包括Unet网络且所述分割模型与所述预处理模块通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果。

一种肿瘤免疫浸润分类系统，包括：

预处理模块，用于对第一数据集中的第一数据进行预处理；

分割模型，其包括Unet网络且所述分割模型与所述预处理模块通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；

分类模型，其与分割模型通过数据接口，将肺部区域分割结果和肿瘤最大矩形区域的角点坐标输入分类网络，得到预测的免浸润类型。

本发明具有如下优点：

本发明中的肺部轮廓分割、肿瘤免浸润分类系统，提出了一套算法流程用于从CT图像序列得到病人的免疫浸润类型。结合了图像语义分割模型和基于注意力机制的图片分类模型。首先使用基于Unet的分割网络将肺部区域提取出来，然后将其作为输入进行病人的免疫浸润分类。最终实验结果表明，该方法可以有效地提取肺部病变区域，并能较准确地预测病人免疫浸润类型，对于临床医生而言，可以通过CT得到病理金标准的判断信息，非常有借鉴参考的意义；解决了现有技术中医生肉眼区分不同的免疫浸润类型在CT上的影像表现难度较大的问题。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中肺部轮廓分割方法的流程示意图；

图2为本发明实施例中肿瘤免疫浸润分类方法的流程示意图；

图3为本发明实施例中肺部轮廓分割系统的流程示意图；

图4为本发明实施例中肿瘤免疫浸润分类系统的流程示意图；

图5为本发明实施例中Unet网络的结构示意图。

附图标记说明：

预处理模块10，分割模型20，分类模型30，Unet网络40。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种肺部轮廓分割方法，所述方法具体包括：

S101，对第一数据进行预处理；

本步骤中，对第一数据集中的第一数据进行预处理；

S102，得到分割网络；

本步骤中，将预处理后的所述第一数据输入Unet网络40进行训练得到分割网络；

如图2所示，一种肿瘤免疫浸润分类方法，所述方法具体包括：

S101，对第一数据进行预处理；

本步骤中，对第一数据集中的第一数据进行预处理；

S102，得到分割网络；

本步骤中，将预处理后的所述第一数据输入Unet网络40进行训练得到分割网络；

S103，得到肺部区域分割结果；

本步骤中，将第二数据集输入分割网络进行分割得到肺部区域分割结果；

S104，得到免疫浸润类型分类；

本步骤中，根据所述肺部区域分割结果得到第三数据集，对所述第三数据集中的第三数据进行预处理，同时处理肿瘤最大矩形区域得到注意力图，得到免疫浸润类型分类。

本发明的目的在于提出一种针对肺部区域的图像语义分割模型，并根据肺部肿瘤的多个CT序列预测病人的病理免疫浸润类型。整个流程可以分为两个部分：第一部分是使用深度学习算法提取每个CT序列的肺部区域分割掩盖图，将肺外部干扰信息去除，只保留肺内部的CT图像；第一数据集中的第一数据为CT序列。

第二部分是根据病理金标准得到的病人免疫浸润类型标签，基于肺部CT图像和已知的肺部肿瘤区域信息，训练分类网络得到病人的免疫浸润类型。模型构建同样分为两部分，第一部分构建图像语义分割模型20，搭建Unet网络40，使用800个CT序列数据作为第一数据集，将3张连续CT影像图作为输入进行训练，得到肺部分割结果，使用该模型可以得到肺部区域掩盖图。

第二部分构建免疫浸润分类模型30，使用480个病人的CT序列数据作为第二数据集，以肿瘤区域为中心，上下各取8层CT切片，共计16张切片作为第三数据集，输入进网络中，通过分类网络得到病人的免疫浸润类型。最后分类预测准确率达到77％。

在分割模型20中，本专利使用了Unet网络40作为图像分割模型20。如图3所示，该网络通过编码解码结构，解码结构通过卷积层叠加下采样提取图像特征，解码结构通过反卷积不断地重构空间信息和语义信息。编码器与解码器之间通过跳跃连接将图像的位置信息传递至解码器，使之分割的边缘结果更加准确。这一模块目的是提取肺部区域分割掩盖图，进而将肺外的干扰信息去除。

在分类模型30中，用imagenet预训练的resnet作为骨架网络，在网络顶层使用注意力机制同时关注肺部全局信息与肿瘤局部信息，通过多图片投票的方式得到最终的分类结果。

流程如图2所示。通过模块一得到的肺部区域分割掩盖图，以肿瘤最大区域所在的CT切片为中心，上下各取8张CT切片，共16张切片作为输入，同时放入分类网络进行训练。同时还将肿瘤最大矩形区域的角点坐标输入分类网络，生成肿瘤区域注意力图，肿瘤区域为1，其余部分置零，并根据backbone输出的特征图大小等比例缩放注意力图。

通过resnet提取肿瘤的高阶特征，将其输入注意力模块，将特征图与注意力图相乘，得到肺部肿瘤区域的高阶特征图，将肺部全局的特征图和肿瘤局部特征图拼接在一起，作为注意力模块的输出。将特征图做平均池化，将其输入分类模型30部分，分类模型30也使用了门控机制对不同的图片进行不同权重配比，最终投票得出最后的分类结果。

门控机制首先将特征图降维处理为256通道，权重值由tanh函数激活，门控单元由sigmoid函数控制，两者相乘得到门控注意力值，再将其通过多层感知机得到16张图片的投票权值，使用softmax函数将权重值归一化在0-1之间。将此权重乘以16个经过平均池化的第一特征向量，得到加权后的第二特征向量，压缩其特征至256维度，再用一个线性层作为网络的输出，使用交叉熵损失函数计算其类别概率，得出预测的免疫浸润类型。

本发明提出的肺部轮廓分割方法，包括：

数据预处理

数据格式为医学影像的标准格式Dicom。对于dicom数据，需要统一窗宽窗位并转为PNG图像格式，并做裁剪处理使整个数据集一致。

Unet网络肺部区域分割：

该部分中使用800例标注数据作为第一数据集，第一数据集划分如下：600例作为训练集，100例作为验证集，100例作为测试集。通过该方法得到肺部区域的特征，去除了肺外的多余结构，结果将作为分类网络的输入。

多图注意力机制分类网络：

该部分中使用480例标注数据作为第二数据集，第二数据集划分如下：286例作为训练集，94例作为验证集，100例作为测试集。

应用推理

如图5所示，在处理实际场景中的新到病例数据时，首先使用肺部分割模型20提取肺部区域掩盖图，然后使用分类网络，结合肺部全局信息与肿瘤的局部信息，通过注意力机制融合特征，得到最终的免疫浸润类型分类。

进一步地，将第二数据集输入所述分割网络进行分割具体包括：以肿瘤区域最大区域所在的CT切片为中心，上下各取8层CT切片，形成第三数据集，得到肺部区域分割结果和肿瘤最大矩形区域的角点坐标。

进一步地，得到免疫浸润类型分类具体包括：将所述第三数据集中的CT图像读取为RGB三通道，通过imagenet均值方差将所述RGB三通道归一化；将肿瘤最大矩形区域的角点坐标输入所述分类网络，所述分类网络根据生成肿瘤区域为1，其余区域为0的注意力图；resnet输出特征图，根据所述特征图的大小等比例缩放所述注意力图。

进一步地，得到免疫浸润类型分类具体还包括：将RGB三通道归一化后的第三数据集和所述注意力图输入所述分类网络，通过resnet作为backbone提取所述第一数据和所述注意力图中肿瘤的高阶特征。

进一步地，得到免疫浸润类型分类具体还包括：将所述高阶特征输入注意力模块，将所述特征图与所述注意力图相乘，得到肿瘤局部特征图，将肺部全局特征图和所述肿瘤局部特征图拼接在一起，作为注意力模块的输出。

进一步地，得到免疫浸润类型分类具体还包括：将所述肺部全局特征图和所述肿瘤局部特征图做平均池化，得到embedding后的第一特征向量。进一步地，得到免疫浸润类型分类具体还包括：通过门控机制将所述肺部全局特征图和所述肿瘤局部特征图降维处理为256通道，通过线性层tanh函数激活得到权重值，通过线性层sigmoid函数得到门控值，所述权重值与所述门控值相乘得到门控权重，通过线性层将所述门控权重降维至16，得到每个肺部全局特征图和每个所述肿瘤局部特征图对应的特征向量权重。

进一步地，得到免疫浸润类型分类具体还包括：将所述第一特征向量乘以所述特征向量权重得到加权后的第二特征向量，将16个通道的第二特征向量相加，得到融合权重的第三特征向量。

进一步地，得到免疫浸润类型分类具体还包括：所述第三特征向量通过全连接层，得到预测结构，使用交叉熵函数转为不同类型的概率，得到免疫浸润类型分类。

如图3所示，一种肺部轮廓分割系统，包括：

预处理模块10，用于对第一数据集中的第一数据进行预处理；

分割模型20，其包括Unet网络40且所述分割模型20与所述预处理模块10通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络40进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果和肿瘤最大矩形区域的角点坐标。

如图4所示，一种肿瘤免疫浸润分类系统，包括：

预处理模块10，用于对第一数据集中的第一数据进行预处理；

分割模型20，其包括Unet网络且所述分割模型20与所述预处理模块10通过数据接口相连，用于将预处理后的所述第一数据输入Unet网络40进行训练，得到分割网络，将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；

分类模型30，其与所述分割模型20通过数据接口，将所述肺部区域分割结果和肿瘤最大矩形区域的角点坐标输入分类网络，得到预测的免浸润类型。

本专利使用Dice系数评价分割模型20的性能。在分类网络部分，通过准确率来判断分类的准确性，使用了不同深度的resnet作为backbone，考虑到显存限制和训练精度，最终选取resnet50作为backbone。训练对比了Adam和SGD优化器，Adam训练难以收敛，SGD可以收敛。初始学习率对比了0.01，0.001和0.0001三种，采取了条件梯度衰减策略和warm up的学习率衰减策略。最终使用0.001学习率，验证集2代不变，则学习率变为原来0.1倍的学习率衰减策略组合最佳。最后各个部分的性能指标如下：

在肺部区域分割部分，在测试集上肺叶分割的Dice系数为0.95；

在免疫浸润分类部分，预测准确率达到77％，其中第一类准确率为82％，第二类准确率为66％。

综上，本专利模型可以快速有效的分割肺部区域，结合分类网络可以得到病人的免疫浸润类型分类，达到辅助医生诊断的目的。

该基于深度学习的肺部轮廓分割、肿瘤免疫浸润分类系统使用过程如下：

使用时，操作人员对第一数据集中的第一数据进行预处理；将预处理后的所述第一数据输入Unet网络40进行训练得到分割网络；将第二数据集输入所述分割网络进行分割得到肺部区域分割结果；将所述肺部区域分割结果和医生给定的肿瘤最大矩形区域的角点坐标输入分类网络，得到免疫浸润类型分类。

在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。