基于局部背景增广和多通道迁移学习的胰腺肿瘤分类方法

摘要

一种基于局部背景增广和多通道迁移学习的胰腺肿瘤分类方法，首先采用较先进的病理分类模型在胰腺囊性肿瘤ROI进行良/恶性分类预训练，以筛选易混淆的肿瘤图像；接着，对该类图像进行基于GAN的数据增广，以提高易混淆图像的训练集样本量；最后，预训练的分类器在增广后的训练集进行多通道、多阶段的迁移学习，以逐步提高分类器对良/恶性胰腺囊性肿瘤ROI图像的分类准确性。在来自合作医院的胰腺囊性肿瘤CT数据集上的实验证明，本发明的方法的良/恶肿瘤分类性能优于现有的分类方法。

说明书

技术领域

本发明涉及医学图像的合成和分类方法。

背景技术

由于胰腺囊性良/恶性肿瘤在同模态影像学上具有较高的相似性，医生仅靠经验对医学影像中的肿瘤进行病理诊断的准确率不高。虽然，穿刺技术可被用于病理诊断，但该操作通常会对受试者造成损伤，严重的情况下会导致并发症。因此，采用计算机辅助诊断技术对胰腺囊性肿瘤的医学图像进行病理诊断，具有很大的临床意义。

与传统分类模型相比，基于深度学习的分类模型已被证明在胰腺囊性良恶性肿瘤分类任务上具有优越性。不幸的是，由于带肿瘤医学图像的数量有限，所训练的分类模型对临床表征不够突出的肿瘤图像的良恶性分类效果不尽如人意。

现有技术存在的技术缺陷为：由于该类肿瘤在同模态影像学上具有高相似性，现有增广方法无法确保合成的病理图像同时满足临床表征准确性和样本多样性；由于不同模态、部位的医学图像具有较大差异，现有的迁移学习框架难以将其他模态和其他部位的医学图像分类器性能迁移到胰腺囊性良恶性肿瘤分类任务上。

发明内容

为克服现有技术的不足，本发明提出了一种基于局部背景增广和多通道迁移学习的胰腺肿瘤分类方法，增广了带肿瘤的胰腺CT图像，供基于深度学习的分类模型在合成图数据集和真实图数据集上进行多阶段的多通道迁移学习，以提升分类器的分类性能。

本发明解决其技术问题所采用的技术方案是：

一种基于局部背景增广和多通道迁移学习的胰腺肿瘤分类方法，所述方法包括如下步骤：

1)数据预处理

对于带肿瘤边缘勾勒标签及病理标签的胰腺囊性良/恶性肿瘤CT图，根据其勾勒标签获得包含肿瘤及周边组织信息的bounding-box，在包含肿瘤区域的最小矩形框基础上，向外拓展设定个像素点，作为数据集；

采用基于深度学习的分类模型对所获数据集进行易分类和易混淆的二分类任务，用多个分类模型在该数据集上进行k-fold交叉训练、测试；若某一样本在各分类器中都能被正确分类，则该样本被归类为易分类的胰腺肿瘤样本A；若某一样本在任一分类器中被分类错误，则该样本被归类为易混淆的胰腺肿瘤样本B；

分类性能最好的分类模型，被采用为后续阶段的分类器；

2)对易混淆数据集B的增广

对数据集B，将良性肿瘤区域的前景图构成数据集X(x

采用条件生成对抗网络cGAN对B进行增广，通过对具有相同病理标签的肿瘤勾勒标签内的区域和周边组织区域的融合及微调，所得样本可直接用于后续的分类训练；

设应用于良性样本增广的cGAN为cGAN

L

L

L

L

L

L

其中，G是cGAN的生成器，D是cGAN的辨别器，n和m是样本X，Y和Z的序号下标，1≤n,m≤i,n≠m；a和b是样本P，Q和R的序号下标，1≤a,b≤j,a≠b；λ为权重超参；G

3)在数据集A和B

基于迁移学习的多通道分类器微调是在数据集B

经该阶段训练后的网络，对三个通道中层网络层的参数进行固定，深层网络层的参数在下一阶段进行更新；

4)在数据集A和B上的多通道网络深层网络参数微调

多通道分类器微调是在数据集A和B上进行的，数据集B中带易混淆肿瘤的CT图较B

经该阶段训练后的网络，网络内的所有参数被固定；

5)胰腺肿瘤分类

对训练好的单前端-三中后端分类器，在应用阶段，输入带肿瘤的胰腺样本，得到三个分类结果，分别对应通道1至3；当第一个分类结果为良性或恶性时，该结果即为最终的预测结果；当第一个分类结果为易混淆样本时，最终预测结果有通道2和3共同决定：当通道2和3预测结果一致时，即都为良性或恶性，则该结果为预测结果；当这两个通道的预测结果不一致时，则输入样本需要穿刺测试才能确定病理。

进一步，所述步骤3)中，将预训练分类器的浅层网络层参数进行固定，对参数可微调的中层和深层网络层进行复制，得到前端为单通道，中后端为三通道的深度学习分类器，三通道分别命名为中后端通道-1，中后端通道-2和中后端通道-3，中后端通道-1对来自A和B

利用网络输出的预测标签和真实标签之间的损失值，两个通道的参数被更新；

B

本发明的技术构思为：首先，利用现有分类器和分类标签，将胰腺肿瘤分为较易准确分类(数量往往较多)和较难准确分类的样本(数量往往较少)，明确分类器性能提升的瓶颈之处；接着，对较难准确分类的样本进行增广，确保分类器在该类样本上训练时具有足够多的样本量；最后，在增广样本和真实样本上进行两阶段三通道的中后端网络参数微调，在确保对较易分类样本分类性能不减弱的前提下，从医学图像层面和特征图像层面对易混淆良恶性肿瘤进行病理分析，以提升分类器的性能。

本发明的有益效果主要表现在：1、提升了分类模型对易混淆胰腺囊性肿瘤良恶性病理分类准确度；2、对于不易混淆的肿瘤，仍可保证良好的分类性能；3、对于分类难度较大的样本，可进行标记以防误诊。

附图说明

图1是本发明的整体流程图。

图2是本发明的一种基于深度学习的分类模型对所获数据集进行易分类和易混淆的二分类任务的预处理流程图。

图3是本发明的一种基于条件生成对抗网络的医学图像合成方法的流程图。

图4是本发明的一种基于迁移学习的多通道分类器中后层参数确定的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图4，一种基于局部背景增广和多通道迁移学习的胰腺肿瘤分类方法，包括如下步骤：

1)数据预处理

对于带肿瘤边缘勾勒标签及病理标签的胰腺囊性良/恶性肿瘤CT图，根据其勾勒标签获得包含肿瘤及周边组织信息的bounding-box，在包含肿瘤区域的最小矩形框基础上，向外拓展若干个像素点，作为数据集。

用现有的较为先进的基于深度学习的分类模型对所获数据集进行易分类和易混淆的二分类任务；具体来说，用多个分类模型在该数据集上进行k-fold交叉训练、测试，若某一样本在各分类器中都能被正确分类，则该样本被归类为易分类的胰腺肿瘤样本A，若某一样本在任一分类器中被分类错误，则该样本被归类为易混淆的胰腺肿瘤样本B；

分类性能最好的分类模型，被采用为后续阶段的分类器，即浅层网络参数被固定；

2)对易混淆数据集B的增广

对数据集B，将良性肿瘤区域的前景图构成数据集X(x

采用条件生成对抗网络cGAN对B进行增广。该步骤通过对具有相同病理标签的肿瘤勾勒标签内的区域(前景图)和周边组织区域(背景图)的融合及微调，在不改变肿瘤病理性质的前提下，可有效提高易混淆样本的数量，所得样本可直接用于后续的分类训练。

设应用于良性样本增广的cGAN为cGAN

L

L

L

L

L

L

其中，G是cGAN的生成器，D是cGAN的辨别器，n和m是样本X，Y和Z的序号下标，1≤n,m≤i,n≠m；a和b是样本P，Q和R的序号下标，1≤a,b≤j,a≠b；λ为权重超参；G

3)在数据集A和B

该阶段的基于迁移学习的多通道分类器微调是在数据集B

将预训练分类器的浅层网络层参数进行固定，对参数可微调的中层和深层网络层进行复制，得到前端为单通道，中后端为三通道(分别命名为中后端通道-1，中后端通道-2和中后端通道-3)的深度学习分类器。其中，中后端通道-1对来自A和B

利用网络输出的预测标签和真实标签之间的损失值，两个通道的参数被更新；

进一步的，B

经该阶段训练后的网络，对三个通道中层网络层的参数进行固定，深层网络层的参数在下一阶段进行更新。

4)在数据集A和B上的多通道网络深层网络参数微调

由于B

因此，该阶段的多通道分类器微调是在数据集A和B上进行的(数据集B中带易混淆肿瘤的CT图较B

经该阶段训练后的网络，网络内的所有参数被固定。

5)胰腺肿瘤分类

对训练好的单前端-三中后端分类器，在应用阶段，输入带肿瘤的胰腺样本，得到三个分类结果，分别对应通道1至3；当第一个分类结果为良性或恶性时，该结果即为最终的预测结果；当第一个分类结果为易混淆样本时，最终预测结果有通道2和3共同决定：当通道2和3预测结果一致时，即都为良性或恶性，则该结果为预测结果；当这两个通道的预测结果不一致时，则输入样本需要穿刺测试才能确定病理。

参照图1，本发明的总流程，包括如下步骤：

1)截取肿瘤区域；

2)根据是否易混淆进行样本筛选；

3)对易混淆的样本进行数据增广；

4)用增广样本和真实样本训练分类模型；

5)用真实图像微调分类模型深层参数。

参照图2，本发明的分类部分，包括如下步骤：

1)将带标签的CT图放入训练器；

2)根据k-fold交叉训练的结果筛选出最好的分类器；

3)在实验过程中对样本进行筛选，获得易混淆的样本和不易混淆的样本；

参照图3，本发明的数据集增广部分，包括如下步骤：

1)将图片分为XYZ三个区域；

2)在监督学习的情况下通过生成器G融合X

3)在无监督学习的情况下通过生成器G融合X

4)用G

5)用G

6)获得较为真实的易混淆增广数据集。

参照图4，本发明的分类器优化部分，包括如下步骤：

1)将前期得到的分类模型复制成1，2，3三份，固定浅层网络参数；

2)首先要微调中后层网络参数：输入易分类的真实样本和带肿瘤的合成样本，先经过前端网络的处理，再将处理后的样本传入中后端通道1，执行良性/恶性/易混淆的分类任务并得到易混淆样本的共性特征图；

3)输入带肿瘤的合成样本，先经过前端网络的处理，再将样本传入中后端通道2，执行良性/恶性的分类任务并得到易混淆样本的差异特征图；

4)将两特征图进行对比，输出带有易混淆样本的特征差值图，该图将用作训练分类器3；

5)固定中后层网络参数之后，要用真实样本对分类器的深层网络参数进行更新，更新策略与步骤2)至4)相同，所有参数固定后得到完整的分类模型。

本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。