基于转换器的肺癌组织病理全切片EGFR状态预测方法

摘要

本发明公开了一种基于转换器的肺癌组织病理全切片EGFR状态预测方法，步骤包括：1、获取肺癌组织病理全切片数据集并进行预处理；2、第一阶段，建立并训练能够预测图像块阴阳性的视觉转换器网络模型；3、利用训练好的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用阳性图像块生成EGFR突变类型数据集；4、第二阶段，建立并利用生成的EGFR突变类型数据集训练能够预测图像块EGFR突变类型的视觉转换器网络模型；5、利用第一、二阶段训练好的模型完成对全切片EGFR状态的预测。本发明使用两个视觉转换器网络模型构成主干网络，有效降低伪标签的错误率，提高预测的准确度。

说明书

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于转换器的肺癌组织病理全切片EGFR状态预测方法。

背景技术

EGFR(Epidermal growth factor receptor，表皮生长因子受体)是一种具有细胞质激酶活性的跨膜蛋白，可将重要的生长因子信号从细胞外环境转导至细胞。肺腺癌是一种常见的肺癌组织学类型，表皮生长因子受体(EGFR)突变的发现使其治疗方法发生了革命性变化。阳性肺腺癌EGFR状态大体可分为突变型(mutant)和野生型(wild)两种，为了保证状态分类的准确性，本专利中将除了突变型和野生型以外的阳性EGFR状态分为其他型(other)。在一线治疗中，检测EGFR突变是至关重要的，因为不同类型的EGFR状态会有用药、治疗方面的显著差异。因此，准确无误地判断EGFR状态对于患者治疗、医生用药起到至关重要的作用。

活检组织的突变测序已成为检测EGFR突变的金标准。在实际诊疗过程中，病理医生需要在显微镜下用肉眼检查数以万计的细胞。而每位病理医生每天需要处理大量病患的标本，常常会产生阅片疲劳，误诊现象时有发生。因此，需要一种高效且定量的肺癌组织病理全切片EGFR状态预测方法，减轻病理医生的阅片负担，同时提高肺癌组织病理全切片EGFR状态预测准确率。目前，针对肺癌组织病理全切片EGFR状态预测的算法主要以基于深度学习的监督学习分类算法为主。

近年来，深度学习模型在计算机视觉各个领域中取得了显著的效果，一些研究人员已经将卷积神经网络应用于肺癌组织病理全切片EGFR状态预测任务中，如残差网络(ResNet)、密集卷积网络(Densenet)，但它们依赖归纳偏置，不能动态自适应建模，并且无法捕捉EGFR受体之间在空间尺度上的特征，难以对肺癌EGFR状态做出准确预测。

发明内容

本发明目的就是为了弥补已有技术的缺陷，提供一种基于转换器的肺癌组织病理全切片EGFR状态预测方法，旨在解决由于病理图像结构复杂、类型多变，特征信息丰富，导致肺癌组织病理全切片EGFR状态预测困难的问题，通过构建基于视觉转换器的两阶段网络，获取肺癌组织病理全切片图像内部远距离依赖关系，从而得到不同类别EGFR受体相对应的表征，完成肺癌组织病理全切片EGFR状态的准确高效预测。

本发明是通过以下技术方案实现的：

一种基于转换器的肺癌组织病理全切片EGFR状态预测方法，具体包括如下步骤：

(1)、根据肺癌组织病理全切片图像获取肺癌组织病理全切片数据集并进行预处理；

(2)、建立并利用步骤(1)中数据集训练能够预测图像块阴阳性的视觉转换器网络模型；

(3)、利用步骤(2)建立的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用保留下来的阳性图像块生成EGFR突变类型数据集；

(4)、建立并利用步骤(3)中生成的数据集训练能够预测图像块EGFR突变类型的视觉转换器网络模型；

(5)、利用步骤(2)和步骤(4)建立的能够预测图像块阴阳性的视觉转换器网络模型和能够预测图像块EGFR突变类型的视觉转换器网络模型完成对全切片EGFR状态的预测。

步骤(1)所述的根据肺癌组织病理全切片图像获取肺癌组织病理全切片数据集并进行预处理，具体如下：

对肺癌组织病理全切片图像按照阴阳性标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，记为

步骤(2)所述的建立并利用步骤(1)中数据集训练能够预测图像块阴阳性的视觉转换器网络模型，具体如下：

构建由L个编码器构成的视觉转换器ViT作为第一阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；

步骤2.1、对图像块X

步骤2.2、设置一个可学习的分类标记x

式(1)中，E

步骤2.3、利用式(2)得到m个图像块和分类标记x

z'

式(2)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；z

步骤2.4、利用式(3)得到第l个编码器的多层感知器的输出z

z

式(3)中，MLP(·)表示多层感知器的处理；LN(·)表示归一化层的处理；

步骤2.5、将第l个编码器的多层感知器的输出z

步骤2.6、利用式(4)得到经归一化处理后的输出z′

z′

式(4)中，LN(·)表示归一化层的处理；

步骤2.7、利用式(5)对特征进行线性变换，得到线性分类器的输出结果pos

式(5)中，Linear(·)代表线性分类函数；

步骤2.8、利用式(6)构建交叉熵损失函数L，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第一阶段网络，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测图像块阴阳性的视觉转换器网络模型；

式(6)中，y

步骤(3)所述的利用步骤(2)建立的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用保留下来的阳性图像块生成EGFR突变类型数据集，具体如下：

对肺癌组织病理全切片图像按照EGFR突变状态类别标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，并送入训练好的能够预测图像块阴阳性的视觉转换器网络模型，预测每个图像块的阴阳性类别，筛除阴性图像块，得到n个阳性图像块，生成EGFR突变类型数据集，记为

步骤(4)所述的建立并利用步骤(3)中生成的数据集训练能够预测图像块EGFR突变类型的视觉转换器网络模型，具体如下：

构建由S个编码器构成的视觉转换器ViT作为第二阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；

步骤4.1、对图像块X'

步骤4.2、设置一个可学习的分类标记x'

式(7)中，E'

步骤4.3、利用式(8)得到m'个图像块和分类标记x'

z′

式(8)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；z

步骤4.4、利用式(9)得到第s个编码器的多层感知器的输出z

z

式(9)中，MLP(·)表示多层感知器的处理；LN(·)表示归一化层的处理；

步骤4.5、将第s个编码器的多层感知器的输出z

步骤4.6、利用式(10)得到经归一化处理后的输出z′

z′

式(10)中，LN(·)表示归一化层的处理；

步骤4.7、利用式(11)对特征进行线性变换，得到线性分类器的输出结果egfr

式(11)中，Linear(·)代表线性分类函数；

步骤4.8、利用式(12)构建交叉熵损失函数L，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第二阶段网络，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测图像块EGFR突变类型的视觉转换器网络模型：

式(12)中，y

步骤(5)所述的利用步骤(2)和步骤(4)建立的能够预测图像块阴阳性的视觉转换器网络模型和能够预测图像块EGFR突变类型的视觉转换器网络模型完成对全切片EGFR状态的预测，具体如下：

步骤5.1、将肺癌组织病理全切片图像去除空白背景区域并进行分块处理，得到多个图像块，记为序列(x

步骤5.2、将图像块(x

步骤5.3、对于步骤5.2中预测为阳性的全切片进行下一步预测；将全切片阳性图像块(x

本发明的优点是：

1.本发明利用视觉转换器对肺癌组织病理全切片图像进行特征学习，视觉转换器能够动态自适应建模，基于注意力机制，捕捉图像局部和全局特征，提高了肺癌组织病理全切片图像的特征表示能力；

2.本发明利用视觉转换器学习图像内部的远距离依赖关系，从而建立了肺癌组织病理全切片图像各部分之间的依赖关系，进而提高了EGFR状态预测准确率。

3.本发明使用两个视觉转换器ViT模型构成主干网络，第一个视觉转换器完成肺癌组织病理全切片图像阴阳性分类并提取出阳性图像块，第二个视觉转换器只对阳性图像块进行EGFR类型分类，有效降低伪标签的错误率，提高了预测的准确度。

附图说明

图1为本发明中网络的结构图；

图2为本发明的总体流程框图。

具体实施方式

本实施例中，一种基于转换器的肺癌组织病理全切片EGFR状态预测方法，综合考虑了EGFR状态分类任务的难度，于是将图像首先输入第一个视觉转换器网络，预测全切片图像的阴阳性分类，并将其中阳性图像块输入第二个视觉转换器网络，预测各个图像块EGFR状态，从而完成对于肺癌组织病理全切片图像EGFR状态的分类，如图1、2所示，具体步骤如下：

步骤(1)、根据肺癌组织病理全切片图像获取肺癌组织病理全切片数据集并进行预处理，具体如下：

对肺癌组织病理全切片图像按照阴阳性标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，记为

步骤(2)、建立并利用步骤(1)中数据集训练能够预测图像块阴阳性的视觉转换器网络模型，具体如下：

建立如图1所示的基于视觉转换器的深度学习网络模型，深度学习网络包括2个视觉转换器ViT网络。构建由L个编码器构成的视觉转换器ViT作为第一阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；

步骤2.1、对图像块X

步骤2.2、设置一个可学习的分类标记x

式(1)中，E

步骤2.3、利用式(2)得到m个图像块和分类标记x

z'

式(2)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；z

步骤2.4、利用式(3)得到第l个编码器的多层感知器的输出z

z

式(3)中，MLP(·)表示多层感知器的处理，本实施例中，多层感知器包含两层网络和一个GELU非线性激活层；LN(·)表示归一化层的处理；

步骤2.5、将第l个编码器的多层感知器的输出z

步骤2.6、利用式(4)得到经归一化处理后的输出z′

z′

式(4)中，LN(·)表示归一化层的处理；

步骤2.7、利用式(5)对特征进行线性变换，得到线性分类器的输出结果pos

式(5)中，Linear(·)代表线性分类函数；

步骤2.8、利用式(6)构建交叉熵损失函数L，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第一阶段网络，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测图像块阴阳性的视觉转换器网络模型：

式(6)中，y

步骤(3)、利用步骤(2)建立的能够预测图像块阴阳性的视觉转换器网络模型预测数据集中图像块阴阳性类别，筛除阴性图像块，利用保留下来的阳性图像块生成EGFR突变类型数据集，具体如下：

对肺癌组织病理全切片图像按照EGFR突变状态类别标签整理，将全切片图像去除空白背景区域并进行分块处理，随机采样得到多个图像块，并送入步骤2中训练好的能够预测图像块阴阳性的视觉转换器网络模型，预测每个图像块的阴阳性类别，筛除阴性图像块，得到n个阳性图像块，生成EGFR突变类型数据集，记为

步骤(4)、建立并利用步骤(3)中生成的数据集训练能够预测图像块EGFR突变类型的视觉转换器网络模型，具体如下：

构建由S个编码器构成的视觉转换器ViT作为第二阶段网络，每个编码器包括：两个归一化层、多头注意力机制层以及多层感知器；

步骤4.1、对图像块X'

步骤4.2、设置一个可学习的分类标记x'

式(7)中，E'

步骤4.3、利用式(8)得到m'个图像块和分类标记x'

z′

式(8)中，MSA(·)表示多头自注意力机制层的处理；LN(·)表示归一化层的处理；z

步骤4.4、利用式(9)得到第s个编码器的多层感知器的输出z

z

式(9)中，MLP(·)表示多层感知器的处理，本实施例中，多层感知器包含两层网络和一个GELU非线性激活层；LN(·)表示归一化层的处理；

步骤4.5、将第s个编码器的多层感知器的输出z

步骤4.6、利用式(10)得到经归一化处理后的输出z′

z′

式(10)中，LN(·)表示归一化层的处理；

步骤4.7、利用式(11)对特征进行线性变换，得到线性分类器的输出结果egfr

式(11)中，Linear(·)代表线性分类函数；

步骤4.8、利用式(12)构建交叉熵损失函数L，并利用梯度下降算法训练由视觉转换器和线性分类器所构成的第二阶段网络，使得交叉熵损失函数L达到收敛，从而得到训练好的能够预测图像块EGFR突变类型的视觉转换器网络模型：

式(12)中，y

步骤(5)、利用步骤(2)和步骤(4)建立的能够预测图像块阴阳性的视觉转换器网络模型和能够预测图像块EGFR突变类型的视觉转换器网络模型完成对全切片EGFR状态的预测，具体如下：

步骤5.1、将肺癌组织病理全切片图像去除空白背景区域并进行分块处理，得到多个图像块，记为序列(x

步骤5.2、将图像块(x

步骤5.3、对于步骤5.2中预测为阳性的全切片进行下一步预测；将全切片阳性图像块(x