基于深度学习的甲状腺细胞病理切片恶性区域的检测方法

摘要

本发明公开了一种基于深度学习的甲状腺细胞病理切片恶性区域的检测方法，主要包括下列步骤：对甲状腺细胞进行病理切片；将病理切片在显微镜上的图像经过数字化处理后使用不同的染色剂进行涂抹以得到彩色的病理切片；将完整的病理切片裁剪出合适大小的切块作为深度神经网络模型的输入；筛除掉病理切片部分无效的切块；采用弱监督的学习方法对切块初步筛查后的病理切片进行良恶性分类；利用去假阳的方案构建一个基于随机森林的机器学习方法对良恶性分类的预测结果进行假阳的去除；借此，能进一步提高检测的准确率。以及病理切片的高危区域显示步骤：将每个切块的恶性预测的概率归一化并映射到原图的中，生成热力图；给病理医生更直观的可视化显示。

说明书

技术领域

本发明是关于医学图像处理领域，特别是关于一种基于深度学习的甲状腺细胞病理切片恶性区域的检测方法。

背景技术

病理切片作为病理诊断的金标准，在临床和科研中都有十分重要的作用。甲状腺细胞病理筛查处于一个正在普及的阶段，细胞穿刺的病理筛查方法具有创伤小，风险低，快速诊断的优点，已经在许多三甲医院进行了普及。但是目前由于细胞病理筛查起步较晚，病理医生相对比较少，有经验的医生更是稀缺，从而造成了需要诊断的病例的积压。同时，细胞病理切片诊断中，经常存在的问题是获取不到目标细胞或者目标细胞过少，导致无法诊断。

基于此，本文提出了一种深度学习方法，在病理切片上预提取高风险的恶性细胞区域，协助医生进行诊断，作出决策，通过此流程，在大幅减少病理医生的工作量的同时，也降低了误诊率，提高了病理医生的工作效率，从而使病理医生可以将精力集中到更加复杂的病例上。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种基于深度学习的甲状腺细胞病理切片恶性区域的检测方法，其采用由粗到细多阶段训练的方法，先剔除掉明显无效的切块，对有效的切块进良恶性分类，通过去除假阳进一步提高检测的准确率。

为实现上述目的，本发明提供了一种基于深度学习的甲状腺细胞病理切片恶性区域的检测方法，包括下列步骤切片步骤、预处理步骤、图像采样步骤、切块初步筛查步骤、良恶性分类步骤、可疑区域的后处理步骤以及病理切片的高危区域显示步骤；切片步骤：对甲状腺细胞进行病理切片；预处理步骤：将病理切片在显微镜上的图像经过数字化处理后使用不同的染色剂进行涂抹以得到彩色的病理切片；图像采样步骤：将完整的病理切片裁剪出合适大小的切块作为深度神经网络模型的输入；切块初步筛查步骤：筛除掉病理切片部分无效的切块；良恶性分类步骤：采用弱监督的学习方法对切块初步筛查后的病理切片进行良恶性分类；可疑区域的后处理步骤：利用去假阳的方案构建一个基于随机森林的机器学习方法对良恶性分类的预测结果进行假阳的去除；以及病理切片的高危区域显示步骤：将每个切块的恶性预测的概率归一化并映射到原图的中，将灰度图转化成彩色图像且生成热力图。

在一优选的实施方式中，切片步骤包括将彩色的病理切片图像由RGB空间转到灰度空间以及采用高斯滤波的方法对图像进行平滑处理。

在一优选的实施方式中，图像采样步骤中采用基于重叠面积为50％的重叠采样方法将完整的病理切片裁剪出合适大小的切块，切块的分辨率为512x512像素。

在一优选的实施方式中，切块初步筛查步骤中无效的切块为分辨率达不到要求的区域或未包含足够的甲状腺细胞的区域。

在一优选的实施方式中，切块初步筛查步骤中采用轻量化的resnet18的分类网络在imagenet训练得到的初始权重作为初始权重进行切块初步筛查，在resnet18的预测概率低于阈值的切块将被筛除。

在一优选的实施方式中，良恶性分类步骤包括采用弱监督的学习方法，充分利用未做标签的数据参与到训练中，训练具体流程包括第一阶段训练以及第二阶段训练；第一阶段训练包括：在140张诊断为甲状腺乳头状癌的切片上，由资深的甲状腺细胞病理医生标记1203张恶性的PTC切块图像作为正类，在120张正常的切片上随机裁剪1203张切块，作为负类；按照4：1：1的比例分配训练集测试集和验证集，参与到模型1的训练中，本文选择resnet18构建模型1；对模型迭代训练，更新模型的权重，得到在测试集上性能最优的模型；以性能最优的模型对无标签的甲状腺的细胞病理切片的切块上进行预测，对预测概率大于给定阈值的切块的标签设定为正例标签；对预测概率小于给定阈值的切块标签设定为负例标签；及将正例标签和负例标签的标记的数据加入到训练集中；第二阶段训练包括：选择resnet34模型作为第二阶段训练模型2，对模型2进行迭代训练，对权重进行更新，得到模型2在测试集上最优的模型，并采用与第一阶段相同的方法对无标签的切块设定伪标签，扩充训练集；其中，第一阶段训练和第二阶段训练均分别以resnet50、resnet101、resnet152构建模型3、模型4、模型5逐步扩充数据，以进一步提高模型的性能；其中，对模型1、模型2、模型3、模型4、模型5在验证集上的准确率分别为0.78，0.80，0.83，0.87，0.95。

在一优选的实施方式中，在模型1至模型5的预测阶段，使用极大抑制技术将重叠的区域剔除掉，在相交的切块里，选择恶性概率最大的切块作为输出。

在一优选的实施方式中，可疑区域的后处理步骤中进行假阳去除的模型输入包括：图像模块的模型5预测的切块的概率；模型5倒数第二层提取的特征；基于局部二值模式提取的甲状腺细胞病理切块的图像特征；以及切块的中心点在图像中的坐标信息。

在一优选的实施方式中，病理切片的高危区域显示步骤中的每个切块的恶性预测的概率归一化到0～255。

为实现上述目的，本发明提供了一种基于深度学习的甲状腺细胞病理切片恶性区域的检测系统，其可以用于前述的检测方法，检测系统包括设备部分、硬件部分以及软件部分；设备部分主要包括提供图像来源的显微镜等；硬件部分主要包括GPU及CPU等；软件部分主要包括Keras、Pytorch、tensorflow、Caffe或Paddle等。

与现有技术相比，本发明的基于深度学习的甲状腺细胞病理切片恶性区域的检测方法具有以下有益效果：其采用由粗到细多阶段训练的方法，先剔除掉明显无效的切块，对有效的切块进良恶性分类，通过去除假阳进一步提高检测的准确率。在病理切片上预提取高风险的恶性细胞区域，协助医生进行诊断，做出决策，通过此流程，在大幅减少病理医生的工作量的同时，也降低了误诊率，提高了病理医生的工作效率，从而使病理医生可以将精力集中到更加复杂的病例上。

附图说明

图1是根据本发明一实施方式的检测方法的流程图。

具体实施方式

下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

如图1所示，根据本发明优选实施方式的基于深度学习的甲状腺细胞病理切片恶性区域的检测方法，其主要包括下列切片步骤、预处理步骤、图像采样步骤、切块初步筛查步骤、良恶性分类步骤、可疑区域的后处理步骤以及病理切片的高危区域显示步骤等。

1：预处理

预处理的目的是为了对图像的特征进行强化，病理切片在显微镜上的图像经过数字化处理后使用不同的染色剂进行涂抹，得到彩色的病理切片，方便医生观察和诊断。但是不同的染色方法，以及操作人员的手法会带来不同的切片的染色差异，对使用机器学习和深度学习方法进行诊断分析带来干扰。为减少这种影响，在图像预处理阶段，首先将图像由RGB空间转到灰度空间；同时由于玻片上存在污渍之类给细胞病理切片上引入了噪点，因此，同时采用高斯滤波的方法对图像进行了平滑处理，降低噪声的影响。

2：图像采样

完整的甲状腺细胞病理切片一般都非常大，将完整切片送到深度神经网络中训练，会耗费巨大的显存，成本非常高。因此本实施例采用了基于重叠面积为0.5(50％重叠)的重叠采样方法(采用重叠采样的方法，可以保证所有可能的位置都采集到，同时也保证了至少有一个可疑的区域能够完整的呈现)，裁剪出合适大小的块(在本实施例中选取的是512×512的分辨率大小的切块)，作为深度神经网络模型的输入。

3：切块初步筛查

在甲状腺的细胞病理切片中，有些区域分辨率达不到要求；有些区域没有包含足够的甲状腺细胞的区域，对诊断没有多大意义，这部分切块不需要专业医生也很容易筛查出来，因此本实施例训练了一个轻量化的resnet18的分类网络(具体的模型训练方法：人工标注1000例分辨率不足和没有足够甲状腺细胞的区块作为负类，视野清晰和视野中的甲状腺细胞满足下一个工作流的区块作为正例，基于resnet18在imagenet训练得到的初始权重作为初始权重进行迁移训练，选择在验证集上效果最优的模型作为切块初步筛查模型，在预测阶段，将resnet18的预测概率低于阈值(本实施例中设定的为0.2)的切块剔除掉)，筛除掉部分无效的切块，将剩下的切块送到良恶性分类模块，进行进一步检测。

4：良恶性分类

良恶性分类模块是本实施例的核心部分，这个模块，可以筛查出医生重点关注的甲状腺恶性细胞块，并利用病理切片高危区域显示模块绘制出恶性细胞团簇的热力图，方便病理医生进行诊断。

由于甲状腺细胞病理切片较大，有经验的病理医生较少，在病理切片上标注恶性细胞块是一件非常耗时的事情。而无标签的甲状腺细胞病理切片则很容易获取，基于此，在良恶性分类模块，本实施例采用了一种弱监督的学习方法，充分利用未做标签的数据参与到训练中来，具体流程为：

1)在140张诊断为甲状腺乳头状癌(PTC)的切片上，由资深的甲状腺细胞病理医生标记1203张恶性的PTC切块图像作为正类，在120张正常的切片上随机裁剪1203张切块，作为负类。按照4：1：1的比例分配训练集测试集和验证集，参与到模型(Model)1的训练中(模型(Model)1选择为Resnet18)。对模型迭代训练，更新模型的权重，得到在测试集上性能最优的模型。以该模型对无标签的甲状腺的细胞病理切片的切块上进行预测，对预测概率大于给定阈值的切块的标签设定为正例标签(在本实施例中该阈值设定为0.9)。对预测概率小于给定阈值的切块标签设定为负例标签。将这些标记的数据加入到训练集中。(在本实施例中，以原始数据量的0.25倍扩充正例和负例的数量)。

2)由于训练集增大，本实施例选择了resnet34模型作为第二阶段训练模型模型(Model)2，对模型(Model)2进行迭代训练，对权重进行更新，得到模型(Model)2在测试集上最优的模型。使用和第一阶段相同的方法对无标签的切块设定伪标签，扩充训练集。

3)和步骤一和步骤二的方法类似，分别以resnet50，resnet101，resnet152构建模型(Model)3,模型(Model)4,模型(Model)5逐步扩充数据，进一步提高模型的性能。

4)对模型(Model)1,模型(Model)2,模型(Model)3,模型(Model)4,模型(Model)5在验证集上的准确率分别为0.78，0.80，0.83，0.87，0.95。说明弱监督学习的方法可以有效的提升良恶性细胞的分类性能。

在模型(Model)1～模型(Model)5的预测阶段，使用一种极大抑制的技术(NMS)将重叠的区域剔除掉：在相交的切块里，选择恶性概率最大的切块作为输出。

5：可疑区域的后处理

在本模块，本实施例提出了一种去假阳的方案，即构建一个基于随机森林的机器学习方法对良恶性分类的模型(Model)5预测结果进行假阳的去除，模型的输入来自于四个部分：图像模块的模型(Model)5预测的切块的概率；模型(Model)5倒数第二层提取的特征；基于局部二值模式(Local Binary Pattern(LBP))提取的甲状腺细胞病理切块的图像特征；以及切块的中心点在图像中的坐标信息(归一化到[0，1])。对随机森林模型进行训练。模型将概率低于一定的阈值(本实施例的阈值设定为0.2)的切块剔除掉，进一步减轻病理医生的工作。本实施例中这个阈值是可以动态调节的，如果病理医生想了解更多的恶性细胞病理切片的切块，做进一步的评估，可以手动将阈值调节的更低一点。

6：病理切片的高危区域显示

将每个切块的恶性预测的概率，归一化到[0,255]，映射到原图的中，将灰度图转化成彩色图像，生成热力图，呈现给细胞病理医生，给病理医生特别是经验不十分丰富的医生一个可视化的建议：哪部分的区域是需要重点关注的。本实施例的方法可以将从经验丰富的病理医生中学习到的经验迁移到年轻的医生中，帮助年轻的医生成长。

本实施例的模块4(良恶性分类步骤)可以和5(可疑区域的后处理步骤)可以串联工作，也可以独立工作。当医生需要更快的显示结果时，可以基于医生设定的阈值，直接将可疑恶性区域按照概率由高到低排序显示输出。如果医生想要更精确的结果，可以将医生基于阈值选择的结果(本实施例选择的是0.5)，基于模块5的预测概率按由高到低的显示输出。

根据本发明优选实施方式的基于深度学习的甲状腺细胞病理切片恶性区域的检测系统，其可以用于前述的检测方法，检测系统包括设备部分、硬件部分以及软件部分；设备部分主要包括提供图像来源的显微镜等；硬件部分主要包括GPU及CPU等；软件部分主要包括Keras、Pytorch、tensorflow、Caffe或Paddle等。

在一些实施方式中，本实施例开发使用是Keras：2.1.6版本，但本发明并不限于此版本。同时可扩展使用的深度学习框架也可以但不限于Pytorch、tensorflow、Caffe或Paddle都可以应用于本发明的开发系统中。

在一些实施方式中，本实施例的GPU开发的硬件使用的是GeForce GTX1080ti，但本发明并不限于此型号的GPU。可以是任何独立显卡，包括且不限于，GeForce RTX 1060,GeForce RTX 2080ti，GeForce P6000.(更多显卡可查看英伟达官网)。

在一些实施方式中，本实施例的CPU开发的硬件使用的是Intel(R)Xeon(R)CPUE5-2640 v4@2.40GHz。更多服务器CPU参看Inter和AMD的服务器的CPU类型。

在一些实施方式中，本实施例的病理图片使用的是HE染色的图像，其他染色方案包括且不限于CK7，P40，CD56，六胺银，TTF1，PAS等。

综上所述，本发明的基于深度学习的甲状腺细胞病理切片恶性区域的检测方法具有以下有益效果：其采用由粗到细多阶段训练的方法，先剔除掉明显无效的切块，对有效的切块进良恶性分类，通过去除假阳进一步提高检测的准确率。在病理切片上预提取高风险的恶性细胞区域，协助医生进行诊断，作出决策，通过此流程，在大幅减少病理医生的工作量的同时，也降低了误诊率，提高了病理医生的工作效率，从而使病理医生可以将精力集中到更加复杂的病例上。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。