基于白细胞显微图像的细胞实例分割算法

摘要

一种基于白细胞显微图像的细胞实例分割算法，属于计算机视觉和医学图像处理领域。以卷积神经网络为基础，新建了一个白细胞显微图像(经染色处理)数据集，并进行了对各个白细胞的边缘及类别标注，以训练图2所示网络模型。在完成基础的实例分割任务的基础上，进一步解决了多染色及多尺度目标的问题。如图2，以通用的实例分割框架为基础，通过提取多个子空间的特征，并对这些多样性特征进行特征增强。再通过增强对不同尺度下的显著目标的关注，以达到对多尺度目标检测的结果，实现较好的检测、分割及分类。本发明适用于多种染色下的细胞显微图像，如品红染色、瑞氏染色下的白细胞或细胞核检测，或正常与病变细胞的分类。

说明书

技术领域

本发明涉及一种基于白细胞显微图像的细胞实例分割算法，属于计算机视觉和医学图像处理领域。

背景技术

白细胞(white blood cell,WBC)是人体最主要的免疫细胞，对于维持人体的免疫功能有十分重要的作用。人体外周血中包含五类白细胞，它们的形态、大小、功能各异，按照正常人体外周血中的含量由多到少分别是：中性粒细胞(neu)，50-70％；淋巴细胞(lym)，20-40％；单核细胞(mon)，3-8％；嗜酸性粒细胞(eo)，0.5-5％；嗜碱性粒细胞(bas)，0.5-1％。这五种白细胞通过不同方式、不同机制消灭病原体，消除过敏原和参加免疫反应，产生抗体等从而保证机体健康。白细胞的类别和数量提供了关于人体健康状况的重要信息。

近些年来，随着医学显微成像技术的不断发展，利用图像处理、模式识别方法对微小结构的显微图像进行自动处理的技术逐渐发展起来。其中，针对血细胞图片中白细胞的自动分类识别是显微图像处理与识别问题中具有代表性的课题之一，该领域结合了医学血液学及计算机科学中的图像处理、模式识别等相关技术。传统的医学图像分割技术主要利用自然图像上的分割方法，包括基于区域、边界、统计学、模糊理论等的分割方法，依赖于图像的空间特征(灰度/纹理)或梯度信息等。研究热点主要集中在血细胞图像中白细胞的自动分割、特征提取和白细胞识别等几个方面。随着计算机辅助诊断的发展，深度学习的方法在医学图像处理的应用上取得了很好的效果。传统的图像分类方法没有预处理、特征提取、特征选择等步骤，但在深度学习方法上：预处理、特征提取和特征选择通过卷积神经网络(Convolutional Neural Networks，CNN)进行。卷积神经网络是一种深度学习架构，可以从对象的一部分中提取特征并执行对象识别。已有方法用于广泛研究显微图像中细胞的检测和分割。由于在显微镜下观察到的细胞形态相似，所以，需要借助染色技术使细胞进行显色反应，从而使不同细胞或细胞的不同结构呈现不同的颜色，进而可以利用深度学习方法对图像实现特征提取及分类等任务。并针对多染色以及多种细胞尺度的特定问题，提出了特定的实例分割框架。

发明内容

本发明目的在于提供了一种基于白细胞显微图像的细胞实例分割算法，以实现对血细胞显微图像中的五种白细胞进行检测和分类。

为了实现上述目的，本发明的方案是：

一种基于白细胞显微图像的细胞实例分割算法，以一般的实例分割网络为基础框架，并加强特征表达和对显著特征的关注，以消除不同染色造成的影响，以及多种细胞尺寸带来的挑战。目前的具体步骤如下：

(1)由医生完成临床病人血细胞样本的收集，并进行品红染色处理，制作品红染色后的血细胞涂片，并通过显微镜镜检得到白细胞显微图像，共302张；

(2)由病理学专家完成对品红染色后的白细胞图像的标注，包括每个白细胞的类别标签，及精确的像素级标注。并在病理学专家的帮助下，对一个公共数据集进行标注，用作我们的另一部分数据集。这个公共数据集中包括242张瑞氏染色处理后的白细胞显微图像；

(3)设计神经网络，可实现基本的实例分割功能；

(4)基于数据集的特点，考虑多种染色情况和多尺度细胞的问题，设计一个专门的特征提取网络；

(5)进行多次实验，探究最佳的网络参数，并记录每次的平均精度和平均召回率；

(6)设计消融实验，探究每个模块所解决的具体问题；

(7)证明该方法的可行性与优越性，即该方法可实现对血细胞图像中所有白细胞实例的正确检测与分类。

本发明的有益效果是：该方法能有效实现对血细胞显微图像中的所有白细胞实例的实例分割，包括对白细胞的检测和分类。以神经网络为基础，我们新建了一个白细胞数据集，并进行了标注，以训练一个适合的网络模型，在完成基本的实例分割任务的基础上，进一步解决了两个具有挑战性的问题：多染色情况和多尺度细胞目标。为了解决这两个问题，我们构建了新的特征提取和融合模块，增强特征表达，并对不同的特征通道进行加权，使包含更多有效信息的通道拥有更大的权重。在特征融合时，对特定尺度下的白细胞实施更多的关注，以实现对多尺度细胞的检测。方法可行，通过微调，可应用于其他细胞或医学图像的实例分割领域中。

附图简要说明

图1是数据集的制作流程图。

图2是本发明基于白细胞显微图像的细胞实例分割算法流程图。

具体实施方式

一种基于白细胞显微图像的细胞实例分割算法，基于白细胞全切片显微图像的细胞实例分割算法，解决了对血细胞显微图像中白细胞的分类与识别问题，为医学研究做出微薄之力。

白细胞显微图像成像技术是细胞病理学、显微分析技术以及计算机技术相结合的一种应用技术，由于血液涂片中存在大量的红细胞干扰，因此要经过染色处理使白细胞的呈现更利于后续检测和分类。常用瑞氏染色和品红染色对涂片进行处理。如图1所示，其表示了数据集的制作流程。首先，收集临床病人的血细胞样本，再通过不同的染色方式对血细胞进行染色处理，得到血细胞涂片。其中，我们主要利用的是品红染色和瑞氏染色处理后的图像。最后，利用labelme标注工具对目标白细胞进行边缘像素点及类别的标注，得到标注后的白细胞数据集。我们拥有544张图像作为数据集，其中包含五种类型的白细胞：中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞以及嗜碱性粒细胞。

以染色后的显微图像为基础，利用卷积神经网络(Convolutional NeuralNetworks,CNN)和深度学习方法实现实例分割，对图像中的白细胞目标进行特征学习。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。

如图2所示，该实例分割网络主要包含图中的几个部分。利用387张白细胞图像作为训练数据集，先经过特征提取网络获得特征图，再通过特征金字塔网络进行多尺度特征融合，在这两部分中分别引入通道注意力和空间注意力，避免不同染色造成的影响，并获得不同尺度下的显著特征。之后生成候选区域，将感兴趣区域(region of interest，RoI)和特征图进行对齐，再进行后续的检测和分割任务。

根据检测的混淆矩阵，计算精确度(Precision)和召回率(Recall)，评价模型性能。

在我们的神经网络算法中，先利用特征提取网络即残差网络ResNeXt50，通过50层的卷积操作以及一些非线性运算，并通过一个额外的通道注意力模块对特征提取网络的不同的特征通道实施不同的加权，使网络学习到更有效的白细胞特征，避免特征提取过程中受到不同染色情况带来的影响。

在提取到有效的特征后，使用特征金字塔网络对不同尺度的特征图进行融合。通过将不同尺度下的特征图进行逐层的累加，使网络不仅学习到深层的全局语义特征，还可以保留浅层的局部轮廓信息。通过通道注意力和空间注意力模块，对通道归一化后的特征图再进行一次通道注意力的操作，并对每个尺度特征图的不同空间位置添加不同权重。

以混淆矩阵为基础，采用精确度和召回率评价模型的检测结果：

其中，TP(True Positive)表示真正例，FN(False Negative)表示假反例，FP(False Positive)表示假正例，他们代表不同的预测结果。精确度反映的是模型的准确性，召回率反映的则是模型的全面性。二者均是结果越高，效果越好。

具体步骤如下：

(1)收集临床病人的血细胞样本，并进行品红染色或瑞氏染色，制作血细胞涂片，通过显微镜镜检，得到白细胞显微图像；

(2)由病理学专家完成对图像中所有白细胞实例的标注，包括其所属白细胞类别，及其精确的边缘标注；

(3)对所有图像进行预处理操作，包括裁剪到统一尺寸以作为神经网络的输入，并通过预设值对图像进行标准化和归一化；

(4)设计适用于现有数据集的卷积神经网络，以实现对白细胞的实例分割，主要是特征提取网络，提取有效的白细胞特征信息，以更好完成后续的分类和分割任务。其中的特征提取网络还可以是其他的卷积神经网络，也可以对图像中的白细胞目标进行特征学习；

(5)通过计算精确率和召回率对网络性能进行评价，证明其分类和分割性能的优越性。

需要说明的是，以上所述仅为本发明实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。