基于U-Net和ResNet的白细胞分割方法

摘要

本发明涉及一种基于U‑Net和ResNet的白细胞分割方法。包括三个阶段：特征编码阶段、特征细化阶段、特征解码阶段；其中，特征编码阶段，使用带有残差卷积的上下文感知特征编码器来提取多尺度特征图；特征细化阶段，使用并行的多尺度空洞卷积捕获多尺度特征图信息以获取更高级的语义信息；特征解码阶段，使用带卷积和双线性插值的解码器来调整多尺度特征图的大小，以实现端到端的白细胞分割。

说明书

技术领域

本发明属于图像处理技术领域，具体涉及一种基于U-Net和ResNet的白细胞分割方法。

背景技术

白细胞(White Blood Cell，旧称白血球Leukocyte)是免疫系统的重要组成部分，其通过吞噬和产生抗体清除病原体。人体血液中的白细胞主要分为单核细胞、淋巴细胞、嗜中性粒细胞、嗜碱性粒细胞与嗜酸性粒细胞五类。在临床实践中，观察和测定血液中各种白细胞的总数、相对比值、形态等，可以帮助诊断一些疾病，如白血病、淋巴瘤、系统性红斑狼疮。国内医院通常使用基于电阻抗法(物理方法)加流式分析法(物理-化学方法)的血细胞分析仪对血细胞进行分类计数。该方法的优点是速度快、重复性好，不足在于无法检测白细胞的形态变化，通常只用来白细胞的计数。当计数结果异常时，再利用制备的血涂片进行人工镜检。常用的血细胞涂片制备方式有标准染色和快速染色。检验科医师将血液样本通过推片、染色、干燥等操作制成血液涂片，利用显微镜对血细胞分析的分类和计数结果进行校验，并进行细胞异常形态分析。该方法成本低，准确率高，能够观察到白细胞的病理学变化，但耗时费力，其结果好坏主要依赖于检验人员的专业水平，主观性较强。医院每天有大量的血液涂片需要镜检，高负荷的工作量致使工作人员视力疲劳，容易产生误判、影响检测精度。因此有必要借助计算机进行图像分析，实现白细胞自动分类与分割，辅助医生镜检。

白细胞分割的目标是从包含红细胞、白细胞、血小板和背景像素等的血液涂片图像中自动提取白细胞，以便后续分析。白细胞图像分割的主要挑战如下：第一，不同的血涂片制备方法导致血涂片图像颜色差异明显，且染色过程产生的杂质容易造成分割干扰。其次，白细胞的种类繁多，即使在相同的染色技术下也表现出不同的形态。最后，细胞质与背景像素的低对比度以及细胞的粘连使得白细胞与周围环境的边界模糊。因此，探索具有鲁棒性和高精度的分割方法是一项有意义的工作。

近年来，已经提出了各种方法来从血液涂片图像中分割白细胞，其中大多数基于阈值、边界、区域、图论、GVF蛇、聚类算法等。染色后白细胞核的颜色通常比血液涂片图像中的其他成分要暗，因此一般采用基于阈值和聚类的方法来提取细胞核。而由于细胞质边界模糊，与背景像素的对比度低且容易发生细胞粘连，提取整个白细胞是一项更困难的任务。整个白细胞的分割方法大致可以分为基于聚类、分水岭、支持向量机、图论、模糊理论等。

最近，深度卷积神经网络在图像处理和计算机视觉领域，如图像分割，图像分类等取得了显著进步。由于卷积神经网络强大的特征学习能力，使其在医学图像分割中也得到了广泛的应用。以全卷积方式部署的U-Net在医学图像分割任务中表现出惊人的性能，该方法使用跳跃连接将编码器的浅层特征与解码器的深层特征结合起来，以保证最后恢复出来的特征图融合了更多的低层特征。但随着网络深度的增加，优化变得困难，且恢复出来的边缘不够清晰。本发明提出了一种端到端的深度卷积神经网络模型，实现了不同数据集上血液白细胞图像的自动分割。

发明内容

本发明的目的在于提高白细胞图像的分割精度，提供一种基于U-Net和ResNet的白细胞分割方法，具体设计了一种带有残差块的上下文感知特征编码器来提取图像多尺度特征，并引入具有多个空洞率的并行空洞卷积的细化模块，以聚合上下文信息，最后使用跳跃连接将编码器的浅层特征与解码器的深层特征结合起来，实现整个白细胞和细胞核的分割。

为实现上述目的，本发明的技术方案是：一种基于U-Net和ResNet的白细胞分割方法，包括三个阶段：特征编码阶段、特征细化阶段、特征解码阶段；其中，特征编码阶段，使用带有残差卷积的上下文感知特征编码器来提取多尺度特征图；特征细化阶段，使用并行的多尺度空洞卷积捕获多尺度特征图信息以获取更高级的语义信息；特征解码阶段，使用带卷积和双线性插值的特征解码器来调整多尺度特征图的大小，以实现端到端的白细胞分割。

在本发明一实施例中，所述特征编码阶段具体实现如下：

采用带有残差卷积的上下文感知特征编码器进行四次下采样来提取多尺度特征图；其中，特征编码器中的每个残差块中都有卷积核大小为3×3的双层卷积层，每个卷积层后都使用BN和ReLU变换，残差块的映射关系为：

x

其中，x

在本发明一实施例中，所述特征细化阶段具体实现如下：

考虑到捕获长远信息，且不引入更多的滤波操作，采用并行的多尺度空洞卷积捕获多尺度特征图信息以获取更高级的语义信息；其中，二维空洞卷积可以通过下列公式计算：

其中，x和y分别表示位置i处的输入和输出特征图，ω表示卷积核；空洞率r表示对输入特征图进行采样的步长，即沿每个空间维度方向在两个连续卷积核的值之间向输入x注入r-1个空洞。

在本发明一实施例中，所述采用并行的多尺度空洞卷积即采用空洞率分别为1、2、4和8的空洞卷积进行并行运算。

在本发明一实施例中，所述特征解码阶段具体实现如下：

采用带卷积和双线性插值的特征解码器进行四次上采样来调整多尺度特征图的大小，具体地通过1×1卷积和双线性插值运算来将特征细化阶段得到的高级语义特征图恢复到原图像的分辨率，同时，利用跳跃连接将特征编码器和特征解码器的同一阶段的特征进行拼接。

在本发明一实施例中，该方法考虑到将白细胞和细胞核同时从复杂的背景中分离出来，因此可将分割任务看成多标签分类问题，即将细胞质和细胞核分别看成目标、其余为背景的两个二分类问题，以实现对细胞质和细胞核的分割；多标签交叉熵损失函数定义为：

其中，g

相较于现有技术，本发明具有以下有益效果：本发明提出一种基于U-Net和ResNet的白细胞分割方法，首先利用带残差块的编码器提取多尺度图像特征；然后，引入具有多个并行空洞卷积的细化模块以聚合上下文信息；最后，使用跳跃连接将多尺度特征编码器和上下文感知特征解码器的同一阶段的特征进行融合。通过使用端到端的深度学习方法实现了整个白细胞和细胞核的分割。在两个公开图像数据集上的实验结果证实了本发明方法提高了白细胞的分割精度。

附图说明

图1为本发明方法流程图。

图2为本发明网络模型框架。

图3为本发明残差块结构。

图4为本发明卷积核大小3×3、具有不同空洞率的空洞卷积示例。

图5不同方法在两个白细胞图像数据集上的分割结果，子图中从上到下分别代表原始图像、Zhou方法、U-Net、本发明方法。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1所示，本发明一种基于U-Net和ResNet的白细胞分割方法，包括三个阶段：特征编码阶段、特征细化阶段、特征解码阶段；其中，特征编码阶段，使用带有残差卷积的上下文感知特征编码器来提取多尺度特征图；特征细化阶段，使用并行的多尺度空洞卷积捕获多尺度特征图信息以获取更高级的语义信息；特征解码阶段，使用带卷积和双线性插值的特征解码器来调整多尺度特征图的大小，以实现端到端的白细胞分割。

以下为本发明的具体实现过程。

本发明提出一种新的基于深度神经网络的白细胞分割方法，模型框架如图2所示，其由三个阶段组成：特征编码阶段(Feature Encoder)、特征细化阶段(FeatureRefinement)以及特征解码阶段(Feature Decoder)。特征编码阶段使用带有残差卷积的上下文感知特征编码器来提取多尺度特征图。特征细化阶段使用并行的多尺度空洞卷积捕获多尺度信息以获取更高级的语义信息。特征解码阶段使用带卷积和双线性插值的解码器来调整特征图的大小，以实现端到端的白细胞分割。

1、特征编码

本发明使用带有残差卷积的特征编码器提取多尺度特征。一般来说，网络模型越深，性能越好。然而，随着网络深度的增加，容易出现梯度消失等问题，而且权值的优化会变得更加困难。在残差网络(ResNet)的启发下，本发明在输入特征和输出特征之间设计了短连接，用对残差的学习替代对原始特征的学习。残差块的映射关系为：

x

其中，x

在本发明中，特征编码器进行了四次下采样。如图3所示，每个残差块中都有卷积核大小为3×3的双层卷积层，每个卷积层后都使用了BN和ReLU变换。

2、特征细化

为了捕获长远信息，可以添加更多的卷积层以获得更大的感受野，但是引入了更多的滤波操作。空洞卷积是通过扩大特征图的感受野以聚合上下文信息而无需添加其他参数和计算而引入的。二维空洞卷积可以通过下列公式计算：

其中，x和y分别表示位置i处的输入和输出特征图，ω表示卷积核；空洞率r表示对输入特征图进行采样的步长，即沿每个空间维度方向在两个连续卷积核的值之间向输入x注入r-1个空洞。例如，如图4所示，当r＝1时，扩张卷积核退化为感受野为3×3的标准卷积(图4(a))。当r＝2时，相应的感受野为5×5(图4(b))，r＝3时相应的感受野为是7×7(图4(c))。在本发明中使用了空洞率分别为1、2、4和8的空洞卷积进行并行运算。

3、特征解码

特征编码阶段通过多次下采样提供分割目标的上下文信息。对称地，特征解码阶段执行四个上采样操作。在本发明中，我们采用简单但有效的1×1卷积和双线性插值运算来将高级语义特征图恢复到原图像的分辨率。同时，利用跳跃连接将编码器和解码器的同一阶段的特征进行拼接，而不是直接在高级语义特征上进行监督和反向传播。这确保了最终重构的特征图融合了更多的低层特征。四倍的上采样也使分割图恢复了更精细的信息，例如边缘。

4、损失函数

本发明旨在将白细胞和细胞核同时从复杂的背景中分离出来。具体来说，将分割任务看成多标签分类问题，包括两个独立的二类别分类器，即将细胞质和细胞核分别看成目标、其余为背景的两个二分类问题，以实现对细胞质和细胞核的分割。多标签交叉熵损失函数定义为：

其中，g

5、实验数据及评价

为了验证本发明在不同成像和染色条件下的分割性能，我们在两个公共数据集上进行了实验。Dataset1包含标准染色条件下的100张图像，尺寸为300×300，每个图像都清晰可见，并且仅包含一个白细胞和多个红细胞。Dataset2包含快速染色条件下的300张图像，尺寸为120×120，图像分辨率较低，仅包含单个白细胞，背景相对简单，没有明显的红细胞干扰。在本发明中，选择了常用的四个测度，即ME(错误分类错误)，FPR(假正率)，FNR(假负率)和Dice系数(Dice coefficient)，来评估分割效果。这些测度的定义为：

其中，G

6、定性比较

图5分别给出了在Dataset1(图5(a))和Dataset2(图5(b))上不同方法的分割结果，其中，自上而下是原始图像，Zhou方法，U-Net方法和本发明的分割结果。白色实线表示细胞核分割结果，黑色实线表示整个白细胞分割结果。具体地，Zhou方法在Dataset1上，由于红细胞和白细胞的粘连等，容易造成过分割，分割性能不稳定；在Dataset2上，细胞核分割结果比Dataset1上更好，但是由于染色杂质的干扰，对整个白细胞的分割并不理想。基于深度学习方法(U-Net和本发明方法)的分割结果受染色杂质和红细胞粘连的干扰更少。与U-Net相比，本发明方法具有更丰富的上下文信息，因此，对整个白细胞和细胞核的分割结果更加准确。

7、定量比较

表1-2列出了不同方法在Dataset1和Dataset2上白细胞和细胞核分割结果的四种测度的平均值。

表1两个数据集上整个白细胞分割结果的平均测度值

表2两个数据集上细胞核分割结果的平均测度值

实验结果表明，无论是对整个白细胞还是细胞核的分割，本发明方法在ME和Dice系数上的性能均优于其他方法。对于Dataset1上的细胞核分割，本发明方法没有最低的FPR和FNR值，是因为U-Net缺少高级的语义信息，导致细胞核欠分割，使得其对应的FPR值较低；Zhou方法由于红细胞的干扰而容易产生过分割，因此，其对应的FNR值较低。对于Dataset2上的整个白细胞分割，U-Net的FPR值比本发明方法略低，因为本发明方法提取的白细胞边界更清晰，而U-Net存在欠分割。总之，本发明方法在白细胞和细胞核分割的准确性和鲁棒性方面均优于其他两种方法。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。