基于混合注意力残差网络实现白细胞自动分类方法及系统

摘要

本发明提供了一种基于混合注意力残差网络实现白细胞自动分类方法及系统，该方法包括：步骤(1)：获取原始白细胞图像，并进行预处理；步骤(2)：将预处理后的白细胞图像输入改进的残差网络模型中进行训练，得到的改进的残差网络模型满足白细胞类型判断准确率的要求。

说明书

技术领域

本发明属于医学图像分析领域，尤其涉及一种基于混合注意力残差网络实现白细胞自动分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

白细胞在维持身体免疫力和摧毁入侵的细菌和病原体方面至关重要。一般来说，白细胞可分为颗粒细胞:中性粒细胞(中性粒细胞进一步细分为分叶中性粒细胞和杆状中性粒细胞)、嗜酸性粒细胞、嗜碱性粒细胞和无颗粒细胞：单核细胞和淋巴细胞。准确识别不同类型的白细胞对某些疾病的辅助诊断具有重要意义。当白细胞中某些类型细胞数量超过正常范围时，往往预示着某些疾病的发生。例如，白细胞中淋巴细胞数量突然下降是新冠肺炎常见的症状。因此，淋巴细胞的突然减少已成为严重新冠肺炎病患者的临床预警指标之一。白细胞图像分析在指导治疗中起着非常重要的作用，白细胞的正确分类是细胞图像自动分析过程中的关键步骤。然而，白细胞的人工分类效率低，容易出错，耗费人力。因此，许多工作旨在设计白细胞分类的计算机辅助方法。

卷积神经网络已应用于各种医学图像处理任务，并展现出令人满意的性能。然而，大多数深度学习方法在执行卷积运算时无法充分利用关键特征和重要信息，这在很大程度上限制了神经网络的性能。最近，一些工作利用注意力机制来提高计算机视觉任务的性能，例如图像分类，目标检测，和图像分割。神经网络中的注意机制可分为三种类型，如通道注意，空间注意，混合注意。通道注意力机制致力于通过关注通道之间的关系来关注更多的区别性信息，而空间注意力在提取更有意义信息方面具有优势，因为它关注不同的空间位置。为了同时提取更有意义的信息和更有区别的信息，混合注意力结合了网络中不同的注意力机制，与卷积神经网络相比，注意力模型可以取得可观的性能。

基于以上考虑，本项工作设计了一种用于白细胞分类的深度学习模型——混合注意力残差网络，实现人体外周血六种白细胞的自动分类。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于混合注意力残差网络实现白细胞自动分类方法及系统，其通过将图像处理技术、深度学习技术和注意力机制技术相结合，突出更多的可区别特征并强调有意义的特征来解决上述问题，达到了白细胞自动高效分类的目的。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于混合注意力残差网络实现白细胞自动分类方法。

基于混合注意力残差网络实现白细胞自动分类方法，包括：

步骤(1)：获取原始白细胞图像，并进行预处理；

步骤(2)：将预处理后的白细胞图像输入改进的残差网络模型中进行训练，得到的改进的残差网络模型满足白细胞类型判断准确率的要求。

本发明的第二个方面提供一种基于混合注意力残差网络实现白细胞自动分类系统。

基于混合注意力残差网络实现白细胞自动分类系统，包括：

预处理模块，其被配置为：获取原始白细胞图像，并进行预处理；

模型构建模块，其被配置为：将预处理后的白细胞图像输入改进的残差网络模型中进行训练，得到的改进的残差网络模型满足白细胞类型判断准确率的要求。

本发明的第三个方面提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于混合注意力残差网络实现白细胞自动分类方法中的步骤。

本发明的第四个方面提供一种计算机设备。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述的基于混合注意力残差网络实现白细胞自动分类方法中的步骤。

与现有技术相比，本发明的有益效果是：

1、采用轻量级输入子网络模型设计，改进了原始残差网络的输入分支，通过分解具有较大尺寸的卷积滤波器，以更少的计算成本优化卷积神经网络的输入结构。

2、采用混合注意力残差网络模型设计，采用注意力机制的思想，加入了通道注意力和空间注意力模块，改进了原始残差网络中的残差块结构，极大地提高了白细胞的分类精准度。

3、对原始的ResNet网络的下采样层结构加以改进，将输入特征映射图通过混合注意力残差网络中的下采样分支模块结构，基于得到的降采样输出特征与注意力残差块结构的输出特征进行特征融合，使得网络充分利用输出的卷积特征，减少对重要特征信息的丢失，进一步提高分类精确度。

4、本发明能够在节约计算成本的同时提高细胞分类的准确性，为医生的日常临床诊断做出重要贡献。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明中混合注意力残差网络的总体结构图；

图2是本发明中基于残差网络的轻量级输入子网络结构图；

图3是本发明中一个注意力残差模块结构图；

图4是本发明中改进原始残差网络中的下采样模块结构图；

图5是本发明的基于混合注意力残差网络实现白细胞自动分类方法流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供了一种基于混合注意力残差网络实现白细胞自动分类方法。

如图5所示，基于混合注意力残差网络实现白细胞自动分类方法，包括：

步骤(1)：获取原始白细胞图像，并进行预处理；

步骤(2)：将预处理后的白细胞图像输入改进的残差网络模型中进行训练，得到的改进的残差网络模型满足白细胞类型判断准确率的要求。

其中，改进的残差网络模型的构建过程，包括：

基于原始残差网络的输入分支，引入一个轻量级输入子网络；

改进混合注意力残差网络，引入通道注意力模块和空间注意力模块；

改进下采样网络结构，增加第一路径中卷积层的步长，并增加第二路径中卷积层的步长。

具体的，轻量级输入子网络设计原理与具体实现过程为：原始ResNet输入子网络包含一个7*7的卷积层，通过该卷积层之后的特征图大小为：n*＝(n-7+1)/p,(n表示输入图像大小，p代表卷积步长,n*代表输出图像大小)。通过使用三个卷积核尺寸为3*3的卷积层代替了原始的卷积核尺寸为7*7的卷积层，输出的结果依次为：n1＝(n-3+1)/p,n2＝(n1-3+1)/p,n3＝(n2-3+1)/p,(n1,n2,n3分别代表图像依次通过三层卷积层的输出结果)，经过计算可知n*＝n3。而采取第二种方式的网络参数为3*(3*3*C)*C＝27*C*C，(C代表输出的特征图大小)，采用第一种方式的网络参数为7*7*C*C＝49*C*C。因而采用多个更小尺寸的卷积核替换较大尺寸的卷积核，能够在保证不改变输出特征信息的基础上减少参数数量以及计算复杂度，从而加快了网络的训练效率。

作为一个或多个实施方式，给定一个输入特征，通过混合注意力网络提取图像中感兴趣的特征，输出混合注意力特征图。给定一个输入特征，通过改进的下采样网络结构得到池化特征。将混合注意力特征图和池化特征进行融合，得到最终的输出特征，将所有的输出特征信息通过全连接层，利用softmax分类函数得到白细胞的分类结果。

具体的，混合注意力残差网络的设计原理与具体实现过程为：给定一个输入特征：F

改进原始残差网络的下采样层的具体实现过程为：如图2所示：将原始下采样网络结构路径A中的卷积核大小为1*1，步长为2的卷积层，采用卷积核大小为1*1，步长为1的卷积层替代，然后将卷积核大小为3*3，步长为1的卷积层，采用卷积核大小为3*3，步长为2的卷积层替代来保证改进前后路径A输出的特征维度一致。根据卷积运算，卷积核大小为1*1，步长为2的卷积操作相当于将输入图像的宽度和高度各缩小为原来的1/2，即输出图像的大小为输入图像的1/4，也就意味着图像卷积过程中会损失3/4的特征信息。而采用此改进方式能够充分利用特征图所包含的信息，从而避免重要特征的丢失，加强网络对图像的理解。同理，路径B卷积结构同样会损失3/4的特征信息，在使用卷积核大小为1*1，步长为1的卷积层代替此结构的同时，先在卷积层之前添加一个卷积核大小为2*2，步长为2的平均池化层。通过此改进方式能保证在输出特征维度保持一致的基础上，极大地减少了卷积过程的信息损失，进一步地提高了网络的分类性能。

作为一种或多种实施方式，预处理包括：将原始白细胞图像分为训练集和测试集，对训练集的进行旋转、镜像、色彩对比度转化以及图像尺寸的归一化处理。

具体的，图像预处理的具体实现过程为：首先，将白细胞图像依次以90°，180°，270°顺时针旋转和镜像的方式扩增图像的数量；其次，采用加权平均法对RGB图像的三个通道分量进行加权平均，转换算法为F＝0.295*R+0.601*G+0.104*B(F为生成图像，R、G、B代表图像三个通道，其前数字代表各通道的权重因子)实现图像的色彩对比度转化，同时给图像加入均值为0，方差为σ2的高斯噪声以提高数据的泛化能力；最后将原始数据图像(360px*365px)统一大小为256px*256px，作为网络输入的尺寸标准。

作为一种或多种实施方式，采用pytorch框架利用训练集对改进的残差网络模型进行训练，并利用测试集对改进的残差网络模型的性能加以评估，输出满足白细胞类型判断准确率要求的改进的残差网络模型。

基于pytorch框架进行网络的训练以及对网络性能的测试，具体实现过程为：基于开源深度学习框架pytorch，在NVIDIA工具扩展SDK(NVTX)GPU硬件上实现。在混合残差卷积神经网络模型中，对每个分支网络的结构及权值初始化设置如表1所示，训练过程的具体步骤如下：

(1)初始化网络权重:每个卷积层的权值采用ResNet-50网络权重来初始化；全连接层的网络权值为随机初始化。

(2)设置网络训练参数：卷积层的初始学习率设为0.1，每30次epoch以10％的速率衰减，直到训练达到200次epoch。每一次批量迭代训练的图像数量(batch size)设置为32张，所有数据进行完整的一次训练的迭代次数(iteration)约为560次。完成所有数据的全部训练迭代次数约为112000次。

(3)加载训练数据:采用19800张电子显微镜下的白细胞图像数据集对模型训练和测试，其中随机选取18000张图像作为训练集，1800张图像作为测试集，针对网络模型的输入大小，将所有图像的尺寸统一归一化为256*256；(4)采用标准的随机梯度下降算法进行网络优化，对混合注意力残差卷积神经网络模型进行迭代训练，训练过程中，采用softmax分类函数(公式1)得到归一化概率的类别得分。用实数对输入的类评分进行缩放，每个输出元素在0到1之间得到相应的类评分向量，所有元素之和为1，并采用交叉熵作为损失函数(公式2)

表1：混合注意力残差网络每个层网络的结构及参数初始化设置

实施例二

本实施例提供了一种基于混合注意力残差网络实现白细胞自动分类系统。

基于混合注意力残差网络实现白细胞自动分类系统，包括：

预处理模块，其被配置为：获取原始白细胞图像，并进行预处理；

模型构建模块，其被配置为：将预处理后的白细胞图像输入改进的残差网络模型中进行训练，得到的改进的残差网络模型满足白细胞类型判断准确率的要求。

其中，预处理模块，被配置为：选择一定数目的具有代表性的外周血白细胞图像作为网络训练数据，根据10：1的比例，将数据分为训练集与测试集。通过旋转、镜像、色彩对比度等方式进行数据增强，并将所有数据图像大小统一标准。

模型构建模块，包括：轻量级输入子网络模型设计模块、混合注意力残差网络模型设计模块、原始的ResNet网络的下采样层结构改进模块以及训练模块。

轻量级输入子网络模型设计模块，改进了原始残差网络的输入分支，通过分解具有较大尺寸的卷积滤波器，以更少的计算成本优化卷积神经网络的输入结构。包含对三个结构完全相同的卷积层设计和一个实现特征压缩的池化层设计。

混合注意力残差网络模型设计模块，基于ResNet-50的网络结构，采用注意力机制的思想，加入了通道注意力和空间注意力模块，改进了原始残差网络中的残差块结构，设计了一种新颖的混合注意力残差结构模型，极大地提高了白细胞的分类精准度。

示例的，混合注意力残差网络模型具体实现：模型包含四个组件：(stage1，stage2，stage3，stage4)。每个组件由多个注意力残差块(attention-residual block)构成，各组件所含的注意力残差块数量各不相同。每一个注意力残差块的结构包含对通道注意力模块(channel-attention)和空间注意力(spatial-attention)模块以及下采样模块(down-sampling)结构的设计。

原始的ResNet网络的下采样层结构改进模块，将输入特征映射图通过混合注意力残差网络中的下采样分支模块结构，基于得到的降采样输出特征与注意力残差块结构的输出特征进行特征融合，使得网络充分利用输出的卷积特征，减少对重要特征信息的丢失，进一步提高分类精确度。

训练模块，采用pytorch框架，利用准备好的训练数据集对网络进行训练，并利用测试集对网络的性能加以评估。

下面结合附图具体说明：

(1)混合注意力残差网络结构流程：

步骤1：图1中的输入模块(input)表示原始数据的图像预处理操作。将原始图像通过镜像，旋转，改变色彩对比度，增添噪声等措施进行数据增强；并将图像原始大小从360px*365px统一化为256px*256px作为卷积网络输入的条件。

步骤2：将步骤1经过预处理的数据通过轻量级输入子网络模块(LightweightInput sub-network)进行卷积、池化操作。

步骤3：将步骤2得到的输出特征图作为通道空间注意力残差模块结构(C-SAttention based Residual sub-network)的输入数据。该模块包含四个处理子结构(stage1，stage2，stage3，stage4)，stage1包含三个注意力残差块(attention residualblock)，stage2包含四个注意力残差块，stage包含六个注意力残差块，stage包含三个注意力残差块。具体的网络结构以及参数设置如表1所示。

表1：混合注意力残差网络每个层网络的结构及参数初始化设置

步骤4：将步骤3得到的输出特征图首先通过一层平均池化层进行特征压缩，其次通过全连接层，将特征与每个类别的模板进行匹配，得到与每个类别的相似程度，然后基于Softmax函数将相似程度映射为概率，得到归一化概率类别得分，得出各类别白细胞分类精确度，并采用交叉熵计算损失函数。具体公式如公式1，公式2所示。

(2)轻量级输入子网络结构图：

步骤1：将原始残差网络的输入子结构中卷积核尺寸为7*7的卷积层采用三个相同的卷积核尺寸为3*3的卷积层代替。实现了在不影响图像输出特征的基础上减少了网络的参数，提高了网络的运行效率。

步骤2：将步骤1得到的输出特征图通过一层卷积核大小为3*3的最大池化层进行特征压缩，降低上层的计算复杂度。

注意力残差模块结构图：

如图3所示，根据C-S Attention based Residual sub-network模块可知，每一个组件(stage)由多个注意力残差块(attention block)构成，其内部组成结构如下步骤：

步骤1：注意力残差块由两个子结构：混合注意力模块结构和下采样模块结构组成。将步骤2得到的输出特征图分别通过两个子模块，将得到的两个分支的特征进行融合，并通过ReLU激励函数处理网络中的非线性因素，最终得到注意力残差网络的所有输出特征。

步骤2：混合注意力子结构由通道注意力模块(Channel Attention)和空间注意力模块(Spatial Attention)组成。对于通道注意力模块，输入特征Fin首先经过一个并行的池化层结构：平均池化层(Avg Pooling)和最大池化层(Max Pooling)，将池化后的特征信息融合之后导入一个由平展(flatten)、线性化(liner)、激励函数(ReLU)、线性化(liner)、激励函数(sigmoid)五种操作方式组成的结构单元得到一个输出特征AC。将输入特征Fin与输出特征AC按元素方式进行相乘运算得到通道注意力模块的输出特征：

步骤3：对于空间注意力模块，输入特征为：

改进原始残差网络中的下采样模块结构图：

混合注意力模块的下采样结构如图4所示：

步骤1：将路径A中卷积核大小为1的卷积层的步长2替换为步长1，并将卷积核大小为3的卷积层的步长1替换为步长2，以获得相同维度的输出特征向量。

步骤2：将路径B中1*1卷积层的步长2替换为步长1，并在卷积层之前添加一层卷积核大小为1、步长为2的平均池化层来保证改进前后输出特征维度的统一。

步骤3：将路径A与路径B两条通道的输出特征相融合，并将融合之后的特征与混合注意力模块的输出特征相加得到混合注意力残差模块的输出特征。

为了克服现有技术存在的缺点和不足，本发明提供了一种基于混合注意力残差网络实现白细胞自动分类系统，通过将图像处理技术、深度学习技术和注意力机制技术相结合，并设计了一种混合注意残差网络(MA-ResNet)，该网络由一个用于降低计算成本的轻量级输入子网络和一个基于通道空间注意的残差子网络组成，该子网络旨在突出更多的可区别特征并强调有意义的特征来解决上述问题。同时，对残差子网络的下采样模块进行了重构，以避免丢失信息。通过这种技术，提高了分类准确率及效率，达到了白细胞自动高效分类的目的。

实施例三

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于混合注意力残差网络实现白细胞自动分类方法中的步骤。

实施例四

本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于混合注意力残差网络实现白细胞自动分类方法中的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。