基于有监督对比学习的尿红细胞的分类方法

摘要

本发明提供了一种基于有监督对比学习的尿红细胞的分类方法，步骤一：收集和扩充数据集；步骤二：构建基于ResNet‑50卷积神经网络的SRRN特征提取网络模型；步骤三：构造损失函数；步骤四：训练SRRN特征提取网络；步骤五：训练分类器；步骤六：测试模型；本发明使用SRRN网络模型训练后在测试集上准确率提高了0.36％；使用加入以欧式距离为基础的对比损失函数训练后的SRRN网络模型在测试集上的准确率提高了0.49％；以权重惩罚机制微调分类器后的模型在测试集上的准确率提高了0.71％；在模型测试阶段使用了TTA策略，模型在测试集上的准确率提高了0.13％，最后本发明准确率达到92.39％。

说明书

技术领域

本发明属于医学图像处理领域，具体涉及一种基于有监督对比学习的尿红细胞的分类方法。

背景技术

2020年12月1日，国际肾脏病学会官方杂志Kidney International Supplements(IF12.818)在线全文发表了中国肾脏疾病数据网络(CK-NET)的最新研究成果。该研究成果表示，目前我国重大慢性非传染性疾病的构成正在发生变化，尤其是慢性肾脏病呈现了快速上升的趋势。慢性肾脏病的防控与诊疗方面存在着巨大的供需不平衡问题。肾脏相关疾病的生病机理复杂，医生会诊困难，且治疗方式匮乏，是一个世界性难题，国家与社会每年支出医疗费用巨大，但是覆盖率依旧很低。

肾病患者往往伴随着血尿的现象，尿红细胞的形态能够较为准确的反映肾脏病变的类型。血尿的诊断首先要鉴别其是肾小球性血尿，还是非肾小球性血尿。肾小球性血尿中以畸形尿红细胞为主；非肾小球性血尿一般为正常尿红细胞。尿红细胞的形态学分析有“体外肾活检”的称号，在血尿的定位诊断上具有重要临床意义。传统的尿红细胞形态学分析主要依靠人工对尿沉渣中红细胞形态变换情况进行观察，记录相关指标。因此传统的人工检查方法一方面检查周期较长，另一方面在专业医师缺乏的地区难以满足肾病患者的体检需求。

针对当前尿红细胞智能分类的需求，以及传统的数字图像处理算法难以实现尿红细胞的精准分类，本发明利用深度学习的相关知识，提高尿红细胞分类精度和效率。

发明内容

本发明所解决的技术问题：提供一种尿红细胞分类方法，以提高分类精度和效率，将当前先进的科学技术运用于医学图像处理领域，减轻医生的负担。

本发明采用的技术方案为：

一种基于有监督对比学习的尿红细胞的分类方法，包括以下步骤：

步骤一：收集尿红细胞图片构造训练集和测试集；收集尿红细胞图像，进行类别标注，将收集到的图像按比例随机划分为训练集和测试集；收集到的尿红细胞图像按照其形态特征分为正常红细胞、环形红细胞、影形红细胞、新月牙形红细胞、面包圈形红细胞、皱缩形红细胞、棘型红细胞、侧面红细胞和立起状红细胞，对训练集中数据较少的类别做数据增强的预处理，所述数据增强预处理包括旋转和翻转，以得到更多数量的训练图像；

步骤二：构建基于ResNet-50的SRRN网络；在ResNet-50卷积神经网络的基础上，去除底部5个卷积层，换成一个上采样模块，所述上采样模块可将图像空间分辨率放大一倍，所述上采样模块包括一个卷积核，两个残差块和一个子像素卷积模块；

步骤三：构造损失函数；在有监督对比损失的基础上加入欧式距离损失，使用截取VGG-19网络提取图像特征向量，计算各个图像特征向量之间的欧式距离，以此欧式距离为基础计算损失值；

步骤四：训练SRRN网络模型；设置SRRN网络模型的训练参数，利用cifar10数据集训练SRRN网络模型，SRRN特征提取网络分两阶段来训练：第一阶段，使用传统的有监督对比损失函数来训练模型；第二阶段，使用以欧式距离为基础的对比损失和有监督对比损失函数共同训练特征提取网络至收敛；

步骤五：训练分类器；利用步骤一中准备的训练集训练分类器，分类器的训练分两个阶段：第一阶段使用交叉熵损失函数训练分类器至收敛；第二阶段根据权重微调分类器模型，其中权重由各类别分类概率值决定，对于较难分类的类别设置更高的损失权重；

步骤六：测试模型；测试步骤四以及步骤五中训练好的SRRN网络模型以及分类器模型，测试模型采用TTA策略来测试图像。

本发明还包括如下技术特征：

进一步的，所述步骤一中训练集和测试集的比例为4：1；训练集及其对应的标签用于训练分类器，测试集及其对应的标签用于测试得到的尿红细胞识别分类模型的性能，且对训练集中所有的新月牙形红细胞、皱缩形红细胞做水平翻转将数据增加一倍，对训练集中所有的棘形红细胞做90度旋转、180度旋转、270度旋转将数据增加了三倍。

进一步的，所述步骤二中第一个卷积核的卷积核大小为9，通道为64，步长为1，残差模块由两个卷积核组成，卷积核大小均为3，通道均为64，步长均为1，子像素卷积模块由一个卷积核与子像素清洗模块组成，在上采样模块后添加了一个卷积核大小为3，通道为64，步长为1的卷积核。

进一步的，所述步骤三中损失函数计算公式为：

L＝L

其中L

输入图像预处理：假设一个MinBatch包含N张图，分别随机对每张图片进行两次数据增强处理，每张图片会得出两张新的图片，一共得出2N张新图片，作为后续网络输入进行训练；

以余弦相似度为基础的损失函数的计算：图像经过特征提取网络计算后，2N张图片，会产生2N个特征向量，对每个特征向量进行归一化处理，每个特征向量就落在了一个半径为1的超球面上，得到的特征向量为：Z

其中，τ是一个大于0的常数设为0.1，该损失函数表示了对于任意图片i，所有与图片i同类的图片j，图片i和j的特征向量的余弦相似度越大，损失值越小；与不同类的图片k的特征向量的余弦相似度的总和，越小越好；之后在总损失函数中添加了以欧式距离的基础的对比损失函数，使得网络学习到特征向量的方向和实际距离两方面的相似性；

以欧式距离为基础的损失值的计算：2N张图片，经过截取VGG-19网络，得到的特征向量为X

其中，dis(X

进一步的，所述步骤四具体为：下载cifar10数据集，将图片统一调整为20×20×3的大小作为SRRN网络的输入，SRRN网络模型使用随机梯度下降优化器来进行优化，设置SRRN网络训练参数如初始学习率设为0.0005，批量尺寸为64，总的训练轮次为480，其中前300轮为第一阶段，使用有监督的对比损失函数训练网络至收敛，后180轮使用步骤三中构建的损失函数训练网络，保存SRRN网络模型。

进一步的，所述步骤五具体为：分类器使用随机梯度下降优化器来进行优化，设置分类器训练参数如初始学习率设为0.5，批量尺寸为256，总的训练轮次为130，分类器训练分为两阶段，第一阶段使用交叉熵损失函数，训练100轮，第二阶段训练30轮，使用的损失函数公式为：

其中N为测试集总样本数，K为分类类别数，

进一步的，所述步骤六中模型预测使用TTA策略，对预测样本执行180度旋转的数据增强操作，将原图与数据增强后的图像送入特征提取网络和分类器网络得到不同的结果，将原图与数据增强后的图像得到的结果求和，作为最终预测概率。

与现有技术相比，本发明的有益效果在于：

1、本发明将有监督的对比学习、迁移学习相结合，解决了尿红细胞数据集较少、分类困难的问题，利用cifar10数据集，训练出特征提取模块的权重，用于后续尿红细胞特征的提取。本发明在尿红细胞测试集中对正常红细胞、环形红细胞、影形红细胞、新月牙形红细胞、面包圈形红细胞、皱缩形红细胞、棘型红细胞、侧面红细胞、立起状红细胞这九类尿红细胞分类结果进行评估，训练得到基于ResNet-50网络对比学习模型的准确率为90.70％，其中各类别的召回率和精准率如表1所示。

表1(单位：％)

2、本发明针对尿红细胞图片尺寸较小、图像不清晰的特点，提出了SRRN网络模型。该网络是基于ResNet-50卷积神经网络做的修改，在ResNet-50网络的底部加入子像素卷积模块，使之更适用于小图像(图像空间分辨率大小16至24)的分类任务。使用SRRN网络结构后，在尿红细胞测试集上得到的准确率为91.06％，其中各类别的召回率和精准率如表2所示。

表2(单位：％)

3、传统的有监督的对比学习的损失函数以余弦相似度来衡量特征向量之间的相似性，本发明中的损失函数是在有监督对比学习的基础上，添加了欧式距离。欧式距离体现特征向量数值上的绝对差异，而余弦相似度体现特征向量方向上的相对差异。从多方面考察尿红细胞图像特征相似性。让模型学到更多细节特征。单独的依据每张图片像素之间的欧式距离会导致模型过度地学习图像之间像素差异，为了使模型更加关注固有的细节特征之间差异。本发明计算图像之间的欧式距离不是直接计算图像像素点之间的欧式距离，而是利用截取VGG-19网络提取尿红细胞图像特征，计算由截取VGG-19网络提取到的特征图之间的欧式距离。使用加入以欧式距离为基础的对比损失函数训练后的模型在测试集上的准确率达到了91.55％，其中各类别的召回率和精准率如表3所示。

表3(单位：％)

4、本发明针对部分类别的精准率和召回率较低，在交叉熵损失函数中引入权重惩罚机制。在训练分类器至收敛后，根据网络对不同类别分类的难易程度确定不同类别对应的权值，对于较难的分类任务设置更高的损失权重。不同类别分类的难易程度以训练过程中各类别对应的概率值来衡量。引入权重惩罚机制后，整个模型在尿红细胞测试集上的准确率为92.26％，其中各类别的召回率和精准率如表4所示。

表4(单位：％)

5、本发明中输入图像空间分辨率较小，SRRN网络模型中池化层使用较少，特征提取网络的旋转不变形较差，因此在测试模型阶段使用了TTA策略，整个模型在尿红细胞测试集上的准确率为92.39％，其中各类别的召回率和精准率如表5所示。

表5(单位：％)

附图说明

图1为尿红细胞样本图；

图2为SRRN网络模型结构图及数据流向；

图3为SRRN网络模型训练过程中第二阶段的损失函数计算方法；

图4为使用TTA策略测试流程图；

图5为使用有监督对比学习与迁移学习相结合尿红细胞分类网络模型得到的混淆矩阵；

图6为使用SRRN网络模型在尿红细胞测试集数据得到的混淆矩阵；

图7为加入欧式距离损失后的SRRN网络模型在尿红细胞测试集上得到的混淆矩阵；

图8为使用步骤五的方法训练分类器得到的混淆矩阵；

图9为测试模型时使用TTA策略得到的混淆矩阵；

图10为基于有监督对比学习的尿红细胞的分类方法流程图。

具体实施方式

为了具体说明本发明的特点与优势，下面结合附图对本发明具体实施方式作进一步说明。

实施例1：

一种基于有监督对比学习的尿红细胞的分类方法，包括以下步骤：

步骤一：收集和扩充数据集；收集尿红细胞图像，进行类别标注，将收集到的图像按一定的比例划分为训练集和测试集；收集到的尿红细胞图像按照其形态特征分为正常红细胞、环形红细胞、影形红细胞、新月牙形红细胞、面包圈形红细胞、皱缩形红细胞、棘型红细胞、侧面红细胞、立起状红细胞这九类，对训练集中数据较少的类别做数据增强的预处理主要包括旋转和翻转，以得到更多数量的训练图像；

步骤二：构建特征提取网络模型；在ResNet-50卷积神经网络的基础上，针对尿红细胞图像分辨率较低、图像细节显示不清晰的特点，对卷积神经网络结构做出修改，在ResNet-50卷积神经网络底部加入子像素卷积模块，放大图像，以便提取更加精准的特征，该网络模型适用于小分辨率图像，将其命名为SRRN(Small Resolution ResidualNetwork)；

步骤三：构造损失函数；在有监督对比损失的基础上加入欧式距离损失，使用截取VGG-19网络提取图像特征向量，计算各个图像特征向量之间的欧式距离，以此欧式距离为基础计算损失值；

步骤四：训练SRRN网络模型；设置SRRN网络模型的训练参数，利用cifar10数据集训练SRRN网络模型，SRRN特征提取网络分两阶段来训练，第一阶段，使用传统的有监督对比损失函数来训练模型，第二阶段，使用以欧式距离为基础的对比损失和有监督对比损失函数共同训练特征提取网络至收敛；

步骤五：训练分类器；利用步骤一中准备的尿红细胞训练集，训练分类器，分类器的训练分两个阶段，第一阶段使用交叉熵损失函数训练分类器至收敛，第二阶段根据权重微调分类器模型，其中权重由各类别分类概率值决定。对于较难分类的类别设置更高的损失权重；

步骤六：测试模型；测试步骤四以及步骤五中训练好的SRRN网络模型以及分类器模型，利用步骤一中制作的测试集，测试模型实际学习能力，测试模型采用Test TimeAugmentation(TTA)策略来测试图像。

本发明还包括这样的结构特征：

1.所述步骤一数据集以4：1的比例随机划分为训练集和测试集。尿红细胞图像训练集及训练集标签用于训练分类器，尿红细胞测试集及其对应的标签用于测试得到的尿红细胞识别分类模型的性能。且对训练集中所有的新月牙形红细胞、皱缩形红细胞做水平翻转，对训练集中所有的棘形红细胞做90度旋转、180度旋转、270度旋转。

1、所述步骤一数据集以4：1的比例随机划分为训练集和测试集。尿红细胞图像训练集及训练集标签用于训练分类器，尿红细胞测试集及其对应的标签用于测试得到的尿红细胞识别分类模型的性能。且对训练集中所有的新月牙形红细胞、皱缩形红细胞做水平翻转，对训练集中所有的棘形红细胞做90度旋转、180度旋转、270度旋转。具体操作为：通过离心方式获取尿液中的有形成分，并称之为尿沉渣。利用显微镜采集尿沉渣初始图像，选出所有的尿红细胞图像。这样就初步获得了实验所需的数据集。然后按照约4：1的比例随机将数据划分为尿红细胞图像训练集和尿红细胞图像测试集。对部分训练集数据较少的类别如第四类新月形红细胞、第七类棘型红细胞，采用数据增强的方式扩充样本。数据增强的主要方式为水平翻转和旋转(90度、180度、270度)。

2、所述步骤二构建特征提取网络模型SRRN，更适用于尿红细胞这种空间分辨较小的图像。在ResNet-50卷积神经网络的基础上，去除底部5个卷积层，换成一个上采样模块，该模块可将图像空间分辨率放大一倍。该上采样模块包括一个卷积核，两个残差块和一个子像素卷积模块。具体操作为：SRRN网络将ResNet-50卷积神经网络的底层部分卷积换成上采样模块。该上采样模块包括卷积层和子像素卷积。该模块负责放大输入图像，方便后续网络提取图像细粒度特征。

3、所述步骤三中SRRN网络模型在第二阶段所用的损失函数是有监督对比损失函数与以欧式距离为基础的对比损失函数加权求和。以欧式距离为基础的对比损失函数计算的具体方式为：利用截取VGG-19网络提取图像的特征向量，计算特征向量之间的欧式距离，以此欧式距离为基础，计算对比损失。其中截取VGG-19网络只用于计算图像特征，并不作为一个子模块加入SRRN网络模型中，在后续推断过程中也不再使用该模块。

4、所述步骤四中SRRN网络模型的训练分为两阶段。前300轮为第一阶段，使用有监督的对比损失函数训练网络，后180轮使用步骤三中构建的损失函数训练网络。

5、所述步骤五中分类器的训练分为两阶段，第一阶使用交叉熵损失函数训练分类器至收敛，第二阶段在交叉熵损失函数中引入权重惩罚机制，各类别的权重由分类的难易程度决定。具体操作为：使用步骤四中训练好SRRN网络模型权重。将步骤一中收集好的尿红细胞训练集输入到SRRN网络模型中，输出为2048维的特征向量，将得到的特征向量及其标签信息输入到交叉熵损失函数中，训练分类器至收敛后，调整损失函数中各个类别对应的权重，继续训练至模型收敛。

6、所述步骤六中模型预测使用TTA策略，对预测样本执行180度旋转的数据增强操作，将原图与数据增强后的图像送入特征提取网络和分类器网络得到不同的结果(分到每类的概率)，将原图与数据增强后的图像得到的结果求和，作为最终预测概率。

实施例2：

本发明基于有监督对比学习的尿红细胞的分类方法具体步骤是：

步骤一：利用显微镜采集尿沉渣初始图像，收集尿红细胞数据集，根据细胞形态特征，标注数据类别信息，划分训练集和测试集。将所收集到的尿红细胞分为：正常红细胞、环形红细胞、影形红细胞、新月牙形红细胞、面包圈形红细胞、皱缩形红细胞、棘形红细胞、侧面红细胞、立起状红细胞这九类，具体如图1所示。由于新月牙形红细胞、皱缩形红细胞、棘形红细胞细胞数目较少，对这三类红细胞采用了数据增强的手段，扩充数据集。其中对新月牙形红细胞、皱缩形红细胞做水平翻转，将数据增加一倍，对棘形红细胞做90度旋转、180度旋转、270度旋转将数据增加了三倍。

步骤二：如图2所示为SRRN网络模型结构图及数据流向。图2中使用STAGE1模块替换ResNet-50卷积神经网络中部分卷积块。图2中的STAGE1模块是一个图像上采样模块，它主要包括两个残差模块和一个子像素卷积模块。第一个卷积核的卷积核大小为9，通道为64，步长为1。残差模块由两个卷积核组成，卷积核大小均为3，通道均为64，步长均为1。子像素卷积模块主要作用是放大图像尺寸，它由一个卷积核与子像素清洗模块组成。在上采样模块后添加了一个卷积核大小为3，通道为64，步长为1的卷积核。图6为使用SRRN网络模型在尿红细胞测试集数据得到的混淆矩阵。

步骤三：特征提取网络在第二阶段中使用的损失函数计算公式为：L＝L

1、输入图像预处理：假设一个MinBatch包含N张图，分别随机对每张图片进行两次数据增强(随机裁剪、翻转等)处理，每张图片会得出两张新的图片，一共得出2N张新图片，作为后续网络输入进行训练。

2、以余弦相似度为基础的损失函数的计算：图像经过特征提取网络计算后，2N张图片，会产生2N个特征向量，对每个特征向量进行归一化处理。这样每个特征向量就落在了一个半径为1的超球面上。得到的特征向量为：Z

其中，τ是一个大于0的常数设为0.1。该损失函数表示了对于任意图片i，所有与图片i同类的图片j。图片i和j的特征向量的余弦相似度越大，损失值越小；与不同类的图片k的特征向量的余弦相似度的总和，越小越好。这种损失函数只能使网络学习到特征向量的方向上的相似性，但是单纯地从方向上来衡量特征向量的相似性是片面的。因此在总损失函数中添加了以欧式距离的基础的对比损失函数，使得网络学习到特征向量的方向和实际距离两方面的相似性。

3、以欧式距离为基础的损失值的计算：2N张图片，经过截取VGG-19网络，得到的特征向量为X

其中，dis(X

步骤四:训练特征提取器。下载cifar10数据集，将图片统一调整为20×20×3的大小作为SRRN网络的输入。SRRN网络模型使用随机梯度下降(SGD)优化器来进行优化，设置SRRN网络训练参数如初始学习率设为0.0005，批量尺寸为64，总的训练轮次为480等。其中前300轮为第一阶段，使用有监督的对比损失函数训练网络至收敛，后180轮使用步骤三中构建的损失函数训练网络，保存SRRN网络模型。图8为使用新的损失函数后在尿红细胞测试集上得到的混淆矩阵。

步骤五：训练的分类器。分类器使用随机梯度下降(SGD)优化器来进行优化，设置分类器训练参数如初始学习率设为0.5，批量尺寸为256，总的训练轮次为130等分类器训练分为两阶段，第一阶段使用交叉熵损失函数，训练100轮。第二阶段训练30轮，使用的损失函数公式为：

其中N为测试集总样本数，K为分类类别数。

步骤六：测试模型，TTA策略测试流程如图4所示。将特征提取模型与分类器模型结合，作为测试模型。将尿红细胞测试集的图像和经过数据增强后的图像分别输入到测试模型中。得到两张图像对应的预测概率，将两者加权求和得到最终的概率。其中原图的权值为3，经过图像增强后的权值为1。图9为在测试模型时使用TTA策略后在尿红细胞测试集上的混淆矩阵。

综上所述，本发明是医学图像处理领域，是一种基于有监督对比学习的尿红细胞的分类方法，步骤一：收集和扩充数据集；步骤二：构建基于ResNet-50卷积神经网络的SRRN特征提取网络模型；步骤三：构造损失函数；步骤四：训练SRRN特征提取网络；步骤五：训练分类器；步骤六：测试模型；本发明提出SRRN网络模型是在ResNet-50网络的基础上构建的，它更适用于空间分辨率小的图像。与ResNet-50网络模型相比，SRRN网络模型训练后在测试集上准确率提高了0.36％；本发明在有监督对比损失函数中加入以欧式距离为基础的对比损失函数，从特征向量的方向和绝对距离两方面衡量特征之间的相似性，使用加入以欧式距离为基础的对比损失函数训练后的SRRN网络模型在测试集上的准确率提高了0.49％；本发明以权重惩罚机制微调分类器后的模型在测试集上的准确率提高了0.71％；本发明在模型测试阶段使用了TTA策略，模型在测试集上的准确率提高了0.13％，最后本发明准确率达到92.39％。