一种血涂片全视野智能分析方法

摘要

一种血涂片全视野智能分析方法，采集多幅原始血涂片单视野图像，建立原始血涂片单视野图像组，并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像；基于所述第一训练集和第一验证集构建图像复原模型；基于第二训练集和第二验证集构建图像分割模型，基于所述多幅分割后的单个血细胞图像，获得第三训练集和第三验证集，构建图像识别模型；最终得到血细胞分类结果。本发明基于人工智能算法对全视野血细胞进行分析，极大降低了人为因素的干扰，提高检验结果的客观性，对血细胞分析分类准确度高；对符合要求的图片输入均可实现识别分析，算法鲁棒性和准确性比传统图像识别算法高，颠覆了现有医学检验流程，整体时间大大缩短。

说明书

技术领域

本发明涉及血细胞检验技术领域，具体涉及一种血涂片全视野智能分析方法。

背景技术

当前血细胞检验技术中，血细胞的识别率低、人为干扰因素大，现有的仪器设备未能对血涂片全视野进行分析，检验结果的准确性不高。目前医院血液检验流程是：血液样品——血液分析仪——推染片机——人工镜检，整个流程耗时60分钟。对患者进行人工抽血得到血液样品；通过血液分析仪得到各种血细胞计数、白细胞分类和血红蛋白含量；通过推染片机进行染色标记，得到用于人工镜检的血涂片；最终由专业医生进行人工镜检后得到人工分析的血细胞形态分析结果，包括异常血细胞计数、异常血细胞分类等。现有的血液分析仪（血球仪、血球计数仪等）技术实现主要基于电阻抗、激光测定以及综合方法（流式细胞术、细胞化学染色、特殊细胞质往除法等）等三类。

电阻抗法属于物理方法，血液按一定比例稀释后经负压吸引通过仪器的一个微孔小管，由于血细胞与稀释液相比是不良导体，当每个血细胞通过微孔时均取代等体积的稀释液在电路上形成一短暂的电阻而导致电压的变化，产生相应的脉冲信号并经放大、甄别后累加记录。采用此种原理的分析设备经常会不同程度的出现微孔小管堵塞的情况，造成血细胞分类计数结果波动较大。激光测定法是血液按一定比例稀释后形成一个极细的液流穿过激光束，每个血细胞被激光照射后产生光散射并被光电倍增管接收。细胞的前向角散射与细胞的体积大小有关、侧向角(或高角)散射与细胞的内部结构、颗粒性质等有关，细胞数量则与细胞通过激光束时光散射的脉冲次数相同。各种检测信号被放大、甄别后经计算机处理可得到各种血细胞的数量和体积大小的平均数、变异系数、占全血体积的百分比及体积大小分布直方图等。激光型虽然比电阻型仪器稳定，但激光管寿命有限，而且测定白细胞种类有限。综合方法：此类仪器是多种先进的细胞分析技术的高度综合应用，对血细胞的分析参数更多，但其检验结果的客观性不足且识别精度不高，且无法完全取代人工镜检。

在现有技术中，人工复检效率太低，识别过程主观因素太大，从而导致极易受主观经验和人为因素干扰。一是未实现血涂片全视野范围内血细胞的分析和计数，数据样本量不够，导致结果片面性大，不够全面和准确；二是计数和分类算法比较传统，形态分析效果较差，识别准确度不高；三是人工镜检医师主观性无法控制，复检率高；四是时间较长，效率低。

发明内容

为解决上述问题，本发明提供了一种血涂片全视野智能分析方法，用于血常规检验领域的血细胞形态识别和定量分析。通过使用血涂片扫描仪或显微照相系统对多个血涂片进行全视野摄影，得到多个血涂片图像，从而建立血涂片图像组。从血涂片图像组中分别为图像复原、图像分割和图像识别三部分工作准备训练数据集和验证数据集，其中图像识别数据集还需要图像分割模型的支持。使用人工智能技术（深度学习和卷积神经网络）进行模型训练，并通过不断地参数调优和误差分析优化模型，最终得到成熟的图像复原模型、图像分割模型和图像识别模型，并进行部署。在系统应用过程中，待检测血涂片也同样需要经过血涂片扫描仪或者显微照相系统进行全视野摄影，建立血涂片扫描图像，再通过图像复原模型处理后获得复原后的清晰血涂片扫描图像，再经过图像分割处理后可以得到单张血细胞图像，最后经过血细胞图像识别获得细胞分类结果并输出报告。通过对血涂片全视野扫描分析，结果识别率高、准确度高。

本发明采用如下的技术方案实现：

一种血涂片全视野智能分析方法，包括如下步骤：采集多幅原始血涂片单视野图像，建立原始血涂片单视野图像组，并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像；

基于所述多幅原始血涂片单视野图像，获得第一训练集和第一验证集，基于所述第一训练集和第一验证集构建图像复原模型；

在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像，获得第二训练集和第二验证集，基于所述第二训练集和第二验证集构建图像分割模型，所述多幅存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理，得到多幅分割后的单个血细胞图像；

基于所述多幅分割后的单个血细胞图像，获得第三训练集和第三验证集，基于所述第三训练集和第三验证集构建图像识别模型；

所述血涂片全视野图像经过图像复原模型进行复原，得到复原后的全视野图像，所述复原后的全视野图像经过图像分割模型处理，得到多幅单个血细胞图像，所述多幅单个血细胞图像经过图像识别模型处理，得到血细胞分类结果。

进一步的，所述在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像，获得第二训练集和第二验证集，基于所述第二训练集和第二验证集构建图像分割模型，所述多幅存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理，得到多幅分割后的单个血细胞图像的步骤包括:

步骤S310,第二卷积神经网络的输入层输出第二训练集中的某一个原始血涂片单视野图像数据到第二卷积神经网络的卷积块；

步骤S320,设置所述第二卷积神经网络的编码结构的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量及大小，提取第一关键特征；

步骤S330,设定与编码结构卷积块的数量相同的解码结构卷积块数量，所述解码结构的每个卷积块的卷积层的卷积核的数量及大小、每个卷积块的池化层的数量、每个池化层的卷积核的数量均与编码结构中相对应的卷积块一致，基于所述第一关键特征得到解码后的数据；

步骤S340,对所述解码后的数据再进行卷积运算，所述卷积运算的卷积核大小为1、卷积核数量设置为需要分割的类别数；

步骤S350,第二卷积神经网络的每个卷积块的全连接层将所述再进行卷积运算的解码后数据和第二卷积神经网络的输出层的多个神经元进行全连接，所述第二卷积神经网络的输出层输出预测分割结果；

步骤S360,重复步骤S310至S350，使用第二训练集进行训练，通过迭代调参得到图像分割模型。

进一步的，所述基于所述多幅分割后的单个血细胞图像，获得第三训练集和第三验证集，基于所述第三训练集和第三验证集构建图像识别模型的步骤包括：

步骤S410,第三卷积神经网络的输入层输出第三训练集中的某一分割后的单个血细胞图像数据到第三卷积神经网络的卷积块；

步骤S420,设置所述第三卷积神经网络的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量和大小，提取第二关键特征；

步骤S430,第三神经网络的每个卷积块的全连接层将所述第二关键特征和第三卷积神经网络的输出层的多个神经元进行全连接，所述第三卷积神经网络的输出层输出预测识别结果；

步骤S440, 重复步骤S410至S430， 使用第三训练集进行训练，通过迭代调参得到图像识别模型。

进一步的，所述第二卷积神经网络的编码结构的各个卷积层中的卷积核大小相同，编码结构的下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的2倍，编码结构的各个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。

进一步的，所述第二卷积神经网络的解码结构的各个卷积层中的卷积核大小相同，解码结构的下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的1/2，解码结构的各个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。

综上所述，本发明提供了一种血涂片全视野智能分析方法，采集多幅原始血涂片单视野图像，建立原始血涂片单视野图像组，并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像；基于所述第一训练集和第一验证集构建图像复原模型；基于第二训练集和第二验证集构建图像分割模型，基于所述多幅分割后的单个血细胞图像，获得第三训练集和第三验证集，构建图像识别模型；最终得到血细胞分类结果。

与现有技术相比，本发明有如下有益的技术效果：

根据不同应用领域，可以实现人工智能算法的选择和开放更新；基于人工智能算法对全视野血细胞进行分析，极大降低了人为因素的干扰，提高检验结果的客观性，对血细胞分析分类准确度高；对于符合要求的图片输入均可实现识别分析，算法鲁棒性和准确性都比传统图像识别算法要高，颠覆了现有医学检验流程，整体时间大大缩短。

附图说明

图1是本发明的血涂片全视野智能分析方法的流程图；

图2是本发明的血涂片全视野智能分析方法的示意图；

图3是本发明的图像分割方法中的血细胞标注的示意图；

图4是本发明的图像分割模型的示意图；

图5是本发明的图像识别模型的示意图；

图6是本发明的图像识别结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明提供了一种血涂片全视野智能分析方法，包括如下步骤，如图1和图2所示：

步骤S100，采集多幅原始血涂片单视野图像，建立原始血涂片单视野图像组，并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像。

首先采集血液样本，制作成血涂片，利用基于自动化技术的血涂片扫描仪或者基于手工调节的显微照相系统，拍摄全视野血涂片照片。在全视野成像过程中，一是基于特征比对的图像拼接方法，一是基于模糊自适应的运动拍摄方法。

基于特征比对的图像拼接方法是为了将多张单视野图像合成为全视野图像。在这个过程中，需要利用特征比对和模式匹配来识别机械误差和拍照误差，将相邻单视野图像配准并拼接。

基于模糊自适应的运动拍摄方法放弃了传统的先对焦后拍照的显微摄影方案，而是在焦距方向的匀速运动过程中多次拍照，再应用基于运动补偿的加权合成算法将拍摄得到的多张单视野图像合成为一张清晰的全视野图像。

步骤S200,基于所述多幅原始血涂片单视野图像，获得第一训练集和第一验证集，基于所述第一训练集和第一验证集构建图像复原模型。

具体的，由于设备本身的机械运动抖动和光学部件差异会导致血涂片扫描仪或基于手工调节的显微照相系统拍摄的血涂片图像质量变坏，最终导致图像与实际不符。为了能有效的消除低质量图像带来的不利影响，构建了基于深度卷积神经网络的图像复原模型。该模型的输入为低质量图像（以下称退化图像），输出为经过去噪、去模糊、锐化后的高质量图像。先建立退化模型，根据该退化模型进行训练得到具体退化参数，然后通过去除噪声等建立复原模型，从而恢复图像。

具体的，复原模型建立过程如下：

将多幅血涂片单视野图像分成A和B两个集合，A集合中是该多幅血涂片单视野图像的所有低质量图像（下称退化图像），B集合中是该多幅血涂片单视野图像的所有高清图像，且A集合中的退化图像和B集合中的高清图像是多对一的关系，即B集合中的一个高清图像对应A集合中的多个退化图像。在获得A集合和B集合之后，随机抽取A集合中的1/10数量的退化图像和B集合中的1/10数量的与A集合中抽取出来的退化图像相对应的高清图像作为第一验证集，其余的图像作为第一训练集。

具体的，方式一：用先验知识进行重建。

建立退化模型，根据该退化模型进行图像复原；通过去除噪声建立复原模型，从而恢复图像。

假设退化函数是一个线性时不变的过程，则，式中的“*”表示卷积；其频率域的表示为：。退化函数通过观察、经验、建模等方式进行估计。相机的噪声主要来自于图像的获取过程和传输过程，因此从噪声的空域和频域构造退化函数。一些重要的噪声如高斯噪声、瑞利噪声、Gamma噪声等，采取的复原方式如均值滤波器、统计顺序滤波器、自适应滤波器、带阻滤波器、带通滤波器、陷波滤波器、陷波带通滤波器、最优陷波滤波器、反向滤波、维纳滤波等。

具体的，方式二：采用第一卷积神经网络进行超分辨率图像重建。

基于所述第一训练集、第一验证集构建基于第一卷积神经网络的图像复原模型，基于图像复原模型进行图像重建，得到重建后的血涂片全视野图像。

学习方式由正向传播和反向误差传播组成。退化图像先进入输入层，再经由输入层进入中间隐含层，然后至输出层。如果输出层与预期无法匹配，则根据输出层与预期的差值进行逆向传播，在这个过程中，调整隐含层的各个权重，从而使得反馈的误差变小。以上过程进行反复迭代，直至输出层与预期的差值小于设定的阈值，生成最终图像复原模型。

对完成的模型进行打包并部署。

步骤S300,在多幅所述原始血涂片单视野图像中选取存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像，获得第二训练集和第二验证集，基于所述第二训练集和第二验证集构建图像分割模型，所述多幅存在白细胞以及白细胞和红细胞完全不重叠的原始血涂片单视野图像经过图像分割模型处理，得到多幅分割后的单个血细胞图像。

图像分割模型的输入为整张血涂片单视野图像，输出是单个血细胞图像。

具体的，选取存在白细胞以及白细胞和红细胞完全不重叠的血涂片单视野图像，标注出图像中的白细胞和红细胞的位置和轮廓（如图3所示，为整张血涂片单视野图，其中方框部分是血细胞小图），当标注量达到训练要求（5000-15000个）后，随机抽取其中的1/10数量的标注后的图像作为第二验证集，其余作为第二训练集

基于所述第二验证集、第二训练集构建图像分割模型。

第二卷积神经网络包括多个卷积块，每个卷积块包括多个卷积层、1个池化层、1个激活层和1个全连接层，每个卷积层包含多个卷积核。

具体的，包括如下步骤：

步骤S310,第二卷积神经网络的输入层输出第二训练集中的某一个原始血涂片单视野图像数据到第二卷积神经网络的卷积块；

步骤S320,设置所述第二卷积神经网络的编码结构的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量及大小，提取第一关键特征；

具体的，所述第二卷积神经网络的编码结构的各个卷积层中的卷积核大小相同，下一个卷积块的每个卷积层的卷积核数量均为上一个卷积块的每个卷积层的卷积核数量的2倍；每个卷积块的池化层的数量均相同、各个池化层的卷积核的数量和大小相同。

具体的，设置所述第二卷积神经网络的卷积块的数量为5，每个卷积块的卷积层的数量为3，每个卷积层的每个卷积核的大小均为3，第1个卷积块的每个卷积层的卷积核的数量为60，第2个卷积块的每个卷积层的卷积核的数量为120，第3个卷积块的每个卷积层的卷积核的数量为240，第4个卷积块的每个卷积层的卷积核的数量为480，第5个卷积块的每个卷积层的卷积核的数量为960，每个卷积块的池化层的数量为1，每个池化层的卷积核的大小为2。

步骤S330,设定与编码结构卷积块的数量相同的解码结构卷积块数量，所述解码结构的每个卷积块的卷积层的卷积核的数量及大小、每个卷积块的池化层的数量、每个池化层的卷积核的数量与编码结构相对应的卷积块一致，基于所述第一关键特征得到解码后的数据；

步骤S340,对所述解码后的数据再进行最后卷积运算，所述最后卷积运算的卷积核大小为1、卷积核数量设置为要分割的类别数；

步骤S350,第二卷积神经网络的每个卷积块的全连接层将所述再进行卷积运算的解码后数据和第二卷积神经网络的输出层的多个神经元进行全连接，所述第二卷积神经网络的输出层输出预测分割结果；

步骤S360,重复步骤S310至S350，通过迭代调参得到图像分割模型。

对完成的模型进行打包并部署。

具体的，可以为，如图4所示，输入层的血涂片单视野图像大小为512×512像素，第二卷积神经网络编码结构共5个卷积块，每个卷积块的池化层的数量为1。每个卷积块的卷积层均为3个，每个卷积层中的每个卷积核的大小均为3，第一个卷积块中的每个卷积层的卷积核的数量为60，进行3次卷积核大小为3的卷积运算，充分提取浅层特征A，然后进行1次卷积核大小为2的最大池化运算，提取出关键特征A’;再将第二个卷积块中的每个卷积层的卷积核数量设置为120，进行3次卷积核大小为3的卷积运算，充分提取浅层特征B, 然后进行卷积核大小为2的最大池化运算，提取出关键特征B’; 再将第三个卷积块中的每个卷积层的卷积核数量设置为240，进行3次卷积核大小为3的卷积运算，充分提取浅层特征C, 然后进行1次卷积核大小为2的最大池化运算，提取出关键特征C’; 再将第四个卷积块中的每个卷积层的卷积核数量设置为480，进行3次卷积核大小为3的卷积运算，充分提取浅层特征D, 然后进行1次卷积核大小为2的最大池化运算，提取出关键特征D’; 再将第五个卷积块中的每个卷积层的卷积核数量设置为960，进行3次卷积核大小为3的卷积运算，充分提取浅层特征E, 然后进行1次卷积核大小为2的最大池化运算，从而提取最终关键特征；

随后进行解码运算，解码结构共5个卷积块，解码结构的第一个卷积块是编码结构的第五个卷积块，解码结构的每个卷积块的卷积层均为2个，每个卷积块的池化层的数量为1，每个卷积层中的每个卷积核的大小均为3，首先基于上述最终关键特征进行一次卷积核大小为2的上卷积运算进行上采样，得到特征a,然后设置第二个卷积块的每个卷积层的卷积核数量为480，进行2次卷积核大小为3的卷积运算，得到特征a’; 再进行一次卷积核大小为2的上卷积运算进行上采样，得到特征b,然后设置第三个卷积块的每个卷积层的卷积核数量为240，进行2次卷积核大小为3的卷积运算，得到特征b’； 再进行一次卷积核大小为2的上卷积运算进行上采样，得到特征c,然后设置第四个卷积块的卷积核数量为120，进行2次卷积核大小为3的卷积运算，得到特征c’; 再进行一次卷积核大小为2的上卷积运算进行上采样，得到特征d,然后设置第五个卷积块的卷积核数量为60，进行2次卷积核大小为3的卷积运算，得到特征d’,最后进行1*1的卷积运算，卷积核数量设置为要分割的类别数，得到分割结果。

重复上述步骤，使用第二训练集对图像分割模型进行训练，通过迭代调参得到完成的图像分割模型；这之后，对完成的模型进行打包并部署。

步骤S400,基于所述多幅分割后的单个血细胞图像，获得第三训练集和第三验证集，基于所述第三训练集和第三验证集构建图像识别模型。

图像识别模型的输入为分割后的单个血细胞图像，输出是该细胞属于某些类别的概率值。

具体的，通过图像分割模型将原始单视野血涂片图像分割为一个个白细胞、红细胞、血小板图。对这些白细胞、红细胞、血小板图进行标注，标注出该细胞所属的类别。当标注量达到训练要求（每一个类别中的图的数量大于10000）后，随机抽取其中1/10作为第三验证集，其余作为第三训练集。

具体的，构建图像识别模型，包括如下步骤：

步骤S410,第三卷积神经网络的输入层输出第三训练集中的某一分割后的单个血细胞图像数据到第三卷积神经网络的卷积块；

步骤S420,设置所述第三卷积神经网络的卷积块的数量、每个卷积块的卷积层的数量、每个卷积块的池化层的数量、每个卷积层的卷积核的数量及大小、每个池化层的卷积核的数量和大小，提取第二关键特征；

具体的，卷积神经网络可以设定为：包括多个卷积块，每个卷积块包括多个卷积层、1个池化层、1个激活层，1个全连接层，每个卷积层包含多个卷积核。

步骤S430,第三卷积神经网络的全连接层将所述第二关键特征和第三卷积神经网络的输出层的多个神经元进行全连接，所述第三卷积神经网络的输出层输出预测识别结果；

步骤S440, 重复步骤S410至S430， 使用第三训练集进行训练，通过迭代调参得到完成的图像识别模型。

对完成的模型进行打包并部署。

具体的，如图5所示，输入的图像大小为224*224*3，图像大小为224*224像素，3为RGB图像。第三卷积神经网络的卷积块为4个，每个卷积块包含多个卷积层、1层池化层和1层激活层。第1个卷积块内部包含96个卷积层，每个卷积层的卷积核大小为11*11*3，每个卷积层的卷积核数量为27*27*96；第2个卷积块内部包含256个卷积层，每个卷积层的卷积核大小为5*5*48，每个卷积层的卷积核数量为27*27*128；第3个卷积块内部包含384个卷积层，每个卷积层的卷积核大小为3*3*256，每个卷积层的卷积核数量为13*13*192；第4个卷积块内部包含384个卷积层，每个卷积层的卷积核大小为3*3*192，每个卷积层的卷积核数量为13*13*256。全连接层将第4个卷积块的输出和最后输出层的100个神经元进行全连接，输出预测识别结果。

使用第三训练集对图像识别模型进行训练，通过迭代调参得到完成的图像识别模型；这之后，对完成的图像识别模型进行打包并部署。

步骤S500，所述血涂片全视野图像经过图像复原模型进行复原，得到复原后的全视野图像，所述复原后的全视野图像经过图像分割模型处理，得到多幅单个血细胞图像，所述多幅单个血细胞图像经过图像识别模型处理，得到血细胞分类结果。

具体的，在系统应用过程中，待检测血液血涂片也同样需要经过血涂片扫描仪或者显微照相系统进行全视野摄影，建立血涂片扫描图像，再通过图像复原模型处理后获得复原后的清晰血涂片扫描图像，经过图像分割处理后可以得到单张血细胞图像，最后经过血细胞图像识别获得细胞分类结果并输出报告。

具体的，如图6所示，为图像识别结果。

整体时间缩短三分之二以上，原型系统在20万张白细胞图片的测试集上，精确度高于95%，漏报率低于1.6%。

综上所述，本发明提供了一种血涂片全视野智能分析方法，采集多幅原始血涂片单视野图像，建立原始血涂片单视野图像组，并基于所述多幅原始血涂片单视野图像建立血涂片全视野图像；基于所述第一训练集和第一验证集构建图像复原模型；基于第二训练集和第二验证集构建图像分割模型，基于所述多幅分割后的单个血细胞图像，获得第三训练集和第三验证集，构建图像识别模型；最终得到血细胞分类结果。本发明基于人工智能算法对全视野血细胞进行分析，极大降低了人为因素的干扰，提高检验结果的客观性，对血细胞分析分类准确度高；对符合要求的图片输入均可实现识别分析，算法鲁棒性和准确性比传统图像识别算法高，颠覆了现有医学检验流程，整体时间大大缩短。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。