基于深度学习-综合模型的肾活检电镜图片自动识别方法

摘要

本发明公开了一种基于深度学习‑综合模型的肾活检电镜图片自动识别方法，属于智能医疗应用技术领域，本发明为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终得到了基于跳跃结构的深度学习‑综合模型。首次提出基于跳跃结构的深度学习模型，同时首次将深度学习模型与基于人工神经网络的综合模型相结合来应用到电镜图片识别中。

说明书

技术领域

本发明属于智能医疗应用技术领域，尤其涉及一种基于跳跃结构的深度学习-综合模型的肾活检电镜图片自动识别方法。

背景技术

肾脏疾病是一种常见疾病，目前全球约有7.5亿肾脏疾病患者。肾活检是诊断肾脏疾病的黄金标准。随着肾活检专家识别经验的不断积累、穿刺技术的不断进步和设备的不断更新换代，为临床医师从病理层面诊断肾脏疾病提供了更好的环境。但是肾活检涉及临床症状、光镜、电镜和免疫荧光的综合应用，特别是对于免疫复合物型肾脏疾病，电镜报告中电子致密物的有无至关重要，然而电镜报告的出具滞后于临床，这就要求我们提高出具电镜报告的速率。同时电镜是一项对设备要求高、对病理医师要求高、花费高昂的一项检测，能进行电镜操作的经验丰富的病理医师并不多，并且不同的病理医师操作不一、判断标准并不一致。特别是进行科学研究的时候，例如需要构建动物模型检查敲除基因对狼疮性肾炎的影响，在判断狼疮性肾炎动物模型是否构建成功的时候，需要电镜判断，但是电镜陈本高、标本量大、有诊断资质的病理医师少，视觉观察效率太低，无法提供科研支撑。这些都限制了电镜在肾活检中的发展。随着人工智能技术的发展，当前深度学习模型对图片识别的准确率达到了较高的水平，有的甚至超过人眼的识别准确率。因此，通过人工智能算法，自动对肾活检电镜图片进行病理特征识别，辅助医师进行免疫复合物型肾脏疾病诊断，在提高诊断效率、为科研研究提供支撑、促进电镜的广泛应用方面有重要价值和意义。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供一种基于跳跃结构的深度学习-综合模型的肾活检电镜图片自动识别方法，其对肾活检电镜图片中电子沉积物有无进行自动AI智能识别，辅助诊断免疫复合物型肾脏疾病，提高诊断效率，扩大电镜的使用范围。同时为深度学习技术在肾活检日常诊断中能够使用提供机会。

本发明为解决上述技术问题采用以下技术方案：

基于深度学习-综合模型的肾活检电镜图片自动识别方法，具体包括以下步骤：

步骤1，基于历史电镜报告，制作电镜图片是否含有电子沉积物的数据集S，数据集S中包括两个类别的数据，一种是含有电子沉积物的数据，一种是不含有电子沉积物的数据；

步骤2，将数据集S随机划分为三份子数据集S1、S2和S3，三个数据集不一样；

步骤3，构建和训练基于跳跃结构的深度学习模型；

步骤4，构建和训练经典ResNet模型；

步骤5，构建和训练基于跳跃结构的深度学习模型的综合模型结构；

步骤6，对综合模型结果进行测试验证，获取综合模型的准确度后，进而完成对肾活检电镜图片的智能自动识别。

作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤1中，数据集S制作具体如下：

对历史电镜报告中的电镜病理图片和诊断结果进行对应和相应标注，制作二分类数据集，得到数据集S，S＝{X,Y}，X和Y分别代表图片和标签集合，X＝{x

作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤2中，数据集S划分具体如下：

将制作好的数据集S随机分为三份，S＝{S1,S2,S3}，包含数据集S1、数据集S2和数据集S3，其中，S1＝{S

作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤3中，构建和训练基于跳跃结构的深度学习模型，包含特征提取和分类器两部分，具体如下：

步骤3.1，特征提取部分：使用预训练好的ResNet50模型的卷积部分，对单张电镜图片进行前向传播计算，即特征提取，将每个子网络输出的特征矩阵拉平，依次得到每个子网络的特征图向量{V1,V2,V3,V4,V5}，将浅层网络特征图V2和深层网络特征图V5进行融合后得到V

步骤3.2分类器部分：分类器采用SVM模型，通过拉格朗日对偶法，求取目标函数后得到支持向量模型，输出为标签类别：Positive代表电镜图片中有电子沉积物，Negative代表电镜图片中没有电子沉积物；

则目标函数：

式中，α是拉格朗日因子，a

作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤4中，构建和训练经典ResNet模型具体如下：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，将特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，使用数据集S1对该模型进行训练，目标函数为交叉熵损失函数

作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤4中，构建和训练经典ResNet模型具体如下：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，将特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，使用数据集S1对该模型进行进行训练，目标函数为交叉熵损失函数

作为本发明基于深度学习-综合模型的肾活检电镜图片自动识别方法的进一步优选方案，在步骤5中，构建和训练基于跳跃结构的深度学习模型的综合模型，具体如下：使用人工神经网络的方法，将基于跳跃结构的深度学习模型M1和经典ResNet模型M2构建和训练基于跳跃结构的深度学习模型的综合模型。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明运用人工智能算法，提出了对肾活检电镜图片中病理特征进行自动智能识别的问题，缩短了肾活检电镜图片识别时间，为肾活检中电镜技术的大规模使用提供了可能性。该方法对肾活检电镜图片中二分类问题均适用；

2、本发明对肾活检电镜图片中电子沉积物有无进行自动AI智能识别，辅助诊断免疫复合物型肾脏疾病，提高诊断效率，扩大电镜的使用范围；

3、本发明将基于跳跃结构的深度学习模型和基于人工神经网络的综合模型相结合，将浅层网络提取出来的电镜特征图和深层网络中提取出来的特征图进行了融合，融合后的特征图，既包含了电镜图片的局部信息，又包含了总体空间信息，同时选取了识别效果更好的SVM分类器，得到了基于跳跃结构的ResNet+SVM模型；

4、本发明为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终得到了基于跳跃结构的深度学习-综合模型。

附图说明

图1是本发明基于跳跃结构的深度学习-综合模型的肾活检电镜图片自动识别方法总流程；

图2是本发明基于跳跃结构的深度学习模型结构示意图；

图3是本发明经典ResNet模型结构示意图；

图4是本发明基于跳跃结构的深度学习模型的综合模型结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的技术方案提供了一种智能自动从肾活检电镜图片中识别出电子沉积物有无的方法。该方法主要构建了基于跳跃结构的深度学习-综合模型，该模型将基于跳跃结构的深度学习模型和基于人工神经网络的综合模型相结合：由于本研究是对医学图片进行病理特征识别，相较于传统的图片识别模型，对图片的特征提取和分类器提出了更高的要求，为了提高模型准确率，本方法将浅层网络提取出来的电镜特征图和深层网络中提取出来的特征图进行了融合，浅层特征图包含了电镜图片的局部信息，细节更丰富，深层特征图包含了电镜图片的总体信息，这些信息空间范围广，但丢失了局部细节信息，因此融合后的特征图，既包含了电镜图片的局部信息，又包含了总体空间信息，特征提取准确率将得到进一步提高。对于分类器，由于SVM对二分类任务有更好的识别效果，本方法将传统深度学习模型中的Softmax分类函数改进成了支持向量机分类器(SVM)，得到了基于跳跃结构的ResNet+SVM模型。在此基础上，为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，根据机器学习模型的不确定性理论，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终就得到了基于跳跃结构的深度学习-综合模型。模型构建完成后，根据医院过往历史肾活检报告中的电镜图片和病理医师诊断结果，制作电镜图片是否有电子沉积物的标注数据集，然后用这些数据集对基于跳跃结构的深度学习-综合模型进行迭代训练后，得到的AI模型能够自动识别肾活检电镜图片中是否含有电子沉积物。

本发明目的是对肾活检电镜图片中电子沉积物有无进行自动AI智能识别，辅助诊断免疫复合物型肾脏疾病，提高诊断效率，扩大电镜的使用范围。该方法将基于跳跃结构的深度学习模型和基于人工神经网络的综合模型相结合，将浅层网络提取出来的电镜特征图和深层网络中提取出来的特征图进行了融合，融合后的特征图，既包含了电镜图片的局部信息，又包含了总体空间信息，同时选取了识别效果更好的SVM分类器，得到了基于跳跃结构的ResNet+SVM模型。在此基础上，为了进一步提高模型的准确率，构建了基于人工神经网络的综合模型方法，该综合模型将基于跳跃结构的ResNet+SVM模型作为一个子模型，将当前图片识别效果最好的ResNet模型作为另一个子模型，通过人工神经网络的方法，将这两个子模型相结合，综合成了一个单一模型，最终得到了基于跳跃结构的深度学习-综合模型。其特征在于首次提出基于跳跃结构的深度学习模型，同时首次将深度学习模型与基于人工神经网络的综合模型相结合来应用到电镜图片识别中。

本发明的技术方案提供了一种智能自动从肾活检电镜图片中识别出电子沉积物有无的方法，包括以下步骤：

步骤1：数据样本制作：对历史电镜报告中的电镜病理图片和诊断结果进行对应和相应标注，制作二分类数据集，得到数据集S，S＝{X,Y}，X和Y分别代表图片和标签集合。X＝{x

步骤2：数据样本划分：将制作好的数据集S随机分为三份，S＝{S1,S2,S3}，包含数据集S1、数据集S2和数据集S3，其中，S1＝{S

步骤3：构建和训练基于跳跃结构的深度学习模型：由于肾活检样本需要穿刺获得，因此电镜图片数量一般都不多，本方法采用迁移学习，该模型的构建和训练主要分为两部分，分别为特征提取和分类器部分，算法实现如下：

步骤3.1特征提取部分：使用预训练好的ResNet50模型的卷积部分，对单张电镜图片进行前向传播计算，即特征提取，由于ResNet50特征提取部分一共有5个子网络组成，将每个子网络输出的特征矩阵拉平，依次得到每个子网络的特征图向量{V1,V2,V3,V4,V5}，将浅层网络特征图V2和深层网络特征图V5进行融合后得到V

步骤3.2分类器部分：分类器采用SVM模型，SVM模型旨在找到一条最优超平面来分割两个类别的数据，通过拉格朗日对偶法，求取目标函数后得到支持向量模型，输出为标签类别：“Positive”代表电镜图片中有电子沉积物，或者“Negative”代表电镜图片中没有电子沉积物。

目标函数：

式中，α是拉格朗日因子，a

步骤4：构建和训练经典ResNet模型：采用预训练好的ResNet50模型，模型特征提取部分有5个子网络，提取到的每一张图片特征直接为第5个子网络的输出结果，然后特征向量拉平后连接一个全连接层，其中全连接层的神经元为1000个，输出层的神经元为2个，激活函数使用Softmax函数，然后使用数据集S1对该模型进行进行训练，目标函数为交叉熵损失函数

步骤5：构建和训练基于跳跃结构的深度学习模型的综合模型：使用人工神经网络的方法，将基于跳跃结构的深度学习模型M1和经典ResNet模型M2结合成一个综合模型选择神经网络方法的原因在于，分配给M1与M2的权重是根据训练集S2’学习出来的。该神经网络的输入一共有3个，第一个是特征向量，第二个是该特征向量下的深度学习模型M1分类结果Out1(比如为”Negative”)，第三个是该特征向量下的支持向量机分类结果Out2(比如为”Positive”)，隐藏层有1层，隐藏层有3个神经元，输出层有一个神经元，为最终的结果，也就是标签值，比如该图片的实际标签值为“Positive”。结构见图4；

步骤6：对综合模型结果进行测试：将步骤5中学习好的综合模型，在测试样本S3’中进行验证，得到模型的准确度后，可用以对肾活检电镜图片进行智能自动识别。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。