基于弱监督学习的X光胸部疾病分类及定位方法、电子设备

摘要

本发明提供了基于弱监督学习的X光胸部疾病分类及定位方法、电子设备，该方法包括：收集胸部X射线光片，对收集的胸部X射线光片进行特征提取，并对提取的特征编码标记图像补丁，作为提取全局语义信息的输入序列；通过解码器对编码的特征进行采样，再将采样的特征图与高分辨率的CNN特征图结合，输出与输入图像同尺寸的特征图，对输入的胸部X射线光片中显示的病灶进行分类及定位。本发明在保证分类准确率的前提下，能够更准确的定位阳性病例的位置。

说明书

技术领域

本公开涉及医学影像技术领域，尤其涉及一种基于弱监督学习的X光胸部疾病分类及定位方法、电子设备。

背景技术

胸部X光检查是全球最常见的影像学检查，在许多危及生命的疾病的筛查、诊断和管理过程中起到决定性作用。随着计算机视觉领域的发展，可以使用深度学习等技术开发自动胸片诊断系统，该系统可用于改进放射科的工作流程，为医生提供临床决策，还可以在大规模疾病筛查等医疗场景中发挥作用。然而，在医疗场景中使用该系统诊断疾病仍然面临挑战，医疗场景中要求系统不但可以对疾病的阴阳性分类，还可以对疾病进行定位以解释分类结果。但是，因为大部分用于开发该系统的数据只包含图像的全局注释，这使得定位模型只能使用弱监督技术进行开发。

图像分析领域正日益开发能够从弱注释训练集分类和定位疾病的系统。目前，在没有提供检测目标的位置信息时，卷积神经网络(CNNs)的各个层的卷积单元表现为目标探测器，可以实现目标检测。然而，常见的分类网络一般由多个卷积层和一个全连接层组成，通过全连接层得到输出，从而优化网络参数。但全连接层同时会使卷积层的定位能力丧失,影响定位阳性病例位置及分类的准确性。

发明内容

有鉴于此，本公开实施例提供一种基于弱监督学习的X光胸部疾病分类及定位方法、电子设备，该方法兼顾了疾病分类和定位的自动胸片诊断，可以对疾病进行分类时，对阳性病例进行准确定位以证明或解释分类结果。

为了实现上述目的，本发明提供如下技术方案：

一种基于弱监督学习的X光胸部疾病分类及定位方法，包括：

收集胸部X射线光片，对收集的胸部X射线光片进行特征提取，并对提取的特征编码标记图像补丁，作为提取全局语义信息的输入序列；

通过解码器对编码的特征进行采样，再将采样的特征图与高分辨率的CNN特征图结合，输出与输入图像同尺寸的特征图。

进一步地，使用DenseNet121网络对收集的多份胸部X射线光片进行特征提取。

进一步地，通过Transformer模型对提取的特征编码标记图像补丁，作为提取全局语义信息的输入序列。

进一步地，所述Transformer模型中包括Multihead Self-Attention和Multi-Layer Perceptron的模块。

进一步地，通过解码器对编码的特征进行采样过程具体包括：将Transformer模型的输出还原为空间特征，并引入一个级联上采样器，对空间特征进行解码。

进一步地，还包括，在最终的输出层之前，在上采样的特征图上执行全局平均池化，并将这些特征作为产生分类的全连接层的特征。

本发明还提供一种电子设备，包括存储器、处理器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述的基于弱监督学习的X光胸部疾病分类及定位方法。

本发明的基于胸部X光片的疾病分类及弱监督定位方法、电子设备，在保证分类准确率的前提下，能够更准确的定位阳性病例的位置。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明方法的中网络结构图；

图2为本发明实施例中疾病心脏肿大的分类和检测结果；

图3为本发明实施例中疾病肺水肿的分类和检测结果；

图4为本发明实施例中疾病肺实变的分类和检测结果；

图5为本发明实施例中疾病肺不张的分类和检测结果；

图6为本发明实施例中疾病胸腔积液的分类和检测结果。

具体实施方式

下面结合附图对本公开实施例进行详细描述。

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

如图1所示，本公开实施例提供一种基于胸部X光片的疾病分类及弱监督定位方法，使用DenseNet121提取特征，Transformer对提取的特征编码标记图像补丁，作为提取全局语义信息的输入序列，并使用线性投影将输入序列映射到D维的嵌入空间中，使用包含L层Multihead Self-Attention和Multi-Layer Perceptron的模块实现Transformer编码。针对定位的目的，本发明将Transformer的输出还原为空间特征，并引入一个级联上采样器，它由多个上采样部分组成，对空间特征进行解码，同时通过跳过连接在不同的分辨率水平上聚集DenseNet121编码器的特征，输出与输入图像同尺寸的特征图。在最终的输出层之前，本发明在上采样的特征图上执行全局平均池化，并将这些特征作为产生分类的全连接层的特征。在定位阶段，可以通过将输出层的权值投射回上采样特征图来识别图像区域的重要性，称之为类激活映射，从而产生类的准确定位。

本发明提出了具有Transformer和U-net两种优点的检测模型，作为自动胸片诊断的一种强有力的辅助技术。一方面，该Transformer从卷积神经网络(CNN)特征映射中编码标记化的图像补丁，作为提取全局上下文的输入序列。另一方面，采用解码器对Transformer编码的特征进行采样，然后将其与高分辨率的CNN特征图相结合，以实现精确定位。

将本发明的方法在数据集CheXpert上进行实验，该数据集用于检测5种选定的病理：肺不张、心脏肿大、实变、水肿和胸腔积液。使用已发布的训练集用于训练和模型选择的验证，已发布的验证集经过医生做边界框的标注后用于模型测试。为了评估本发明提出的算法的性能，本发明计算每个病理的AUC及平均AUC用于评估模型的分类准确率，计算每个病理的IoU和平均IoU用于评估模型的定位准确率。

表1为不同模型的分类结果比较，比较了本发明的方法与Inception-v3和DenseNet121两个基线模型的AUC分类结果。表2为不同方法的定位结果比较，展示了本发明的方法与使用显著性图的其他方法的定位结果的比较。结果显示，本发明的方法在保证分类准确率的前提下，能够更准确的定位阳性病例的位置。

表1：

表2：

图2-图6为本发明的分类和检测结果的可视化实例，其中，图中白色框为真实的边界框，深色框为预测的边界框。可视化实例的结果显示了本发明的方法在弱监督情况下对X光片中疾病的预测概率和定位效果，可以看出：本发明的方法在准确分类的前提下，能够较准确地定位阳性病例的位置，从而为分类结果提供可视化支持。

本发明的方法可以用于大规模的X光片筛查、放射科医生辅助诊断等多个临床场景中。此处以辅助诊断为例描述实施细节。在放射科医生诊断X光片中是否存在肺不张、心脏肿大、实变、水肿和胸腔积液五种疾病时，本发明的方法可以预测每个疾病存在的可能性，并且框出疾病位置，为放射科医生提供辅助诊断。本发明的方法使用的特征提取网络为DenseNet121，其为密集连接的卷积神经网络，在计算机视觉任务中有着突出表现。本文使用包含L层Multihead Self-Attention和Multi-Layer Perceptron的模块实现Transformer编码，Transformer网络是为序列到序列的预测而设计的，采用分布式卷积算子，完全依赖于注意机制，在全局上下文建模方面功能强大，Multihead Self-Attention和Multi-Layer Perceptron的模块是Transformer网络的主要结构，负责建模注意力模块和感知模块。Transformer网络在编码器中引入自我注意机制，建模全局的语义信息，加强对相关图像区域的分类。在解码阶段，借鉴U-Net架构对特征边解码边上采样，将其与高分辨率的DenseNet121特征图相结合，为全局池化层提供高分辨率的特征图。最后使用全局池化层生成显著性图，用于目标检测。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。