基于参数共享的肺栓塞识别装置、终端设备和存储介质

摘要

本发明实施例公开了一种基于参数共享的肺栓塞识别装置、终端设备和存储介质。该装置将待测图像输入到预先训练好的第一特征提取器，以得到第一特征；将第一特征输入到预先训练好的第一分类网络，得到待测图像含有肺栓塞的概率；将概率达到第一阈值的待测图像输入到预先训练好的区域检测网络，以检测肺栓塞的位置并截取对应的区域图像；将区域图像输入到预先训练好的第二特征提取器，以得到第二特征；融合第一特征和第二特征得到混合特征；将混合特征分别输入预先训练好的第二分类网络和第三分类网络，以确认肺栓塞的性质类型和位置类型。通过不同病灶信息维度对应特征识别结果的共性和特性结合，提高了识别检测结果的精度。

说明书

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及基于参数共享的肺栓塞识别装置、终端设备和存储介质。

背景技术

肺栓塞是由肺动脉阻塞引起的疾病，当每次呼吸都感到紧张和痛苦时，则可能是出现了严重的甚至危及生命的状况。在美国每年的发病人数是30-60万，因肺栓塞死亡的人数>10万，它是最致命的心血管疾病之一。我国肺栓塞协作组统计了40家医院的肺栓塞病例数，比90年代增加了将近10倍，并且是逐年上升的趋势。因此及时进行诊断和正确的治疗，可大大降低死亡率。

肺栓塞临床症状和体征缺乏特异性，在临床上容易误诊、漏诊。并且医生诊断肺栓塞会耗费大量时间和精力，因此容易出现医生过度诊断的情况。如果可以利用机器学习来辅助更加准确的进行诊断和识别，不仅可以大大减小医生的精力，同时对于患者的管理和治疗也更加有效。

当前，CT(Computed Tomography，电子计算机断层扫描)肺血管造影是评估肺栓塞患者的最常见医学影像类型。CT扫描由数百张图像组成，这些图像需要详细检查以识别肺动脉内的血块。随着成像的使用不断增长，放射科医生时间的限制可能会导致诊断延迟。如何利用胸部CT肺血管造影图像(以下简称CT图片)和机器学习技术来更准确地识别肺栓塞是亟需解决的问题。尤其为提高诊断效率，需要对肺栓塞有更具体的判断结果。

发明人在对目前已有的通过机器学习对胸部CT肺血管造影图像中的肺栓塞进行识别的方案进行验证时发现，大多数基于人工智能预测肺栓塞的方案，只是单纯的预测胸部CT肺血管造影图像中是否存在疑似肺栓塞，而不能提供对肺栓塞识别的深度精确信息。

发明内容

本发明提供了一种基于参数共享的肺栓塞识别装置、终端设备和存储介质，以解决现有技术对肺栓塞识别的深度精确信息不足的技术问题。

第一方面，本发明实施例提供了一种基于参数共享的肺栓塞识别装置，包括：

第一提取单元，用于将待测图像输入到预先训练好的第一特征提取器，以得到第一特征；

概率计算单元，用于将所述第一特征输入到预先训练好的第一分类网络，得到所述待测图像含有肺栓塞的概率；

区域截图单元，用于将概率达到第一阈值的待测图像输入到预先训练好的区域检测网络，以检测肺栓塞的位置并截取对应的区域图像；

第二提取单元，用于将所述区域图像输入到预先训练好的第二特征提取器，以得到第二特征；

特征融合单元，用于融合所述第一特征和第二特征得到混合特征；

综合判断单元，用于将所述混合特征分别输入预先训练好的第二分类网络和第三分类网络，以确认肺栓塞的性质类型和位置类型。

第二方面，本发明实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于参数共享的肺栓塞识别。

第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于参数共享的肺栓塞识别。

上述基于参数共享的肺栓塞识别装置、终端设备和存储介质，将待测图像输入到预先训练好的第一特征提取器，以得到第一特征；将所述第一特征输入到预先训练好的第一分类网络，得到所述待测图像含有肺栓塞的概率；将概率达到第一阈值的待测图像输入到预先训练好的区域检测网络，以检测肺栓塞的位置并截取对应的区域图像；将所述区域图像输入到预先训练好的第二特征提取器，以得到第二特征；融合所述第一特征和第二特征得到混合特征；将所述混合特征分别输入预先训练好的第二分类网络和第三分类网络，以确认肺栓塞的性质类型和位置类型。通过分级检测和特征融合的方式确认待测图像中的可以病灶区域以及病灶的类型和位置，以多层级分类的方案挖掘不同病灶信息维度之间的层次关系和共享特征信息，将特征识别结果的共性和特性结合，提高了识别检测结果的精度。

附图说明

图1为本发明实施例提供的一种基于参数共享的肺栓塞识别方法的流程图；

图2为本发明实施例提供的一种基于参数共享的肺栓塞识别方法的图像处理过程示意图；

图3为本发明实施例中第一特征提取器的结构示意图；

图4为本发明实施例中第一分类网络的结构示意图；

图5为本发明实施例提供的一种基于参数共享的肺栓塞识别装置的结构示意图；

图6为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

需要注意的是，由于篇幅所限，本申请说明书没有穷举所有可选的实施方式，本领域技术人员在阅读本申请说明书后，应该能够想到，只要技术特征不互相矛盾，那么技术特征的任意组合均可以构成可选的实施方式。

例如，在实施例的一个实施方式中，记载了一个技术特征：第一特征提取器包括5个卷积层，在实施例的另一实施方式中，记载了另一个技术特征：第一分类网络包括2个卷积层和1个全连接层，本领域技术人员在阅读本申请说明书之后，应该能够想到，同时具有这两个特征的实施方式也是一种可选的实施方式，即在具体实施过程中，第一特征提取器包括5个卷积层，同时第一分类网络包括2个卷积层和1个全连接层。

下面对各实施例进行详细说明。

图1为本发明实施例提供的一种基于参数共享的肺栓塞识别方法的流程图。实施例中提供的基于参数共享的肺栓塞识别方法可以由基于参数共享的肺栓塞识别方法对应的操作设备执行，该操作设备可以通过软件和/或硬件的方式实现，该操作设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。

在本方案中，首先先对问题相关数据用数学符号进行定义和模型描述。对于基础的训练数据，用

具体的，参考图1，该基于参数共享的肺栓塞识别方法具体包括：

步骤S101：将待测图像输入到预先训练好的第一特征提取器，以得到第一特征。

本方案的详细处理过程中的数据流动变化请参考图2。如图2所示，存在x

训练集中的CT图片为标准大小(例如512×512、256×256)的2D图像，CT图片输入到如图3所示的第一特征提取器，在图3所示的第一特征提取器中，其包括5个卷积层，第一个卷积层是卷积核大小为3×3，通道数为24，步长为1×1的卷积层。第二个卷积层包含两部分，分别是卷积核大小为3×3，通道数为32，步长为1×1的卷积块，以及卷积核大小为3×3，步长为2×2的最大池化层。第三层到第五层和第二层结构相似，区别在于第三层和第四层的通道数均为64，第五层的通道数为32。经过该网络最终输出每个样本对应的特征向量f，大小为1×2048。

步骤S102：将第一特征输入到预先训练好的第一分类网络，得到待测图像含有肺栓塞的概率。

进一步参考图2，将特征f

本方案中用于计算每个CT图片中含有肺栓塞的概率的第一分类网络基于如下最小化损失函数进行训练得到：

其中

第一分类网络的网络结构如图4所示，其由2个卷积层和1个全连接层组成。第一个卷积层包含两部分，分别是卷积核大小为3×3，通道数为64，步长为1×1的卷积块，以及卷积核大小为3×3，步长为2×2的最大池化层。第二个卷积层和第一个卷积层结构相似，区别在于通道数为32，最后再接全连接层。将步骤S101中得到的第一特征经过第一分类网络，最终得到每个CT图片含有肺栓塞的概率的预测结果。

步骤S103：将概率达到第一阈值的待测图像输入到预先训练好的区域检测网络，以检测肺栓塞的位置并截取对应的区域图像。

在具体实现对区域图像的检测时，可以通过R-CNN(Region-ConvolutionalNeural Networks，基于区域的卷积神经网络)系算法(例如R-CNN，Fast R-CNN,Faster R-CNN等)实现，也可以通过其它检测方法实现区域图像的检测，例如采用CenterNet作为区域图像的检测网络。

如果采用CenterNet作为区域检测网络，其具体通过如下损失函数进行训练得到：

其中，N表示肺栓塞的数量，M为预测输出区域图像的中心点的数量，p

在该采用CenterNet的区域检测网络中，训练输入为包含肺栓塞的样本图片，作为anchor-free的检测算法，CenterNet的输出是对每个点作为目标(肺栓塞)的中心点进行概率预测P，并对中心点偏移量offset和目标大小size进行直接预测。如上所示的损失函数的公式，分类损失采用原始focal loss，即如上公式中右边的第一项，α作为超参数一般取值为2。回归损失采用L1 loss，即如上公式中右边的第二项和第三项两部分。

如图2所示，假设经过第一分类网络的筛选，在n个样本中有x

步骤S104：将区域图像输入到预先训练好的第二特征提取器，以得到第二特征。

步骤S103中截取的区域图像为标准大小的2D图像，对区域图像进行识别的第二特征提取器的结构与第一特征提取器的结构相同，即也包括5个卷积层，第一个卷积层是卷积核大小为3×3，通道数为24，步长为1×1的卷积层。第二个卷积层包含两部分，分别是卷积核大小为3×3，通道数为32，步长为1×1的卷积块，以及卷积核大小为3×3，步长为2×2的最大池化层。第三层到第五层和第二层结构相似，区别在于通道数均为64。经过该网络最终输出每个样本对应的特征向量f，大小为1×2048。

在具体实现过程中，第二特征提取器可以基于如下最小化损失函数进行训练得到：

其中，

步骤S105：融合第一特征和第二特征得到混合特征。

第一特征和第二特征通过如下方式混合：

f

其中，f

步骤S106：将混合特征分别输入预先训练好的第二分类网络和第三分类网络，以确认肺栓塞的性质类型和位置类型。

第二分类网络基于如下最小化损失函数进行训练得到：

其中，m表示根据第一阈值的筛选出的样本的数量，

第三分类网络基于如下最小化损失函数进行训练得到：

其中，m表示根据第一阈值的筛选出的样本的数量，

第一特征提取器基于如下最小化损失函数进行训练得到：

其中，n表示训练集中样本的数量，m表示根据第一阈值的筛选出的样本的数量，

第二分类网络和第三分类网络的结构与第一分类网络的结构相似，其均由2个卷积层和1个全连接层组成。第一个卷积层包含两部分，分别是卷积核大小为3×3，通道数为64，步长为1×1的卷积块，以及卷积核大小为3×3，步长为2×2的最大池化层。第二个卷积层和第一个卷积层结构相似，区别在于通道数为32，最后再接全连接层。第一分类网络、第二分类网络和第三分类网络的区别主要在于每个网络的输入层和输出层的结构根据数据输入和分类输出的需要有对应的调整。

通过步骤S104-步骤S106的限定可以看出，第一分类网络、第二分类网络和第三分类网络都共享了第一特征提取器的参数，第二分类网络和第三分类网络还共享了第二特征提取器的参数，并根据每个分类器的输出结果同步地去更新第一特征提取器和第二特征提取器的参数，各个网络利用不同分类任务下的多个损失去学习到共享的特征，建立了不同分类任务之间的关联关系。

现有方案中对CT图片仅做单一判断，如果实现多个判断需要多个模型进行分类预测，而本方案中通过各个分类任务之间的关联关系，使用一个模型来同时进行多层次分类方案，有利于挖掘不同类别之间的层次关系和共享的特征信息。

整体而言，以分级的方式先预测待测图像中是否存在肺栓塞，如有存在肺栓塞则进一步判断肺栓塞的类型和位置，通常在神经网络的较低层可以捕获待测图像的低级特征(如形状)，因此先利用特征提取器进行特征的初步提取；而神经网络的高层可以提取出图像的高层特征，因此在特征提取器接上不同的分支，来分别有针对性的进行具体任务的分类。通过将类别的层次结构嵌入到网络模型中，使得分层网络可以更具有可解释性的进行预测，同时增强最终的分类结果的精度。而且最底层的特征提取器的参数共享，相当于每个任务得到的损失都会对特征提取器进行参数更新，这样有利于特征提取器学习不同任务之间的共性特征，而不同分支的分类网络则用来学习各自任务的特性特征，将共性和特性进行结合，又利于增强最终的分类结果的精度。

上述，将待测图像输入到预先训练好的第一特征提取器，以得到第一特征；将第一特征输入到预先训练好的第一分类网络，得到待测图像含有肺栓塞的概率；将概率达到第一阈值的待测图像输入到预先训练好的区域检测网络，以检测肺栓塞的位置并截取对应的区域图像；将区域图像输入到预先训练好的第二特征提取器，以得到第二特征；融合第一特征和第二特征得到混合特征；将混合特征分别输入预先训练好的第二分类网络和第三分类网络，以确认肺栓塞的性质类型和位置类型。通过分级检测和特征融合的方式确认待测图像中的可以病灶区域以及病灶的类型和位置，以多层级分类的方案挖掘不同病灶信息维度之间的层次关系和共享特征信息，将特征识别结果的共性和特性结合，提高了识别检测结果的精度。

图5为本发明实施例提供的一种基于参数共享的肺栓塞识别装置的结构示意图。参考图5，该基于参数共享的肺栓塞识别装置包括：第一提取单元210、概率计算单元220、区域截图单元230、第二提取单元240、特征融合单元250和综合判断单元260。

其中，第一提取单元210，用于将待测图像输入到预先训练好的第一特征提取器，以得到第一特征；概率计算单元220，用于将第一特征输入到预先训练好的第一分类网络，得到待测图像含有肺栓塞的概率；区域截图单元230，用于将概率达到第一阈值的待测图像输入到预先训练好的区域检测网络，以检测肺栓塞的位置并截取对应的区域图像；第二提取单元240，用于将区域图像输入到预先训练好的第二特征提取器，以得到第二特征；特征融合单元250，用于融合第一特征和第二特征得到混合特征；综合判断单元260，用于将混合特征分别输入预先训练好的第二分类网络和第三分类网络，以确认肺栓塞的性质类型和位置类型。

在上述实施例的基础上，第一分类网络基于如下最小化损失函数进行训练得到：

其中，

在上述实施例的基础上，区域检测网络通过如下损失函数进行训练得到：

其中，N表示肺栓塞的数量，M为预测输出区域图像的中心点的数量，p

在上述实施例的基础上，第一特征和第二特征通过如下方式混合：

f

其中，f

在上述实施例的基础上，第二特征提取器基于如下最小化损失函数进行训练得到：

其中，

在上述实施例的基础上，第二分类网络基于如下最小化损失函数进行训练得到：

其中，m表示根据第一阈值的筛选出的样本的数量，

在上述实施例的基础上，第三分类网络基于如下最小化损失函数进行训练得到：

其中，m表示根据第一阈值的筛选出的样本的数量，

在上述实施例的基础上，第一特征提取器基于如下最小化损失函数进行训练得到：

其中，n表示训练集中样本的数量，m表示根据第一阈值的筛选出的样本的数量，

本发明实施例提供的基于参数共享的肺栓塞识别装置包含在终端设备中，且可用于执行上述实施例中提供的任一基于参数共享的肺栓塞识别方法，具备相应的功能和有益效果。

值得注意的是，上述基于参数共享的肺栓塞识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

图6为本发明实施例提供的一种终端设备的结构示意图，该终端设备是前文所述智能交互平板的操作设备的一种具体的硬件呈现方案。如图6所示，该终端设备包括处理器310、存储器320、输入装置330、输出装置340以及通信装置350；终端设备中处理器310的数量可以是一个或多个，图6中以一个处理器310为例；终端设备中的处理器310、存储器320、输入装置330、输出装置340以及通信装置350可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于参数共享的肺栓塞识别方法对应的程序指令/模块(例如，基于参数共享的肺栓塞识别装置中的第一提取单元210、概率计算单元220、区域截图单元230、第二提取单元240、特征融合单元250和综合判断单元260)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的基于参数共享的肺栓塞识别方法。

存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。

上述终端设备包含基于参数共享的肺栓塞识别装置，可以用于执行任意基于参数共享的肺栓塞识别方法，具备相应的功能和有益效果。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本申请任意实施例中提供的基于参数共享的肺栓塞识别方法中的相关操作，且具备相应的功能和有益效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。

因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。