一种针对先心病的超声多切面数据检测方法

摘要

本申请公开了一种针对先心病的超声多切面数据检测方法，包括：多尺度检测网络和深层特征提取网络；多尺度检测网络用于检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；深层特征提取网络用于根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。通过本申请中的技术方案，提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息，提高异常区域检测的准确性。

说明书

技术领域

本申请涉及深度学习的技术领域，具体而言，涉及一种针对先心病的超声多切面数据检测方法以及系统。

背景技术

先天性心脏病作为一种常见的先天性疾病。在诊断过程中，需要先通过听诊器听病人的心跳频率，借助心电图得出初步判断，然后使用超声多切面图观察心脏结构，并进行诊断。

在目前基于超声多切面图的人工智能辅助检测的研究中，具有以下几个难点：

(1)缺损(异常)区域辨识度低：在超声多切面图的上百帧图像中，并不是每帧图像都能看到先天性心脏病的缺损区域，医生需要结合整个周期的心脏和血流活动状态，才能判断是否具有缺损。并且缺损区域在超声多切面图上所占的区域很小，容易被超声自带的噪声所干扰。

(2)数据高自由度：超声多切面图的影像数据与医学影像智能诊疗中常见的CT、MR等数据不同，为影像科医生人工采集的数据，没有固定的截面和采集顺序，因此得到的数据格式杂乱无章。

发明内容

本申请的目的在于：提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息，提高异常区域检测的准确性。

本申请第一方面的技术方案是：提供了一种针对先心病的超声多切面数据检测方法，该方法包括：步骤1，检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；步骤2，根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。

上述任一项技术方案中，进一步地，步骤1，具体包括：步骤11，通过卷积、反卷积运算，生成超声多切面图的组合特征图，组合特征图包括深层特征图和浅层特征图；步骤12，在组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成焦点区域。

上述任一项技术方案中，进一步地，方法，还包括：步骤3，将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量；步骤4，根据焦点向量和超声多切面图，进行特征提取，以对超声多切面图进行分类检测。

本申请第二方面的技术方案是：提供了一种针对先心病的超声多切面数据检测系统，该系统包括：多尺度检测网络和深层特征提取网络；多尺度检测网络用于检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；深层特征提取网络用于根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。

上述任一项技术方案中，进一步地，多尺度检测网络，具体包括：多尺度特征提取模块和焦点区域检测模块；多尺度特征提取模块用于通过卷积、反卷积运算，生成超声多切面图的组合特征图，组合特征图包括深层特征图和浅层特征图；焦点区域检测模块用于在组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成焦点区域。

上述任一项技术方案中，进一步地，多尺度检测网络，具体还包括：对偶注意力模块；对偶注意力模块用于对组合特征图进行变形，并通过矩阵乘法，计算加入特征通道维度权重的特征矩阵图，并将组合特征图与特征矩阵图相加，生成并发送加入各个特征点间相关性权重的组合特征图至焦点区域检测模块。

上述任一项技术方案中，进一步地，系统还包括：多帧超声多切面图分类模型；多帧超声多切面图分类模型设置于多尺度检测网络与深层特征提取网络之间，多帧超声多切面图分类模型用于将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量，并将焦点向量输入至深层特征提取网络；深层特征提取网络还用于根据焦点向量和超声多切面图，进行特征提取。

上述任一项技术方案中，进一步地，系统还包括：异常区域检测网络；异常区域检测网络用于检测超声多切面图中的焦点区域，异常区域检测网络训练过程中的正例为超声多切面图中房间隔区域和室间隔区域，并将其余区域记作异常区域检测网络训练过程中的负例。

上述任一项技术方案中，进一步地，系统还包括：辅助异常检测模型；辅助异常检测模型包括多帧超声多切面图分类模型、以及异常区域检测网络，辅助异常检测模型用于将异常区域检测网络的输出结果传输至多帧超声多切面图分类模型中，得到第一中间结果，再将第一中间结果传输至深层特征提取网络，得到第二中间结果，并根据第二中间结果，采用联合算法，生成综合异常检测结果。

本申请的有益效果是：

本申请中的技术方案，异常区域检测模型分为2个部分：多尺度检测网络和深层特征提取网络，其中，多尺度检测网络用于检测焦点区域，即检测房间隔区域和室间隔区域，而深层特征提取网络则用于从原始图像和焦点区域中提取特征，以便用于分类。

在多尺度检测网络中，依次使用多尺度特征提取模块和焦点区域检测模块，对房间隔、室间隔区域进行提取，然后使用深层特征提取网络，对图像进行分类。这种结构引入了正常人与先心病患者在心脏结构上大体相似的特点，降低了模型的假阳性率。

在深层特征提取网络中，分别对原始图像和经过多尺度检测网络提取的焦点区域进行分类。通过组合图像的分类，可以得到比直接对整张超声多切面图进行分类更为准确的结果。

在总体的基于先心病多超声切面的异常区域检测模型结构中，提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息。针对直接使用多尺度特征提取模块和焦点区域检测模块用于异常区域检测的缺陷，提出了使用现有的多尺度特征提取模块、焦点区域检测模块与深层特征提取网络相结合的结构，使用检测特定区域后进行分类的方法来弥补这一缺陷。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的针对先心病的超声多切面数据检测系统的示意框图；

图2是根据本申请的一个实施例的多尺度检测网络结构图。

图3是根据本申请的一个实施例的多尺度特征提取模块结构示意图。

图4是根据本申请的一个实施例的对偶注意力模块结构示意图。

图5是根据本申请的一个实施例的加入对偶注意力模块的多尺度特征提取模块结构示意图。

图6是根据本申请的一个实施例的焦点区域检测模块结构示意图。

图7是根据本申请的一个实施例的基于特定超声切面的异常区域检测网络示意图

图8是根据本申请的一个实施例的房间隔缺损的联合算法结构图

图9是根据本申请的一个实施例的室间隔缺损的联合算法结构图

图10是根据本申请的一个实施例的基于多切面超声数据的先天性心脏病辅助异常检测模型结构图

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

对于各种患有心血管疾病的患者进行超声多切面图采集时，需要额外采集其它的切面，而对部分重要性较低的切面则不予以保存。因此，患者与正常人的切面信息并不相同。为了保证检测的准确性，本实施例所涉及的分类切面，为患者和正常人所共有的22个切面。

在先心病的诊断中，医生需要在图像上标注出异常区域，然后根据超声的结果撰写诊断报告，而人工智能辅助的异常区域检测可以帮助医生完成标注和病人的分拣工作，医生只需要进行确认和微调修改即可，可以有效降低医生的工作强度、和工作压力。

实施例一：

如图1所示，本实施例提供了一种针对先心病的超声多切面数据检测系统，该系统包括：多尺度检测网络和深层特征提取网络；

所述多尺度检测网络用于检测超声多切面图(原始图像)中的焦点区域，所述焦点区域包括房间隔区域和/或室间隔区域；

本实施例中，在进行超声多切面图的检测时，需要获取超声多切面图的焦点区域，并将焦点区域输入到深层特征分类网络中进行诊断。因此，如图2所示，设计了多尺度检测网络用于提取焦点区域，该多尺度检测网络由多尺度特征提取模块和焦点区域检测模块组成。

对于多尺度特征提取模块而言，如图3所示，对于输入的超声多切面图，不仅需要获取超声多切面图的高维结构信息，在异常区域的检测问题中，纹理、颜色等低维信息也是非常重要的。因此，多尺度特征提取模块能够同时保留高维和低维的特征图。

在多尺度特征提取模块结构中，使用了编码-解码网络结构，在各个卷积模块后又加入了反卷积模块，并在卷积模块与反卷积模块之间使用长连接，以传递来自低维的信息，这样的做法能够在最大程度上保留低维信息中的特征，从而提高对小目标的检测准确率。

所述多尺度特征提取模块用于通过卷积、反卷积运算，生成所述超声多切面图的组合特征图，所述组合特征图包括深层特征图和浅层特征图；

具体的，输入的超声多切面图原始大小为224×224，在通过7×7的卷积后，使用3×3的最大池化将其大小变为原来的一半，即112×112像素。接下来，特征图通过三个卷积模块，每个卷积模块由两个卷积层、两个批标准化层和两个ReLu激活函数组成。每个卷积模块在输出特征图到下一个卷积模块的同时，也将输出的特征图传递到反卷积模块中，反卷积模块则对反卷积得到的特征与卷积模块输出的大小相同的特征在通道维度进行连接，得到同时包含深层特征图和浅层特征图的组合特征图。

在每个反卷积模块后，输出的特征图都被保存用于后续在焦点区域检测模块中进行焦点区域的检测工作。

同时，注意到在高维的特征图中，由于特征通道数的增加以及图像大小的减小，对重点区域的特征提取效果并不理想。由于特征通道间具有相关性，而这种相关性在训练中被忽略，因此在通道数量较高的深层网络中，难以提取融合了多通道特征的信息。而同样地，在每个通道的特征图内，各个特征点之间也具有相关性，而目前的网络对每两个特征点之间的默认相关性权重都相同，并没有体现出特征点间的差异性和相关性。

为了解决上述问题，在检测中加入各个特征点间的相关性权重，多尺度检测网络还设置有对偶注意力模块，以提升特征提取的性能。对偶注意力模块结构如图4所示。

所述对偶注意力模块用于对所述组合特征图进行变形，并通过矩阵乘法，计算加入特征通道维度权重的特征矩阵图，并将所述组合特征图与所述特征矩阵图相加，生成并发送加入各个特征点间相关性权重的组合特征图至所述焦点区域检测模块。

具体的，在对偶注意力模块中，输入的组合特征图首先通过3×3卷积层，并对输出的特征进行变形，由C×H×W的三维矩阵M，变形为C×(H×W)的二维矩阵mat1，并将其转置，得到(H×W)×C的二维矩阵mat2。之后，在特征长宽维度的权重矩阵计算中，计算mat2与mat1的矩阵乘法，得到(H×W)×(H×W)的权重二维矩阵mat3，计算mat1与mat2的矩阵乘法，得到C×C的权重二维矩阵mat4。之后，将mat1与mat3相乘，并重新变形回C×H×W的三维矩阵M’，得到加入特征长宽维度权重的特征矩阵。将mat1与mat4相乘，并重新变形回C×H×W的三维矩阵M”，生成加入特征通道维度权重的特征矩阵图。最后将输入的组合特征图与加入特征通道维度权重的特征矩阵图相加，作为输出特征，发送至所述焦点区域检测模块。

在加入对偶注意力模块后，网络同时加入了通道与通道间的相关性权重与单通道内点与点间的相关性权重，对焦点区域的检测提供了更为丰富的特征信息。而对偶注意力模块需要训练的参数量仅有两个3×3卷积层，因此不会增加太多的训练时间，主要增加的时间开支来源于模块中的矩阵乘法运算。

进一步的，对偶注意力模块还可以直接加入多尺度特征提取模块中，如图5所示。将对偶注意力模块加入在最低一层的卷积模块后，在没有大幅增加参数量的情况下，引入了各个特征点间的相关性权重。

值得注意的是，在多尺度特征提取模块中，提取的特征图的大小并不相同。因此，在焦点区域检测模块中，需要对大小尺度不一的特征图分别进行处理。

本实施例中，所述焦点区域检测模块用于在所述组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成所述焦点区域。

具体的，在焦点区域检测模块中，需要对提取到的各类尺度不同的组合特征图进行焦点区域检测，焦点区域的检测环节一共分为3个部分。

首先，针对不同尺度的输入特征图，产生不同尺寸、不同纵横比的默认矩形框，为与检测标注框的后续比较作准备。在焦点区域检测网络中，对每个特征图产生6个默认矩形框，产生默认矩形框的方式如下：以输入特征图上每个像素点的中点为中心，最小的框尺寸设置为Smin＝0.2，最大的框尺寸设置为Smax＝0.95。而其余的框尺寸的计算公式为：

Smax-Smin

Sk＝Smin+[m-1(k-1)]

式中，k为默认矩形框的个数，m为尺寸预设参数。

同时，使用的长宽比系数分别为{a

式中，r＝1,2,…,5。

之后，通过一个批标准化层和一个3×3的卷积层，生成一组大小为[1，c，h，w]的特征用于默认分类，其中c为通道数，h为特征图的高，w为特征图的宽。

此外，通过另外一个批标准化层和一个3×3的卷积层，生成一组大小为[1，4n，h，w]的特征用于默认框的回归，其中4n为框的坐标，h为特征图的高，w为特征图的宽。

而在每个检测标注框和默认矩形框的匹配过程中，依照以下预设匹配原则进行匹配。

一、对于图片中每个检测标注框，都先找到与其重叠区域最大的默认矩形框进行匹配，这样可以保证所有的检测标注框都至少进行了一次匹配。这时，得到的所有已经匹配了的默认矩形框都会是正样本。而对于其它没有进行匹配的默认矩形框，按照第二条原则进行匹配。

二、对于未在第一步中匹配的默认矩形框，如果其与某个检测标注框的重叠区域大于阈值T，则这个默认矩形框也视为这个检测标注框所属的分类的正样本，在本文中，设T＝0.5，而与所有检测标注框的重叠区域都小于阈值T的被标注为负样本。

根据检测标注框和默认矩形框的匹配结果，在生成了焦点区域检测框(预测标注框)后，使用非极大值抑制算法(non-maximum suppression，NMS)，去掉重叠区域较低的预测框，仅留下重叠区域最高的框这个框对应的区域，就是焦点区域检测模块生成的焦点区域，下面简要介绍非极大值抑制算法。

根据上述检测算法，会计算得出多个符合条件的预测框，但在超声焦点区域最终的标记上，仅需要一个预测框，因此需要从这几个预测框中使用非极大值抑制算法进行筛选。筛选步骤如下：

1、将检测得到的预测框按照得分，即预测为该类别的概率从大到小进行排序，进入列表中。

2、从最大得分的预测框1开始，分别判断它与其序号之后的所有预测框的重叠度是否大于某个设定的阈值S。

3、若某个框与当前预测框的重叠度大于等于S，则在列表中删除这个框，否则，对下一个框进行比较。

4、继续向后按照之前2-3条比较列表中现存的最大得分的框，最终得到所有被保留下来的框列表。

按照非极大值抑制算法，在每张超声多切面图中都能够采集得到一个焦点区域，并将焦点区域及原始的超声多切面图，输入到深层特征提取网络中进行分类。

值得注意的是，在焦点区域检测模块中，检测得到的焦点区域并非一定是异常区域，而是超声多切面图检测过程中需要重点关注的区域，即房间隔与室间隔区域。这是为了在后续的深层特征提取网络中，能够更为精细地对这些区域进行分类，以达到检测效果。

本实施例中，所述深层特征提取网络用于根据所述超声多切面图和所述焦点区域，进行特征提取，提取出的所述特征用于对所述超声多切面图进行分类检测。

具体的，在提取得到焦点区域后，需要针对焦点区域进行异常检测。异常检测过程中，需要结合患者整个心脏的状态进行判断，即同时使用焦点区域和原始的整张超声多切面图进行异常检测。

在深层特征提取网络的前段中，对原始的超声多切面图和经由多尺度检测网络提取的焦点区域，分别训练卷积网络的参数。由于原始的超声多切面图和焦点区域拥有同样数量的参数，焦点区域提供了一半的参数量，是网络分类异常检测中的主要部分。而在分别通过两个卷积模块后，将输出得到的特征图在全局池化层中进行融合，将池化的特征图通过全连接层，形成1*1024的向量，并通过softmax层得到该帧图像的分类结果。这样的设计既保证了焦点区域的异常检测效果，也在分类中保留了原始超声多切面图中其它部分的信息，降低了因局部信息造成误诊的概率。

实施例二：

上述实施例中实现了一种基于单帧超声多切面图的异常区域的检测系统，在上述实施例的基础上，该系统中还可以设置多帧超声多切面图分类模型，以对多帧超声多切面图的异常区域进行检测。该多帧超声多切面图分类模型设置于所述多尺度检测网络与所述深层特征提取网络之间，所述多帧超声多切面图分类模型用于将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量，并将所述焦点向量输入至所述深层特征提取网络，以便所述深层特征提取网络根据所述焦点向量和所述超声多切面图，进行特征提取。

具体的，考虑到在超声多切面图的采集中，由于生理特征或仪器问题，往往会有一些噪声较大、较难判断其分类的帧。因此对单帧的超声多切面图进行分类具有较大的偶然性和不确定性。基于这一思想，设计了如图6所示的多帧超声多切面图分类模型结构，同时对多帧的超声多切面图进行特征采集，并共同进行分类，以降低单帧图像造成的误差影响。

本实施例中，n组的黑白和彩色图片分别输入到卷积网络，即单帧超声多切面图分类模型中。在经过单帧超声多切面图分类结构后，将输出的特征图通过一个批标准化层，使输出的特征图具有相同的分布。之后，将2n张特征图统一通过切面池化层，融合为一组向量。然后再通过一层的卷积网络后，用全连接层变为1×1024的焦点向量。最后，与单帧超声多切面图分类模型的分类方式一样，同样使用softmax分类器输出分类结果，在训练过程中，取n＝12，即对于每个病人切面的超声随机选取12帧进行组合分类。

在多帧超声多切面图分类模型结构中，对12张超声多切面图通过单帧图像分类网络，得到特征后通过池化层进行融合，获取全局特征。然后对全局特征进行分类，得到综合的分类结果。这样的方式有效地降低了单帧的偶然性带来的误差，提高了分类准确度。

在本实施例的一个优选实现方式中，该系统中还设置有基于特定超声切面的异常区域检测网络。

该基于特定超声切面的异常区域检测网络即由多尺度特征提取模块提取多个尺度的特征，通过焦点区域检测模块检测出焦点区域，然后使用深层特征提取模块进行区域分类的网络。该网络结构如图7所示。

采用的方案是直接使用多尺度特征提取模块和焦点区域检测模型，并将房间隔缺损病人的房间隔区域、以及室间隔缺损病人的室间隔区域设置为正例，其余区域设置为负例进行训练。但经过实验研究发现，由于超声多切面图的噪声较大，且病人与正常人的心脏切面的相似区域较多，因此这样的设置方式会导致假阳性(False Positive，FP)的检测框过多，约有50％以上的正常人都会误诊为先天性心脏病患者，严重影响了检测效果。

因此，创新性地提出了检测特定区域后，进行分类的模型结构，采用将所有人的房间隔区域和室间隔区域设置为正例，其余区域设置为负例的方式，训练多尺度特征提取模块和焦点区域检测网络，并在之后使用单独的深层特征提取网络进行分类。

通过这样的结构，能够准确提取出房间隔区域和室间隔区域。而在这些区域中，病人和正常人的差别较大，可以通过深层特征提取网络提取出差异化的特征进行分类。因此，设计的检测特定区域后进行分类的模型结构可以有效降低了模型异常检测的假阳性率。

本实施例中还涉及一种房间隔缺损的联合算法以及室间隔缺损的联合算法，具体的，在房间隔缺损和室间隔缺损的异常检测中，都需要结合多个切面进行判断。因此，结合临床医学知识，设计了房间隔缺损和室间隔缺损的联合异常检测算法。房间隔缺损的联合算法结构图如图8所示，室间隔缺损的联合算法结构图如图9所示。

在房间隔缺损的联合异常检测算法中，先对切面1和切面2的异常检测结果作逻辑与操作，然后再和切面3的异常检测结果作逻辑或操作，得到综合异常检测结果。而在室间隔缺损的联合异常检测算法中，先对切面1和切面3的异常检测结果作逻辑与操作，然后再和切面2的异常检测结果作逻辑或操作，得到综合异常检测结果。这是由于在这两种疾病的异常检测流程中，各个切面所占的比重并不相同，房间隔切面的切面3(剑突下双心房切面)和室间隔切面的切面2(心尖部四腔心切面)对于确诊有着比较重要的作用，因此在的算法流程中也处于比较重要的位置。

该系统还包括辅助异常检测模型，所述辅助异常检测模型包括所述多帧超声多切面图分类模型、以及所述异常区域检测网络，所述辅助异常检测模型用于将所述异常区域检测网络的输出结果传输至所述多帧超声多切面图分类模型中，得到第一中间结果，再将所述第一中间结果传输至所述深层特征提取网络，得到第二中间结果，并根据所述第二中间结果，采用联合算法，生成综合异常检测结果。

具体的，如图10所示，在辅助异常检测模型中，首先通过多帧超声多切面图分类模型，将采集的22个切面的超声多切面图数据进行分类，提取出异常检测所需的3个切面。之后，3个切面分别通过多尺度检测网络和深层特征分类网络，并通过联合异常检测算法，得到综合异常检测结果。

向辅助异常检测模型中输入待异常检测的超声多切面图数据，可以得到模型的综合异常检测结果，以判断超声多切面图中是否具有房间隔缺损或室间隔缺损。

实施例三：

在上述实施例的基础上，本实施例又示出一种针对先心病的超声多切面数据检测方法，该方法包括：

步骤1，检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；

步骤2，根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。

进一步的，步骤1，具体包括：

步骤11，通过卷积、反卷积运算，生成超声多切面图的组合特征图，组合特征图包括深层特征图和浅层特征图；

步骤12，在组合特征图中，根据检测标注框和默认矩形框，采用预设匹配原则进行匹配，并结合非极大值抑制算法，生成焦点区域。

更进一步的，方法，还包括：

步骤3，将多张超声多切面图对应的焦点区域，输入至池化层和全连接层，生成焦点向量；

步骤4，根据焦点向量和超声多切面图，进行特征提取，以对超声多切面图进行分类检测。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种针对先心病的超声多切面数据检测系统，包括：多尺度检测网络和深层特征提取网络；多尺度检测网络用于检测超声多切面图中的焦点区域，焦点区域包括房间隔区域和/或室间隔区域；深层特征提取网络用于根据超声多切面图和焦点区域，进行特征提取，提取出的特征用于对超声多切面图进行分类检测。通过本申请中的技术方案，提出同时使用焦点区域和原始图像，对超声多切面图进行分类的方式，有效保留了原始图像中其它区域的信息，提高异常区域检测的准确性。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。