用诸如单步检测器卷积神经网络之类的一个或多个卷积神经网络对诸如肺之类的身体部位的自动超声视频解释

摘要

在一个实施方案中，一种智能系统包括电子电路，所述电子电路被配置为执行神经网络，以在执行所述神经网络的同时检测身体部位的图像中的至少一个特征，以及在执行所述神经网络的同时确定检测到的每个所述至少一个特征的相应位置和类别。例如，这种系统可以执行神经网络以检测肺的图像中的至少一个特征，确定每个检测到的特征在所述图像内的相应位置，以及将检测到的每个所述特征分类为以下项之一：A线、B线、胸膜线、实变和胸腔积液。

说明书

优先权申请的所有主题通过引用并入本文，只要该主题与本文不矛盾即可。

发明概述

当今，诸如肺病(即与肺有关的疾病)之类的疾病是由医生(例如肺科医师)或其他医疗专业人员在他/她考虑了医学图像(例如，通过例如X射线、CAT、PET和超声拍摄的一个或两个肺的一个或多个医学图像)之后进行诊断的。

尽管以下讨论和实施方案针对超声图像[静止图像以及多个时间序列的图像/流(例如，视频或视频流)两者]，但是理解的是，以下讨论、描述的实施方案和描述的技术可以用于除超声图像之外的医学图像。

为了做出他/她关于受试者的肺的病理学的诊断，肺科医师在一个或多个超声图像中寻找特征，这类特征包括胸膜线和沿着胸膜线不存在肺滑动、A线、B线、胸腔积液、实变和合并B线。

参考图1，胸膜线10对应于由内脏和壁层胸膜以及在这些胸膜之间的胸膜腔12形成的组织结构。内脏胸膜14是“内”胸膜，其是覆盖肺16的表面并浸入肺叶之间的组织中的浆膜。壁层胸膜18是使肺16附着到胸腔的内表面20的“外”浆膜。在内脏胸膜14和壁层胸膜18之间的胸膜腔12中，胸膜是当隔膜(“呼吸肌”，未在图1中示出)收缩并放松以扩张和压缩肺16并因此引起呼吸的吸入和呼气阶段时，允许胸膜彼此来回滑动的“滑”液。

内脏胸膜14相对于壁层胸膜18缺乏滑动可向肺科医师(图1中未示出)指示诸如气胸(肺塌陷)之类的问题。气胸是空气被困在肺的内脏胸膜14和壁层胸膜18之间的胸膜腔12中的病症。气胸是一种严重病症，通常表示要进行干预。当具有正常肺的患者呼吸时，内脏胸膜14和壁层胸膜18彼此滑动。在肺超声视频中可观察到两个胸膜14和18的相对运动。患有气胸的患者的肺超声视频不会显示肺滑动，因为被困的空气的高阻抗对比度会阻止观察到相对的胸膜移动。

仍然参考图1，A线22是超声的回波伪影，其自身指示肺中存在空气。回声是多个离散的反射(例如，在两个阻抗边界(如换能器头和组织中的液体)之间的“弹跳”，其中弹跳信号的延迟在这两个阻抗边界之间的距离的整数倍处显示为“重影”对象)，而混响是一种连续信号，例如，其是由水滴内的“四处弹跳”的信号引起并由于混响延迟(虽然不一定，但其通常比回声延迟短)而显示出多个紧密间隔的“重影”对象(例如，B线，见图5)的连续信号。A线22的存在通常表明高置信度，即其中出现A线的组织是正常的。然而，不存在A线22本身并不表示病理。

仍然参考图1，A线22通常在超声图像中表现为有效地平行于换能器(图1中未示出)面的伪影/线[即，其为平行(对于平坦的，下文中为线性的换能器)或圆周(对于圆形，下文中为曲线换能器)线]。当超声波前入射在胸膜14或18上时，胸膜将一部分超声波重定向回超声换能器。换能器接收该第一重定向波的一部分，并且作为响应，在超声图像中生成一条亮线，即胸膜线10。然而，由于在皮肤/换能器边界处的阻抗不匹配，换能器将第一重定向波的另一部分重定向回体内。当该第二重定向波入射在胸膜14或18上时，胸膜将该第二重定向波的一部分重定向回换能器。超声机器(图1中未示出)是“沉默的”(dumb)，这是因为，它仅测量从生成波前至接收到重定向波前的时间延迟，将该时间延迟转换为距离，并在超声图像中以该距离显示亮点/线。也就是说，超声机器不能将回波与波前的真正的第一重定向区分开。因此，由于生成波前与接收到第二重定向波的重定向部分之间的延迟是生成波前与接收到第一重定向波的重定向部分(来自胸膜14或18)之间的延迟的两倍，因此超声机器在第一线的距离的两倍处(即，在距真正的胸膜距离的两倍距离处)生成第二亮线。这种重定向现象继续进行，使得超声图像具有被换能器和胸膜14或18之间的距离分隔开的一系列A线22。因此，肺科医师(图1中未示出)知道第一线是真正的胸膜线10，而其他位于胸膜14或18距离整数倍处的线是A线22，该A线22是真正的图像伪影，但确实表明胸膜腔10中(异常)或恰好在胸膜14后面(正常)存在空气。尽管A线22缺乏或较暗可指示在胸膜14中或恰好在胸膜14后面有少许或没有空气，将A线缺乏或较暗与涉及肺16的异常相关联在医学文献或医学界并不被普遍接受。也就是说，仅基于A线22缺乏或暗淡来诊断肺16的病理通常是不可接受的。

参考图2和图14，B线24是由肺内部的液体/空气界面引起的超声混响的伪影，并且B线的存在可指示以肺的一部分中有多余的液体为特征的肺病[例如，肺炎、急性呼吸窘迫综合征(ARDS)]。少量或完全不存在B线24通常指示肺组织中液体的正常水平。如果换能器是线性换能器，则B线24在超声图像中显示为垂直于换能器面的伪影/线(图2和14中未示出)，以及从曲线换能器沿径向向外延伸的线(在图5和14中未示出)。

参考图3至5和图17，胸腔积液30的特征在于在胸膜腔12内(即，内脏胸膜14与壁层胸膜18之间的空间)积聚了过多的流体。在严重的情况下，肺科医师或其他医生或临床医生可能需要进行干预，例如治疗性抽吸以排出流体。在超声图像中，胸腔积液30显示为沿着或邻近胸膜线10的暗区，并且可以分级为例如低严重性、中严重性和高严重性。

参考图6，实变60的特征在于肺16中超过胸膜线10的一组亮点，并且可以指示肺中的液体(超声波从空气/流体界面反射)。实变60的大小与肺组织中潜在液体堆积的严重性有关。

并且参考图7，类似于图6的实变60的现象是B线24的合并62，其中在胸膜线10以下的区域中发现了多个紧密间隔的B线。B线24的合并62可指示比由单个B线所指示的更严重的液体积聚。B线的合并62中的B线24的数量，以及相邻的B线之间的间隔与潜在的液体积聚的严重性有关。

参考图1至7，需要肺科医师解释超声图像的一个问题是，在世界上许多地区，例如资源匮乏的国家和其他经济欠发达地区，通常很少或没有熟练的肺科医师。

此外，即使有熟练的肺科医师，也可能希望提供一种智能系统来协助肺科医师进行诊断，并增加肺科医师正确诊断的机会。

在一个实施方案中，这种智能系统包括电子电路，该电子电路被配置为执行神经网络，在执行神经网络的同时检测身体部位的图像中的至少一个特征，并在执行神经网络的同时确定每个检测到的至少一个特征的相应位置和相应分类。

例如，这种系统可以执行神经网络以检测肺图像中的至少一个特征，确定每个检测到的特征在图像中的相应位置，并将每个检测到的特征分类为下列各项之一：A线、B线、胸膜线、实变和胸腔积液。

在另一个实施方案中，这种智能系统包括电子电路，该电子电路被配置为执行分类器神经网络，接收身体部位的图像，以及在执行分类器神经网络的同时确定图像指示身体部位功能(该功能属于特定类别)状态的概率。

例如，这种系统可以接收肺图像序列，例如肺的多个图像的视频流或肺的一个常规M模式图像，并执行分类器神经网络以确定该图像指示肺显示或不显示肺滑动的概率。

在又一个实施方案中，这种智能系统包括电子电路，该电子电路被配置为执行具有输入通道的神经网络，并且被配置为在执行神经网络的同时用相应输入通道来接收身体部位的图像中的每个和该图像的至少一个修改版本，以响应于该图像和该图像的至少一个修改版本而检测该图像中的至少一个特征，并确定响应于该图像和该图像的该至少一个修改版本而检测到的至少一个特征中的每个的相应位置和相应类别。

例如，图像的至少一个修改版本可以是图像的滤波版本，以增强电子电路检测图像中一个或多个特征的能力。

在又一个实施方案中，这种智能系统包括电子电路，该电子电路被配置为执行神经网络并被配置为接收身体部位的图像，该图像包括属于一种类别的至少一个特征，并且在执行神经网络的同时，检测图像中的至少一个特征，并针对检测到的至少一个特征中的每个，确定相应位置以及检测到的至少一个特征中的一个相应特征属于该类别的相应置信水平。

而且，一个用于训练神经网络的系统的实施方案包括电子电路，该电子电路被配置为从至少一个第一训练图像中的每个生成至少一个第二训练图像并通过执行神经网络来训练神经网络，以确定至少一个第一训练图像和至少一个第二训练图像中的至少一个中的至少一个特征中的每个属于特征类别的相应概率，所述确定通过针对至少一个特征中的每个确定所确定的相应概率和相应的标注概率之间的概率差，以及通过响应于该概率差而改变神经网络的至少一个突触中的每个突触的相应权重来进行。

附图说明

图1是肺超声图像，该图像包括对应于肺的胸膜线和A线的特征。

图2是肺超声图像，该图像包括对应于肺的胸膜线和B线的特征。

图3至5是肺的相应超声图像，该图像中每一个均包括对应于相应的胸腔积液的特征。

图6是肺超声图像，该图像包括对应于实变的特征。

图7是肺超声图像，该图像包括对应于B线合并的特征。

图8是根据一个实施方案的肺超声图像采集、肺超声图像分析和肺诊断的工作流程。

图9是根据一个实施方案，图8的肺超声图像采集、肺超声图像分析和肺诊断的工作流程的更详细示图。

图10是肺超声图像，该图像由曲线超声换能器产生并且包括对应于B线的特征。

图11是根据一个实施方案的用于通过对图像进行滤波来增强肺超声图像的方法的示图。

图12是根据一个实施方案的M模式肺超声图像以及响应于生成了M模式超声图像的三个正常模式肺超声图像。

图13是根据一个实施方案的在肺超声图像中的B线和B线聚类的绘图。

图14是根据一个实施方案，将图13沿绘图的水平轴压缩成一维的绘图。

图15包括指示沿着胸膜线的肺滑动(左图)以及无肺滑动(右图像)的M模式图像。

图16是根据一个实施方案的用于多类别特征/对象检测和识别/分类的工作流程的图。

图17是根据一个实施方案，通过沿着横坐标的大小(边界框高度)以及沿着纵坐标的暗像素数与总像素数的比率示出的胸腔积液的实例的绘图。

图18是根据一个实施方案的通过执行非最大抑制算法生成的绘图。

图19A是根据一个实施方案的用于训练一个或多个基于检测器模型的神经网络的工作流程。

图19B是根据一个实施方案的用于训练一个或多个基于分类器模型的神经网络的工作流程。

图20是根据一个实施方案的训练损失和验证损失(纵坐标)相对于用于训练SSDCNN的不同最终训练图像(横坐标)的数量的绘图。

图21是根据一个实施方案的诸如SSD CNN之类的CNN的示意图。

图22是根据一个实施方案的单个多类别SSD CNN的图。

图23是根据一个实施方案的特征图的图。

图24是根据一个实施方案的诸如图8的超声系统之类的超声系统的图。

发明详述

通常，本文描述的实施方案至少具有以下三个方面，其中，特征/对象标识和分类可以是相同的操作或单独的操作：

1)使用一个或多个卷积神经网络(CNN)，或一个或多个其他神经网络(NN)来检测、识别/分类肺超声图像(或超声图像序列)中的特征/对象，这种特征包括，或对应于胸膜线和沿胸膜线缺乏肺滑动(以下简称“缺乏肺滑动”、“存在肺滑动”，而不用短语“沿胸膜线”)、A线、B线、胸腔积液、实变，以及B线合并(以下简称合并B线)–如下所述，确定超声图像序列或视频是否指示肺滑动的缺乏或存在通常仅是分类问题，而不伴随特征检测；

2)训练一个或多个CNN，或一个或多个其他NN以执行第(1)方面；以及

3)基于在第(1)方面中检测、识别/分类的特征/对象进行诊断。

其他实施方案包括改善从肺超声视频图像生成M模式图像，以及选择训练的一个(或多个)NN模型以用于第(1)方面。

图8是根据一个实施方案的肺超声图像的采集、对采集的肺超声图像进行的分析以及基于该分析的肺诊断的工作流程100，并且包括超声系统130的图。在图8中，矩形框是加工步骤；并且菱形是确定并提供的(例如显示的)结果。

图8中有两个处理步骤：

(1)肺特征检测处理步骤150。处理步骤150的输出包括超声系统130在所分析的图像中检测到的以下特征/对象的那些：A线、胸膜线、B线、合并B线、缺乏肺滑动、实变和胸腔积液。

(2)肺病理诊断处理步骤170。处理步骤170的输出是肺诊断180，例如气胸、肺炎、胸腔积液或ARDS(急性呼吸窘迫综合征)。

超声系统130包括耦合到超声机器125的超声换能器120；在下文结合图24更详细地描述该超声系统。

超声技术人员，也称为超声医师(图8中未示出)，在受试者110的胸部上方操纵超声换能器120的头部，以生成超声时间序列的图像，即，生成超声视频。

超声机器125可以是或可以包括常规计算机系统，并且可以执行软件，或者可以配置有使计算机系统如下处理超声图像的固件。

首先，机器125被配置为使用包括图像滤波和其他图像处理技术在内的常规技术来渲染诸如B模式超声视频之类的增强超声视频140(见图13)。

然后，参考步骤150，超声机器125执行CNN，例如单步检测(Single ShotDetection,SSD)CNN，其检测和识别超声视频140的一个或多个帧中的特征/对象，这种特征/对象包括或表示胸膜线、A线、B线、胸腔积液、实变和合并B线。此外，由于肺滑动仅是一个分类问题[肺滑动在M模式图像中存在(见下文)或在M模式图像中不存在]，因此SSD CNN不用于检测M模式图像中的肺滑动；取而代之的是，使用分类算法(例如经典的CNN)来将肺滑动识别/分类为在M模式图像中存在或缺乏。此外，在下文中，诸如超声图像之类的图像中的“特征”和“对象”被认为是等同的术语，因此可互换使用。此外，在下文中，“识别”和“分类”在诸如超声图像之类的图像中的特征，被视为等效术语，因此可互换使用。

接下来，在步骤170中，超声机器125执行评估所分类的肺特征以进行肺病理诊断180的诊断算法。例如，这种病理诊断是响应于对诸如低于正常水平，或缺乏肺滑动、A线、B线、胸腔积液、实变和合并B线之类的病症的所确定的所述存在的可能性以及相应的严重性的。

肺诊断180的示例包括肺炎、肺萎陷和ARDS。

图9是根据出于以下解释的原因而被称为单类别实施方案的一个实施方案的工作流程200，其具有附加的步骤和结果，以及图8的步骤和结果150、160、170和180的更多细节。在图9所示的实施方案中，超声机器125(图8)执行分类CNN以对M模式图像210中的肺滑动进行分类。超声机器125执行五个单类别SSD CNN以分别检测并分类另外五个特征A线、B线、胸膜线、实变和胸腔积液中的每个(见图9中标记为“推断”的列)；因此，工作流程200可被称为单类别SSD CNN实施方案，或更一般地，被称为单类别CNN实施方案。而且，下文将进一步描述CNN，特别是SSD CNN的操作方式的细节。

在步骤201中，超声机器125(图8)通过变换和增强图像来预处理超声视频图像140。超声机器125(a)从超声视频140中提取多个图像帧211，(b)可选地对图像帧应用一个或多个几何变换，(c)可选地增强图像帧，并且(d)从预处理视频中生成一个或多个重构的M模式图像210。从超声视频140提取图像帧211是常规的，因此不再进一步描述。

两类超声换能器120(图8)通常用于肺应用。曲线换能器通常用于成人，而线性换能器则用于儿童。曲线形换能器产生扇形的输出图像，例如，如图10和12中所示，而线性换能器则产生矩形输出图像(未示出)。扇形输出图像可以通过极坐标系描述，而矩形输出图像可以通过普通的笛卡尔坐标描述。在一个实施方案中，在步骤201中，超声机器125(图8)将来自曲线换能器的极性输出转换为矩形输出，并且在另一个实施方案中，将来自线性换能器的矩形输出转换为极性输出。对图像的增强描述如下。

例如，参考图9和10，如果超声换能器120(图8)是曲线换能器，则在步骤201中，超声机器125(图8)可以将图像140从极坐标转移为线性(笛卡尔)坐标。此外，参考图11，超声机器125可以将视频图像140滤波或对其应用其他图像处理技术，以增强诸如B线之类的特征，以使它们更易于进行CNN检测和分类。

在步骤210中，超声机器125重建M模式图像，并且有效地将这些图像提供给肺滑动分类器220，以允许该分类器对肺滑动进行分类。图15包括示出了胸膜线的重建的超声M模式图像，左图像301指示肺滑动(该图像中的模糊性指示运动；在M模式图像中的这种肺滑动被非正式地称为“海岸图案”)，右图像302指示没有肺滑动(该图像中平滑、清晰的图案指示缺乏运动；M模式图像中肺滑动的缺乏被非正式地称为“条形码图案”)。因此，在B模式视频中，肺滑动与无肺滑动之间的差异相当细微，可能难以辨别。因此，许多商业超声系统，例如超声系统130，产生M模式图像，其中肺滑动与无肺滑动之间的差异更加明显。在M模式图像中，竖直维度表示深度，而水平维度表示时间。可以将M模式图像比作一种摄像机，该摄像机仅捕获一像素宽的视场的竖直切片，并且其中这些竖直切片被水平地堆叠以形成图像。像常规超声设备一样，超声系统130(图8)通过记录作为时间函数的在一个特定位置(例如，曲线换能器的角位置、线性换能器的横向位置)处的返回超声信号来产生M模式图像。如果在肺的另一位置处需要M模式图像，则超声机器125在该另一位置处进行单独的M模式图像捕获会话。

参考图12，根据一个实施方案，更详细地描述了M模式图像。

“M模式图像”代表“运动图像”，其是较大图像中的单列像素的时间序列，其中每个图像中的单列像素表示被成像的组织(例如，肺)的相同位置。

图12包括示出M模式图像构造方式的图像。选择图像的像素列并用图像401中的竖直直线411标识。在随后的(时间上)图像402和403的每一个中，相同的像素列分别用竖直直线412和413标识。也就是说，图像420是相同像素列(实际上是在被成像的组织的相同区域中)的时间序列，其中竖直线411、412和413表示不同时间的相同像素列(例如，图像401至403经历了极坐标到矩形坐标的转变，或者使用径向列提取将像素列提取并置于直角坐标系中)。像素列中随时间流逝的灰度级差异指示肺滑动。像素列随着时间流逝的均匀性指示肺滑动减少或没有。超声机器125(图8)被配置为生成和分析图12中所示的多于一个像素列。通过分析多个像素列，至少由于平均效果，可以提高肺滑动检测的准确性。

例如，仍然参考图12以及图9的工作流程200的步骤210，直线411、412和413各自表示单列像素。在常规的超声系统中，超声医师选择用于M模式治疗的列(例如，通过使用图像显示器上的指示装置)，并且超声系统之后仅显示该列的M模式图像。但是在一个实施方案中，超声系统130(图8)可以从超声图像序列中，例如从超声图像的视频流中，提取一个或多个M模式列以进行分析。也就是说，代替像常规的超声机器那样的仅以M模式显示单个列，超声系统130的实施方案可以生成任意数量的M模式图像序列，超声视频图像140中每个像素列至多一个相应序列。这允许超声系统130的实施方案在胸膜线的多个位置处同时有效地执行肺滑动检测。在超声换能器120(图8)是曲线的以便生成“径向”像素列(图12的图像401、402和403中的直线)的情况下，一种生成M模式图像420的方法是将一个或多个对应的超声图像(例如超声图像401、402和403)从极坐标转换为直角坐标，以便将每个倾斜的像素列分别转换为竖直笔直的像素列411、412和413，超声系统130可以从其在一个或多个所述笔直的像素列处生成时间序列的M模式图像。生成M模式图像的另一种方法是计算沿径向线(例如，图12的图像401、402和403中的倾斜线)的像素强度，以从多个时间序列图像中提取像素列，以形成M模式图像。也就是说，超声系统130使用径向像素强度算法代替超声图像的极坐标到矩形坐标的变换，以从坐标变换图像的序列中提取像素列。

仍参考图9，在步骤201之后，超声机器125(图8)有效地将经变换和增强的非M模式图像211提供给CNN检测器221、222、223、224和225，以分别检测A线、B线、胸膜线、实变和胸腔积液。

在步骤220中，超声系统130(图8)实现CNN肺滑动分类器，该分类器确定M模式图像210是否表现出肺滑动。分类器对一个或多个重构的M模式图像210进行分类，以确定是否存在肺滑动。超声系统130在步骤220中实现的分类器可以是任何类型的机器学习分类器，包括但不限于以下类型的机器学习分类器：逻辑回归、支持向量机、k最近邻、神经网络和深度学习神经网络。在一个实施方案中，超声系统130实现卷积神经网络(CNN)分类器。下面结合图19和20描述这种分类器的训练。基于对同一超声B模式视频[B模式视频是“正常”视频，其中图像的竖直维度是深度，而图像的水平维度具有空间(例如宽度)维度，而不是M模式图像的时间]中的不同位置处的若干重构的M模式图像210进行分类来确定是否存在肺滑动。这由于平均效果而具有提高精确度的效果。

更详细地，CNN肺滑动分类器确定存在肺滑动的可能性或置信水平。置信水平是0到1之间的数字。介于特征可能存在还是不可能存在之间的置信水平阈值(例如0.5)可以由超声系统130(图8)的用户设置。如果置信度很高(例如，高于阈值)，则可能存在肺滑动；相反，如果置信度低(例如，低于阈值)，则可能不存在肺滑动。CNN如何进行这种确定的至少一些细节是常规的，因此，为简洁起见，在此不进行描述。此外，超声机器125(图8)可以代替CNN使用的其他算法包括特征提取器，然后是逻辑回归算法、支持向量机、k最近邻算法和一种或多种其他类型的神经网络中的一种或多种。

再次参考图9，在步骤221、222、223、224和225中，超声机器125执行相应的SSD CNN以在超声图像211中检测和分类A线、B线、胸膜线、实变和胸腔积液。每个特征的检测和分类基于相应置信水平，并且包括该图像内检测和分类的特征的位置。结合图9的工作流程200所描述的单类别实施方案的优点在于：特征检测彼此独立，并且两个或更多个特征检测可以在图像的基本上相同的位置处触发。因此，单类别实施方案对于诸如胸腔积液和胸膜线之类的特征可能是有用的，这些特征往往在肺中并因此在肺超声图像中恰好彼此紧挨着或在彼此相叠。然而，在一个单一的SSD CNN检测器或多个SSD CNN检测器中的每个检测器检测并识别多个特征的多类别实施方案中，在基本相同的位置处检测到的两个或多个特征可彼此“竞争”，使得即使实际上在图像的相同给定位置处有多个特征类型，超声机器125也只能在给定图像位置处检测出一种特征类型。也就是说，多类别实施方案可以消除对在同一超声图像中的彼此接近的多个特征中的一些，甚至除了一个以外的所有特征的真实检测。因此，从结果导向的观点来看，对于要检测和分类的每个特征使用一个单类别SSD CNN可能是优选的。但是由于在打算使用超声系统130(图8)的实施方案的地理区域(例如，远离医疗机构的区域和第三世界国家)中的处理能力限制(平板计算机或等同物)，单类别SSD CNN由于处理能力的限制可以顺序而非并行地操作，使得处理时间可能过长。因此，从处理时间的观点来看，在处理能力受限的情况下，多类别SSD CNN实施方案可能是优选的。

更详细地，在结合图9的工作流程200描述的单类别实施方案中，超声系统130(图8)实施一系列五个单类别检测器模块221、222、223、224和225，以对(预处理的)视频图像帧211的集合进行操作。每个模块分别“寻找”在输入的视频帧211中的其相应的目标特征，例如A线、B线、胸膜线、实变和胸腔积液。模块221、222、223、224和225为基于计算机视觉的检测器。在一些实施方案中，模块221、222、223、224和225中的一个或多个是单步类型[例如，SSD或您只看一次(YOLO)]或双网络类型[例如，区域(R)-CNN、快速的R-CNN或更快速的R-CNN)的特征检测器。模块221、222、223、224和225的训练在下面结合图19和20进行描述。

模块221的输出231包括一个或多个对A线的检测，每个检测由五个实数表示。第一个数字是检测到的图像特征是A线的概率或置信水平。其余四个数字分别是包含检测到的A线的边界框左上角的坐标，以及边界框的宽度<Δx,Δy>(见例如图1的边界框260)。

模块222、223、224和225的输出232、233、234和235具有相同的格式；也就是说，这些输出中的每个都表示对特征的一个或多个检测，每个检测都由五个实数表示。例如，输出232的检测的第一个数字是检测到的图像特征是B线的概率或置信水平。其余四个数字分别是包含检测到的B线的边界框左上角的坐标，以及边界框的宽度<Δx,Δy>(见例如图2的边界框262)。类似地，输出233的检测的第一个数字是检测到的图像特征是胸膜线的概率或置信水平。其余四个数字分别是包含检测到的胸膜线的边界框左上角的坐标，以及边界框的宽度<Δx,Δy>(见例如图2的边界框264)。同样，输出234的检测的第一个数字是检测到的图像特征是实变的概率或置信水平。其余四个数字分别是包含检测到的实变的边界框左上角的坐标，以及边界框的宽度<Δx,Δy>(见例如图6的边界框266)。类似地，输出235的检测的第一个数字是检测到的图像特征是胸腔积液的概率。其余四个数字分别是包含检测到的胸腔积液的边界框左上角的坐标，以及边界框的宽度<Δx,Δy>(见例如图3、4和5的边界框268)。

在步骤242中，超声机器125(图8)进一步分析所识别/分类的B线以确定B线的真实数量，因为存在肺问题的可能性以及肺问题的严重性与实际B线数量有关；这种分析称为B线聚类。通常，由于呼吸过程中肺的运动，单个B线可能看起来在图像之间移动相对位置。因此，图像之间的B线计数可导致B线的数量比实际存在的数量大，因为一个图像中的B线可能与另一图像中的B线相同，即使B线的位置在图像之间是不同的。因此，参考图13，超声系统130(图8)从帧到帧有效地绘制了B线270的位置，并将所形成的B线群称为B线聚类。图13的绘图272示出了B线270的四个聚类274、276、278和280，每个聚类由图14的绘图282中的相应圆圈指示，其中绘图282是由图13的绘图272沿水平轴压缩成一维而得到的。因此，在确定由B线表示的肺问题的可能性和严重性时，超声系统130(图8)确定B线270的实际数量就是聚类的数量，这里四个聚类274、276、278和280使用该数量(这里是四个)作为B线数量的指示器，并使用聚类的位置(例如，使用每个聚类的相应质心作为每个聚类的位置)作为B线的位置。

参考图9和17，在步骤245中，对任何检测和分类的胸腔积液的进一步分析得到每个所识别的胸腔积液的相应等级(例如，低严重性、中严重性、高严重性)。

再次参考图9，超声系统130(图8)得到相应识别特征的存在或数量以及严重性，作为输出250、251、252、253、254和255。

例如，超声系统130(图8)得到存在肺滑动的概率或置信水平，以及任何存在的肺滑动的可能严重性，作为输出250。

类似地，超声系统130得到检测到的任何A线的数量和位置，对应于检测到的一或多个A线(例如，对应于单独的一个或多个A线，或一个或多个A线与一个或多个其他检测到的特征的组合)的病理存在的概率或置信水平，以及在该病理存在时相应病理的可能严重性，作为输出251。

超声系统130得到检测到的任何B线的数量和位置，对应于检测到的一个或多个B线(例如，对应于单独的一个或多个B线，或者一个或多个B线与一个或多个其他检测到的特征的组合)的病理存在的概率或置信水平，以及在存在该病理时对应病理的可能严重性，作为输出252。

超声系统130得到检测到的任何胸膜线的位置，对应于检测到的一个或多个胸膜线(例如，对应于单独的一个或多个胸膜线，或一个或多个胸膜线与一个或多个其他检测到的特征的组合)的病理存在的概率或置信水平，以及在存在该病理时对应病理的可能严重性，作为输出253。

超声系统130得到检测到的任何实变的位置，对应于检测到的一个或多个实变(例如，对应于单独的一个或多个实变，或一个或多个实变与一个或多个其他检测到的特征的组合)的病理存在的概率或置信水平，以及在存在该病理时对应病理的可能严重性，作为输出254。

超声系统130得到检测到的任何胸腔积液的位置，对应于检测到的一个或多个胸腔积液(例如，单独，或与另一检测到的特征的组合)的病理存在的概率或置信水平，以及在存在该病理时对应病理的可能严重性，作为输出255。

在步骤170中，超声系统130(图8)执行算法(例如CNN或基于规则的算法)来分析所检测和分类的特征和作为输出250至255而得到的严重性，以便进行诊断。在步骤180中，基于作为输出250至255得到的特征、分类和严重性，超声系统130(图8)得到可能的诊断(例如，可能是肺炎、可能是气胸)。

仍然参考图9，在工作流程200的替代实施方案中，预处理模块201可选地增强图像视频帧211，以便提高针对一个或多个肺特征和病理的检测和分类的准确性。例如，图10所示的B线601是稳固的，并且因此通常在B线检测器步骤222中由超声系统130(图8)容易地检测到。然而，存在可能逃避了检测的较弱的B线(图9和10中未指出)。通过基于应用于原始灰度图像的图像滤波操作的伪彩色图像通道的引入，可以提高超声系统130的B线精确度。从超声视频提取的图像帧可以经滤波以增强某些特征类型。例如，当用具有与B线相同的取向和相同的比例的Gabor滤波器对其进行滤波时，可以增强B线。这些滤波图像中的一个或多个可以与原始灰度图像一起堆叠为伪彩色通道，并且这些滤波图像可以用于训练和测试超声系统130的CNN模型。

结合图11示出并描述了用于B线的该视频图像增强技术的实施方案的图示。用包括八个定向的细长的Gabor滤波器902的滤波器库对原始灰度图像901(即图10的图像并因此包括图10的B线601)进行滤波，尽管在其他实施方案中，滤波器库可以包括多于或少于八个的Gabor滤波器。Gabor滤波操作导致图像库903。在该库903中对应于与图像901中的B线601最紧密对准的Gabor滤波器的图像通常脱颖而出。在该示例中，第三Gabor滤波器与B线601最紧密对准，并且因此对应于该库903中的第三图像904。在经过该滤波操作之后，原始灰度图像901被附加有八个滤波图像的库903以形成九通道图像，在一个实施方案中，该九通道图像形成对由超声系统130(图8)实现的CNN模型的输入。该滤波算法可以利用超声系统130实现的多个图像通道，这些通道中的至少一些用于彩色图像的不同分量；例如，此类分量的示例包括红色(R)、绿色(G)、蓝色(B)、Y、C

仍然参考图11，更详细地，超声系统130(图8)实施图像处理技术以增强B线，使得它们对于由超声成像系统实施的CNN来说更容易检测和分类。对于曲线超声换能器120(图8)，B线从该换能器径向延伸(图像901，也见图10中的同一图像)。因此，可以根据具有分别沿着从换能器120的中心径向延伸的线的轴的Gabor滤光器来处理图像。例如，滤光器使与滤波器边界对准并位于其内部的较亮像素锐化(例如，变亮、增加对比度)。超声系统130使每个滤波器有效地在图像上水平和竖直地(例如，在每个维度上每次1个像素)步进，以便对B线进行滤波，而不管它们在图像内的位置。而且，尽管图像902仅示出了八个滤波器，但是可以使用其他数量的滤波器。在滤波之后，超声系统130将原始灰度图像与N个滤波图像堆叠在一起以形成N+1通道伪彩色图像。也就是说，将这些原始和滤波后的图像中的每个图像在单独的输入通道上输入到B线特征检测SSD CNN(图9和16的步骤222)。因此，SSD CNN有效地分析了所有这些原始图像和滤波后的图像，以检测和分类B线。

此外，尽管图11仅示出了B线滤波器，超声系统130(图8)可以采用滤波器来增强A线，以及其他搜索特征。而且，多个增强功能可以出现在单个输出图像上；也就是说，不需要每个特征滤波器都生成相应独立的图像集。例如，可以增强图像的所有搜索特征，并且可以将所有增强的结果组合为与单个输入图像相对应的单个图像堆栈，其中该堆栈中的每个图像(滤波和原始)被输入到SSD CNN的相应通道。SSD CNN通常被配置为接收对应于彩色图像(例如，RGB、HSV)的至少三个输入像素流。然而，根据图11，SSD CNN可以被配置为接收具有明显大于三个通道数量的输入图像，具体取决于针对每个原始超声图像生成的滤波/增强图像的数量。

在其他实施方案中，超声系统130可以执行其他伪彩色增强以提高感兴趣的其他特征(例如，A线、胸膜线、实变和胸腔积液)的准确性。

仍然参考图9，在工作流程200的又一实施方案中，对一个或多个检测输出231、232、233、234和235中的每个进行进一步处理，然后将输出作为检测到的特征报告给用户。例如，如上所述，B线是由在肺内部的流体空气界面处的声波的混响引起的图像伪影。如上所述，在图10中示出了呈现B线601的超声视频帧的示例。在图10中，B线601具有如所示的沿弧603的位置602，这是因为用于制作图10的图像的超声换能器120(图8)是曲线换能器，使得B线601从该换能器径向向外延伸。如上所述，超声图像中的多个或合并B线可能是诸如肺炎或急性呼吸窘迫综合征(ARDS)之类的严重的异常肺病症的症状。超声图像中B线的数量可能很重要，因为它可以利用例如在临床和统计学上相关的三个以上的B线来指示病症的严重性。在捕获肺的超声视频图像流(例如，超声视频图像140)的过程中，随着患者呼吸，B线可由于肺胸膜的运动而在图像帧之间改变位置。B线也可能在视频图像帧序列中淡入和淡出。在一个实施方案中，超声系统130(图8)逐帧检测B线270。此外，超声系统130采用聚类技术，其中超声系统将跨视频流的多个帧的检测到的B线相关联以确定在分析的视频图像中存在的B线的真实数量。B线270的该后处理聚类在图9中被示为步骤242。如上所述。图13是在多个视频帧上的相应位置处检测到的单独的B线270的绘图。每个B线检测270用一个小圆圈表示，沿着绘图272的横坐标绘制相应图像帧内B线的位置，并且其中检测到B线的图像帧的标识符(例如数字)沿着绘图272的纵坐标绘制。如上所述，图14示出了在投影到横坐标(例如，x轴)上的所有分析的超声视频帧上的B线检测。在所描述的示例中，超声系统130在步骤242期间实施的聚类算法确定跨超声视频的所有分析帧的所有检测到的B线270的集合按位置被分组为四个聚类274、276、278和280，如图14中的圆圈所示。更具体地说，聚类算法不是超声系统130可以在图9的步骤221、222、223、224和225期间执行的任何SSD CNN的一部分，而是另一种类型的算法，其是或例如使用常规的基于距离的聚类技术或常规的基于密度的聚类技术来确定聚类的数量以及每个B线270属于哪个。例如，在图14中，聚类算法确定在彼此之间的阈值距离(例如，十个单位)内的所有B线均被视为同一聚类的一部分，其中“单位”可以是任何任意距离单位，例如像素或毫米(mm)。因此，聚类算法响应于聚类算法识别的B线聚类的数量(此处为四个聚类274、276、278和280)，而不响应于聚类算法在超声视频的所有分析帧中检测到的B线270的原始计数，确定在超声视频的分析部分中检测到的B线270的严重性级别。

图16是根据一个实施方案的工作流程500的图，该工作流程500类似于图9的工作流程200，但是其是用于多类别对象检测和分类的工作流程。代替运行单独的SSD CNN以检测和分类每个特征(例如，A线、B线、胸膜线、实变、胸腔积液)的是，超声系统130(图8)运行单个多类别SSD CNN以检测并分类每个特征(超声系统仍然使用如上面结合图9所述的单独的分类CNN对肺滑动进行分类)。

步骤、输出和对象140、201、210、211和220类似于以上结合图9描述的这些相同的步骤、输出和对象。

在步骤521中，超声系统130(图8)实施如上所述的单个多类别SSD CNN，以在超声视频图像帧211中检测一个或多个特征，例如A线、B线、胸膜线、实变和胸腔积液。

接下来，在步骤523中，超声系统130(图8)将检测到的特征522的每个实例分类为诸如A线、B线、胸膜线、实变和胸腔积液之类的特征中的特定一个。也就是说，检测522中的每一个包括超声系统130已经在其中检测到某物(例如特征)的图像帧211中的相应一个中的相应位置，并且包括检测到的某物是超声系统130正在“寻找”的特征(例如，A线、B线、胸膜线、实变、胸腔积液)中的一部分的概率或置信水平。

然后，在步骤523中，响应于相应位置和相应概率或置信水平，超声系统130(图8)将每个特征检测522分类为超声系统130正在“寻找”的特征(例如，A线、B线、胸膜线、实变、胸腔积液)之一，或分类为未知特征(然而，在大多数情况下，在步骤521中，超声系统130不会检测到特征，除非该特征是超声系统130正在“寻找”的特征之一)。

仍然参考图16，分类特征检测231、232、233、234和235，步骤242和245，输出250、251、252、253、254和255，步骤170和诊断180与如上结合图9所述的相应的检测、步骤和输出类似。也就是说，在步骤523之后，超声系统130(图8)在执行工作流程500时的操作类似于在步骤220、221、222、223、224和225之后，超声系统130在执行图9的工作流程200时的操作。

参考图9、16和17，根据一个实施方案，描述了对胸腔积液进行分级的步骤245。

图17是根据一个实施方案，作为沿着横坐标的尺寸(例如，边界框高度，下面结合图22和23描述边界框)和沿着纵坐标的暗像素数与总像素数的比率的函数绘制的胸腔积液实例的绘图。可以看到，至少如通过超声系统130(图8)所确定的，尺寸(例如边界框高度)越大以及暗像素数与总像素数的比率越高，胸腔积液的情况就越严重。低严重性聚类(以下称为“组”)、中严重性组和高严重性组中的胸腔积液来自训练图像，并且十字分别表示每个组中的点(在图17中以圆圈表示)的二维质心。组之间的边界由常规的无监督聚类算法确定(无监督聚类算法在输入数据中找到相似性而无需“告知”样本的身份)。

在训练之后，在图9和16的步骤245处，超声系统130(图8)有效地绘制所检测并识别的胸腔积液(由图17中的菱形表示)，确定绘制的胸腔积液与每组中心(图17中的十字)之间的相应距离，并且将胸腔积液识别为具有与胸腔积液最接近的组相对应的等级。例如，如果胸腔积液(菱形)最接近中严重性组的中心(十字)，则超声系统130将胸腔积液分级为中严重性。

仍参考图9、16和17，更详细地描述了对胸腔积液进行分级的步骤245。

图17的绘图是由以下两个属性组成的空间中训练示例的散点绘图：边界框高度(尺寸)与暗像素与总像素的比率。超声机器130(图8)可以使用以下任何常规算法来执行聚类：k均值、高斯混合模型(GMM)和基于密度的聚类。组或聚类的数量通过先验确定，是聚类算法的输入(例如，由程序员或为特定应用配置聚类算法的人员输入)，并选择成等于所需严重性类别的数量。例如，如果所需类别是低严重性、中严重性和高严重性，则将聚类的数目k设置为3。图17示出了使用k均值对训练示例进行聚类的结果。聚类中心以十字或“加号”符号指示。一旦将训练集示例聚类为k＝3组，就可以通过检查每个聚类中训练案例的严重性来确定聚类索引及其对应严重性之间的映射。落入每个聚类中的大多数示例将确定该聚类的身份。在图17所示的示例中，左下的聚类对应于低严重性，中间的聚类对应于中严重性，而右上的聚类对应于高严重性。

在图9和16的步骤245的推理部分期间，任何检测到的胸腔积液都有其由分级算法提取和评估的聚类属性。例如，如果聚类算法为k均值，如果其属性值最接近与低严重性积液相对应的聚类中心(十字)，则将胸腔积液检测归为低严重性。如果聚类算法是GMM，则超声系统130(图8)基于检测到的胸腔积液的聚类属性将检测到的胸腔积液分配给具有最高后验概率的聚类。在图17中，灰色菱形代表检测并分类的胸腔积液的聚类属性。它在聚类属性空间中的位置最接近中等严重性胸腔积液(十字)，因此超声系统130将相应的胸腔积液分级为中严重性的胸腔积液。

参考图16，在一个实施方案中，超声系统130(图8)实施以执行步骤521和523的多类别SSD CNN为每个检测到的特征输出九个实数的向量。前五个数字是检测到的特征属于目标类/类别(例如A线、B线、胸膜线、实变、胸腔积液)之一的相应概率/置信度。通常，根据由最高置信度数字指示的类别对特征进行分类。

不同类别的两个置信水平之间不太可能发生“平局”，这是因为超声系统130(图8)通过实施常规的softmax操作来对从多类别SSD CNN输出的置信水平进行后处理，这往往放大最高置信水平并抑制其他置信水平(类似于差分误差放大器)。在不太可能的两个置信水平完全相等的情况下，超声系统130可以实施平局打破算法，或者可以报告检测到的特征的多个平局分类。

参考图18，为了从潜在位置中确定每个检测到的特征的实际位置，超声系统130(图8)实施了非最大抑制操作的实施方案。在执行非最大抑制算法时，超声系统130(图8)有效地在3D图上绘制每个检测到并分类的特征的最高得分(例如，置信水平)值，其中平面为图像平面(即超声图像的平面)，并且沿z维度绘制得分值。超声机器130“寻找”得分图中的峰，并选择峰作为特征的位置。例如，分数图在位置1800处形成一个峰，因此，非最大抑制操作接受在位置1800处按分数值分类的特征(例如，A线、B线、胸膜线、实变、胸腔积液)。但是，在位置1802、1804和1806处的多个得分值形成得分的聚类1808。因为位置1806处的得分值是最高(在“山坡”的峰值处)，所以超声机器130在执行非最大抑制操作的同时，将位置1806处的得分值选择为与检测到和分类的特征的真实值相对应，并将1802和1804处的得分值作为对应于冗余或“重影”特征有效地丢弃；也就是说，超声系统130在执行非最大抑制算法的同时，精简特征聚类1808以确定作为具有最高得分值的特征的一个真实特征的分类和(在图像中的)位置。

向量的其余四个数字分别是距该特征的实际边界框左上角的默认边界框x,y坐标的偏移量，以及距实际边界框的默认边界框宽度(Δx)和高度(Δy)的偏移量。在图1至7中的至少一些中示出了这种边界框。在一个实施方案中，实际边界框的大小和/或相对位置可以是所分类的特征指示的病理严重性的相应指示器，并且超声系统130(图8)被配置为根据任何合适算法处理实际边界框中像素，以给出另一种严重性指示。此外，超声系统130通过实现CNN或通过实现与CNN分离的算法来进行严重性确定。万维网https://blog.athelas.com/a-brief-history-of-cnns-in-image-segmentation-from-r-cnn-to-mask-r-cnn-34ea83205de4(作者为Dhruv Parthasarathy)上提供了用于图像处理的CNN的高级概述。

参考图8和10-17，尽管被描述为实现一个或多个SSD CNN，但是超声系统130可以被配置为实现其他类型的算法以执行上述功能，这类其他类型的算法包括“你只需看一次(YOLO)”、“基于区域的CNN(R-CNN)”、“Fast R-CNN”和“Faster R-CNN”。此外，超声系统130可以被配置为实现单个神经网络或多个神经网络以执行上述功能，并且可以使用除神经网络以外的算法来执行一个或多个上述功能。并且，如前所述，非SSD CNN通常用于对肺滑动进行分类，因为不需要检测肺滑动[超声系统130仅对肺滑动进行分类(其“存在”还是“不存在”)]。图9和16的单类别和多类别实施方案可能分别有优缺点。一组单类别检测器可使用更多的计算机处理时间和功率，因为会为每个输入图像评估多个单独的CNN模型。多类别检测器可能在计算上更有效，但是共同位于一图像中的不同特征分类的检测可相互竞争，从而降低了对一个或多个特征分类的敏感性。因此，超声系统130的设计者在选择在临床环境中部署哪个实施方案时能够仔细考虑这些并进行权衡。

参考图19A和19B，根据一个实施方案，在受监督的学习范例中，在超声系统130(图8)使用神经网络来检测和识别其中具有先验未知特征的图像或视频中的特征之前，对神经网络(例如CNN)进行关于具有先验已知特征的图像或视频训练。

深度学习模型通常用梯度下降算法来训练。该族中的算法是迭代的，并且在大量迭代后逐渐降低到成本(损失)函数的低值。根据模型的大小和训练样本的数量，训练过程可能持续数小时、数天甚至数周。大多数用于训练深度学习模型的软件框架都允许用户监控整体损失函数，并随着训练的进行保存中间解决方案(模型)。因此，训练过程生成大量的中间模型，并从这些模型中选择最佳模型以在部署的系统中实施。在图19A中，框1914表示用于由硬件执行以训练一个或多个检测器-神经网络模型的软件。训练过程生成多个检测器机器学习模型1916，在训练完成后，选择其中一个作为检测器神经网络，例如SSD CNN。在图19B中，框1948表示用于由硬件执行以训练一个或多个分类器神经网络模型(例如CNN)的软件。训练过程生成多个分类器机器学习模型1950，在训练完成后，选择其中一个作为分类器神经网络。

除了图像的训练集之外，大多数深度学习的从业者还将图像的验证集留作监控验证集上的损失之用。参考图20，通常，训练图像集上的损失(例如，训练损失)继续减少，但是在训练过程中的某个点上，图像验证集上的损失(例如，验证损失)达到平稳或开始上升。验证集上神经网络的性能对于选择训练的停止点以及为推理实现选择最终机器学习模型来说是至关重要的。

在典型的工作流程中，深度学习研究人员基于对训练损失、验证损失和验证准确性曲线的观察，选择这些中间机器学习模型之一。本公开描述了用于模型选择的方法的实施方案，其消除了模型选择过程的固有主观性。一个实施方案基于使验证集上的已知F1度量最大化来在中间机器学习模型中进行选择。F1度量由以下方程式定义：

(1)F

其中P是精确度(正预测值)，而R是召回率(敏感度)。在模型选择度量中包括精确度意味着要同时考虑阴性样本和阳性样本的性能。这对于诊断设备来说可能很重要，因为精确度是预测阳性结果时确定性的度量。

例如，关于胸腔积液，医学专家，例如肺科医师或其他医生，通常响应于他/她对胸腔积液严重性的评估而决定最合适的干预措施。因此，在一个实施方案中，由超声系统130(图8)实现的一个(或多个)神经网络被训练以使用无监督的机器学习方法来估计检测到的一个或多个胸腔积液的严重性。超声系统130的核心机器学习模型是使用专家(例如肺科医师或超声医师)针对肺特征和病理而精心标注的大量示例性超声图像(从超声视频中获取)进行训练的。这种标注的超声图像集合称为图像训练集。下面描述了训练机器学习模型的过程，但是这里要注意的是，超声图像的训练集至少在理想情况下包含大量的特征多样性，这通常提供产生良好的深度学习模型的训练。特别是，用于胸腔积液的训练图像集包含了具有一系列从轻度到重度的胸腔积液严重性的示例。在一个实施方案中，训练集中的胸腔积液的示例基于从其标注的边界框提取的属性值进行聚类。聚类属性可以包括但不限于以下：边界框的高度、边界框的宽度、边界框的面积、边界框的周长、边界框的长宽比、暗像素与总像素的比率，或其任何组合。

参考图19A，下面描述的是用于训练一个或多个检测器CNN(例如SSD CNN)以检测和分类一个或多个超声图像中的一个或多个特征的工作流程1900的实施方案。

首先，获取不同肺的相对大量的(例如，数百个、几千个)超声视频图像1902。例如，这种训练超声图像可以是从医学成像实验室获取的超声图像或超声视频的序列。

接下来，使用具有图像显示和图像标注功能的计算机系统1904，肺科医师(图19A中未示出)或其他专家(例如，放射科医师、超声医师)解释肺的超声图像1902，分析每个所述图像，以及使用计算机系统上运行的计算机应用程序手动绘制专家超声图像解释器检测到的每个特征(例如A线、B线)周围的训练边界框，以及用计算机应用程序标记/标注每个检测到的特征(例如，A线、B线、严重的胸腔积液)。例如，特征的标签/标注通常包括特征的类别(例如，A线、B线)。肺科医师行动的结果是标注的超声图像，也称为原始训练图像1906。换句话说，用于自动医学图像诊断的机器学习检测器模型的训练通常涉及为训练图像集建立“真值”(ground truth)。“真值”是指专家确定的在医学上认可的诊断。在超声肺图像和视频的情况下，专家可以是超声医师、肺病医师或其他医师或医学专家，其用针对特征的相应的“真值”为图像中的那些特征进行标注。计算系统1904可以将专家绘制的边界框转换为边界框的一个或多个点(例如，角)的相对坐标，例如笛卡尔坐标。

然后，在步骤1908中，训练系统，可能是计算机系统1904，对原始训练图像(标注的图像)1906进行增强，以增加训练图像的数量，而无需获取附加图像。也就是说，增强有效地允许生成许多最终训练图像，其数量明显大于人们从其生成最终训练图像1910的原始或未加工的训练图像的数量。卷积神经网络(CNN)模型的训练通常使用大量数据。用于增加训练集的大小和多样性的常规技术是基于真实训练数据的变换来生成人工训练数据。此过程通常称为增强。例如，人们可以从十个原始训练图像1906中生成一百个最终训练图像1910。因此，增强可以通过减少训练所需的原始训练图像的数量来减少获得原始训练图像1906的成本和工作量。例如，人们可以通过对每个原始训练图像进行滤波以使其模糊来增强一个或多个原始训练图像1906。用于增强一个或更多个原始训练图像1906的其他技术包括向图像添加噪声，改变图像的一个或多个像素的亮度，改变图像对比度，在图像平面中旋转图像，以及根据伪三维技术以随机或推敲(deliberate)的方式旋转图像。例如，在计算机系统1904上运行的增强软件可以向现有的原始训练图像1906添加噪声或其他伪随机伪影，以增加最终训练图像1910的池的多样性。每个增强的原始训练图像如上所述构成单独的最终训练图像1910。例如，原始获取和标注的训练图像1906可以以多种不同的方式增强，以从单个原始获取和标注的训练图像生成多个相应的最终训练图像1910。其他类型的图像增强变换包括图像翻转、随机图像裁剪、随机图像缩放、专家绘制的边界框的位置抖动和随机灰度对比度修改。适当的增强方案是高度依赖于域和目标的，因为所应用的变换被设计成保留目标特征的分类。也就是说，应用于肺超声图像的增强被设计成使得不改变肺特征或伪影的身份。因此，超声图像的增强通常避免竖直翻转图像，因为这可能使超声图像不现实。但是肺超声图像的水平翻转通常适合于增强。同样，用曲线换能器采集的超声图像通常可以安全地围绕极坐标系的原点旋转小角度。如果比例变换遵循图像中各种结构和伪影的相对尺寸，则适用于B线和其他特征的比例变换是合适的。例如，B线通常从胸膜线向下延伸到图像的最大深度，因此用于图像增强的比例变换应遵循此约束。缩小或加宽B线的缩放变换也适用，因为这通常不会更改B线的身份。

接下来，训练系统将增强的(最终)训练图像1910馈送到检测模型CNN训练器1914。在SSD CNN检测模型训练会话期间，如上所述，结合基于F1度量最大化的自动模型选择过程，生成了一系列持续改进的中间机器学习检测器模型1916。众所周知，SSD CNN中基础网络的权重可以设置为预训练值，以加速检测器模型训练过程。尽管这种预先训练的CNN权重通常不会在肺的超声图像上进行训练，但是与以未经加工的未训练的CNN权重开始相比，在其他类型的图像上进行训练可以显著减少在超声图像上训练检测器SSD CNN模型1916所花费的时间。

训练系统执行每个中间检测器模型1916，以将针对最终训练图像1910的CNN特征位置和一个(或多个)特征分类结果与同一最终训练图像的标注有效地进行比较。更详细地，在任何时候，SSD CNN是当前检测器模型1916。如下所述，在一个或多个最终图像1910的每次训练迭代之后，训练系统更新SSD CNN以生成新模型1916。对存储在存储器中的多个模型1916继续进行该操作，直到最新模型的误差率在合适的范围内。然后，人们选择最新模型1916中的一个作为要用于分析图像的最终SSD CNN的模型。

最初，对于来自多个最终训练图像1910的每个检测到的特征，相应的SSD CNN位置和分类结果可能与标注位置和分类(例如，由肺科医师或其他专家使用计算系统1904绘制的边界框以及由其指定的分类)显著不同。

在大量的最终训练图像1910方面以及在大量的训练迭代方面，并因此在由每个检测器SSD CNN模型1916得到的训练位置和分类结果与训练图像位置和分类标注之间的大量差异方面，训练计算机系统以减小位置和分类输出(例如，边界框和置信度值)与训练图像分类标注(例如，标注的最终训练图像1910的边界框和置信度值)之间的相应差异的方式更改SSD CNN 1916的参数(例如，神经网络模型的神经元间连接权重)，直到这些差异中的每个达到相应的最小误差率。然而，CNN不会随着学习而改变其结构。在神经学术语中，CNN中神经元的数量在训练期间不改变，并且神经元本身在训练期间不被修改；仅修改了由在神经元之间的突触所赋予的信号权重。学习改变权重以试图减少误差。但是，如下所述，除了最琐碎的问题之外，误差率通常永远不会达到零。

图20是根据一个实施方案，训练损失2002(纵坐标)相对于用于训练由超声系统130(图8)实现的检测器SSD CNN 1916的训练迭代次数(横坐标)，以及验证损失2004(纵坐标)相对于用于训练检测器SSD CNN的训练迭代次数(横坐标)的绘图2000。训练损失2002有效地是训练的SSD CNN 1916针对训练图像所得到的特征位置和特征分类的组合误差率，而验证损失2004有效地是训练的SSD CNN针对除训练图像以外的图像所得到的特征位置和特征分类的组合误差率。通常，对于沿横坐标的给定训练迭代次数，验证损失2004高于训练损失2002，因为SSD CNN 1916是用最终训练图像1910进行训练的，因此有效地为最终训练图像1910进行定制，而SSD CNN并未用验证图像进行训练，因此未针对验证图像进行定制。

参考图20，训练计算机系统(图20中未示出)可以在训练进行时绘制训练误差率或训练损失2002。通常，训练误差率2002开始时较高，然后下降，再然后或多或少趋于平稳(尽管在训练损失中仍然可能出现振荡，如绘图2000中显见)。训练的检测器SSD CNN 1916(图19A)在训练损耗曲线2002的平稳部分2006中达到其最小训练损失。

参考图19A和20，在一个实施方案中，作为训练的SSD CNN 1916的一部分或配备有该训练的SSD CNN 1916的工具(图19A和20中未示出)有效地将对SSD CNN的神经元间(突触)连接权重的改变从SSD CNN的一个(或多个)输出节点反向传播到SSD CNN的一个(或多个)输入节点，所述变化的平均幅度与一个(或多个)实际SSD CNN输出和SSD CNN应该为训练图像渲染的输出(即CNN输出的边界框位置和置信度值)之间的误差的幅度有关。

尽管在推理操作期间保留了SSD CNN的前向传播功能，但是超声系统130(图8)在SSD CNN 1916的推理(例如，非训练)操作期间有效地停用了误差反向传播工具。

仍参考图19A和20，在一个实施方案中，可以与超声系统130(图8)相同或不同的训练计算机系统计算每V次训练迭代的验证损失2004，其中V是人类训练师/用户可以选择的训练过程的超参数；例如，人们可以选择V＝1000。要获得验证损失2004，人们可以使用SSDCNN的最新训练模型来分析与训练图像不同的图像集。也就是说，验证图像以及与之相关的损失不用于训练SSD CNN 1916，而是用作关于SSD CNN将如何在非训练图像的图像“场”中执行的指示。通常，验证损失2004高于训练损失2002(如验证损失通常高于训练损失所证明的)，因为在训练期间，SSD CNN的神经元间连接权重的上述改变将导致SSD CNN 1916更好地分析最终训练图像1910，因此预期训练损失将低于验证损失，因为SSD CNN有效地针对训练图像进行定制。

除了验证损失2004外，SSD CNN训练工具还可以提供来自验证运行的额外统计信息，例如精确度P(也称为纯度或正预测值)，以及召回率R(也称为灵敏度)，如上文结合方程式(1)描述的。用于确定这些统计值的算法是常规的，因此在此不再详细描述。

参考图19A和20，尽管将SSD CNN 1916描述为单个CNN，但是SSD CNN可以至少有效地是检测器CNN和分类器CNN的组合，并且检测器CNN和分类器CNN的训练损失可以是以常规方式进行数学组合以得到组合的训练损失2002；类似地，检测器CNN和分类器CNN的验证损失可以以常规方式进行数学组合，以得到组合的验证损失2004。例如，在基于SSD的架构(例如SSD CNN 1916)的情况下，通常存在CNN基础网络，其用作分类和定位子分支的特征提取器。SSD CNN将小型卷积滤波器(检测滤波器)应用于基本特征提取器的输出特征图，以预测对象类别得分和边界框偏移量。卷积滤波器应用于多个空间比例的特征图以能够检测各种大小的对象。例如，在一个实施方案中，特征提取器是SSD CNN(例如，单类别或多类别SSDCNN)的相应前端部分，检测和分类网络是同一SSD CNN的相应后端检测部分，以及整个SSDCNN架构都在最终训练图像帧(例如最终训练图像1910)上进行训练，如上文结合图19A和20所述。

参考图19B，下面描述的是用于训练一个或多个分类器CNN[例如用于在超声图像序列(例如，在超声视频中)，或在一个或多个M模式图像中，对肺滑动进行分类的CNN]的工作流程1940的实施方案。图19A和19B共有的组件用相同的附图标记进行标记。

首先，获取相对大量(例如，数百个、几千个)的不同肺的超声视频1902。例如，这种训练超声视频是相应肺的按时间序列的超声图像，并且可以从医学成像实验室获取。

接下来，使用具有图像显示和图像标注能力的计算机系统1904，肺科医师(图19B中未示出)或其他专家(例如，放射科医师、超声医师)解释肺的超声图像1902，分析每个所述图像，并使用计算机应用程序，标注每个视频，以指示该视频是否指示肺滑动。肺科医师的动作结果是标注的超声波视频，也称为原始训练视频1906。换句话说，用于自动医学视频诊断的机器学习分类器模型的训练通常涉及为一组训练视频建立“真值”。“真值”是指由专家确定的医学认可的诊断。在超声肺视频的情况下，专家可以是超声医师、肺科医师或其他医师或医学专家，其用针对肺滑动的相应“真值”在视频中对肺滑动进行标注。

然后，在步骤1908中，训练系统(可能是计算机系统1904)增强原始训练视频(标注的视频)1906，以增加训练视频的数量而无需获取附加视频。也就是说，增强有效地允许生成多个最终训练视频1910，其数量明显大于人们从其生成最终训练视频1910的原始或未经加工的训练视频的数量。卷积神经网络(CNN)模型的训练通常使用大量数据。用于增加训练集的大小和多样性的常规技术是基于真实训练数据的变换来生成人工训练数据的。此过程通常称为增强。例如，人们可以从十个原始训练视频1906生成一百个最终训练视频1910。因此，增强可以通过减少训练所需的原始训练视频的数量来减少获得原始训练视频1906的成本和工作量。例如，人们可以通过对每个原始训练视频进行滤波以使其模糊来增强一个或多个原始训练视频1906。用于增强一个或多个原始训练视频1906的其他技术包括向形成视频的一个或多个图像添加噪声，改变形成视频的一个或多个图像的一个或多个像素的亮度，改变形成视频的一个或多个图像的对比度，在图像平面中旋转形成视频的一个或多个图像，以及根据伪三维技术以随机或推敲的方式旋转形成视频的一个或多个图像。例如，在计算机系统1904上运行的增强软件可以向现有的原始训练视频1906添加噪声或其他伪随机伪影，以增加最终训练视频1910的多样性。如上所述，每个增强的原始训练视频构成单独的最终训练视频1910。例如，原始获取和标注的训练视频1906可以以多种不同的方式增强，以从单个原始获取和标注的训练视频生成多个相应的最终训练视频1910。其他类型的视频增强变换包括图像翻转、随机图像裁剪、随机图像缩放和随机灰度对比度修改。适当的增强方案是高度依赖于域和目标的，因为所应用的变换被设计成保留目标特征的分类。也就是说，应用于肺超声视频的增强被设计成不改变肺特征或伪影的身份。因此，超声视频的增强通常避免竖直翻转视频的图像，因为这可能使超声视频变得不现实。然而，肺超声视频的图像的水平翻转通常适合于增强。同样，形成用曲线换能器采集的超声视频的图像通常可以安全地围绕极坐标系的原点旋转小角度。如果比例变换遵循形成视频的图像中各种结构和伪影的相对尺寸，则适用于胸膜线和其他特征的比例变换是合适的。例如，缩小或加宽胸膜线的缩放变换是合适的，因为这通常不会改变胸膜线的身份。

接下来，在步骤1944中，训练系统将最终超声视频1910转换为最终超声M模式训练图像1946。

然后，训练系统将最终M模式训练图像1946馈送到分类器模型CNN训练器1948。在CNN分类器模型训练会话期间，如上文所述结合基于F1度量最大化的自动模型选择过程，生成一系列持续改进的中间机器学习分类器模型1950。众所周知，可以将分类器CNN的权重设置为预训练值，以加速CNN分类器模型训练过程。尽管通常不会在肺的超声视频或M模式图像上训练此类预先训练的CNN权重，但是与以未经加工的未训练的CNN权重开始相比，在其他类型的图像或视频上进行训练仍可以显著减少在超声M模式图像上训练相应分类器CNN所花费的时间。

训练系统依次执行每个中间分类器模型1950，以有效地将针对最终训练M模式图像1946的CNN分类结果与同一最终训练M模式图像的标注进行比较。更详细地，在任何时候，分类器CNN是当前检测器模型1950。如下所述，在一个或多个最终M模式图像1946的每次训练迭代之后，训练系统更新分类器CNN以生成新的模型1950。对于存储在存储器中的多个模型1950继续该操作，直到最新模型的误差率在合适的范围内。然后，人们选择最新模型1950中的一个作为要用于分析图像的最终分类器CNN的模型。

最初，对于多个最终训练M模式图像1946中的每个，肺滑动的相应分类器CNN分类结果可能与由肺科医师或其他专家使用计算系统1904指示的标注分类(例如，M模式图像指示肺滑动的置信度值)显著不同。

在大量的最终训练M模式图像1946方面以及在大量的训练迭代方面，并因此在由每个分类器CNN模型1950得到的训练分类结果与训练图像分类标注之间的大量差异方面，训练计算机系统以减少分类输出(例如，置信度值)与训练图像分类标注(例如，标注的最终训练M模式图像1946的置信度值)之间的相应差异的方式来更改分类器CNN模型1950的参数(例如，神经网络模型的神经元间连接权重)，直到这些差异中的每个达到相应的最小误差率。然而，CNN不会随着学习而改变其结构。在神经学术语中，CNN中神经元的数量在训练期间不改变，并且神经元本身在训练期间不被修改；仅修改了由在神经元之间的突触所赋予的信号权重。学习改变权重以试图减少误差。但是，如下所述，除了最琐碎的问题之外，误差率通常永远不会达到零。

如上所述，图20是训练损失2002(纵坐标)相对于用于训练由超声系统130(图8)实现的检测器SSD CNN模型1916(图19A)的训练迭代次数(横坐标)，以及验证损失2004(纵坐标)相对于用于训练检测器SSD CNN的训练迭代次数(横坐标)的绘图2000。

但是，由于分类器CNN模型1950的训练损失和验证损失具有与SSD CNN模型1916的训练损失和验证损失大致相同的曲线形状(在绘制时)和特性，因此，为了示例的目的，假设分类器CNN模型显示训练损失2002和验证损失2004。

参考图19B和20，训练计算机系统(图19B和20中未示出)可以随着训练的进行绘制训练误差率或训练损失2002。通常，训练误差率2002开始时较高，然后下降，再然后或多或少趋于平稳(尽管在训练损失中仍然可能出现振荡，如绘图2000中显见)。训练的分类器CNN在训练损失曲线2002的平稳部分2006中获得了最小的训练损失。

参考图19B和20，在一个实施方案中，作为训练的分类器CNN模型1950的一部分或配备有该训练的分类器CNN模型1950的工具(图19B和20中未示出)有效地将对分类器CNN的神经元间(突触)连接权重的改变从分类器CNN的一个(或多个)输出节点反向传播到分类器CNN的一个(或多个)输入节点，所述变化的平均幅度与一个(或多个)实际分类器CNN输出和分类器CNN应该为训练M模式图像1946渲染的输出(即分类器CNN输出的置信度值)之间的误差的幅度有关。

尽管分类器CNN的前向传播功能在推理操作期间得以保留，但超声系统130(图8)在分类器CNN的推理(例如非训练)操作期间有效地停用了误差反向传播工具。

仍参考图19B和20，在一个实施方案中，可以与超声系统130(图8)相同或不同的训练计算机系统计算每V次训练迭代的验证损失2004，其中V是人类训练师/用户可以选择的训练过程的超参数；例如，人们可以选择V＝1000。要获得验证损失2004，人们可以使用分类器CNN的最新训练模型1950来分析与训练M模式图像1946不同的M模式图像集。也就是说，验证图像以及与之相关的损失不用于训练分类器CNN，而是用作关于分类器CNN将如何在非M模式图像的M模式图像“场”中执行的指示。通常，验证损失2004高于训练损失2002(如验证损失通常高于训练损失所证明的)，因为在训练期间，分类器CNN的神经元间连接权重的上述改变将导致分类器CNN模型1950更好地分析最终M模式训练图像1946，因此预期训练损失将低于验证损失，因为分类器CNN有效地针对训练M模式图像进行定制。

除了验证损失2004外，分类器CNN训练工具还可以提供来自验证运行的额外统计信息，例如精确度P(也称为纯度或正预测值)，以及召回率R(也称为灵敏度)，如上文结合方程式(1)描述的。用于确定这些统计值的算法是常规的，因此在此不再详细描述。

再次参考图9，步骤220，并参考图19A至20，在一个实施方案中，在M模式最终训练图像1946上对肺滑动分类器CNN进行训练，同时在一个(或多个)SSD CNN的最终图像1910上对肺滑动以外的特征进行训练；M模式的最终训练图像通常不同于检测和分类例如其他特征(例如A线、B线、胸膜线、实变和胸腔积液)的SSD CNN架构的最终训练图像。

肺滑动CNN和一个(或多个)肺特征检测器SSD CNN的训练不一定同时发生，并且如上所述，不需要以相同的最终训练图像进行。

肺滑动分类器CNN以及一个或多个检测器和分类器SSD CNN的训练和验证可能要花费大量时间，例如数小时、数天，甚至一或多个星期，具体取决于所用的最终训练图像1910和1946的数量，以及被认为适合于训练肺滑动分类器CNN和一个或多个检测器和分类器SSD CNN的应用的训练损失2002和验证损失2004的水平。

一旦训练误差率(例如，训练损失2002和验证损失2004)趋于平稳，则在训练迭代之间在训练误差率方面变化(也称为振荡)较小。

因此，在选择哪个确切的一个(或多个)CNN版本/模型来用于在推理期间分析图像以及检测和分类特征方面，人们通常具有许多选择。也就是说，每次训练迭代都会得到一个CNN版本/模型，其通常与所有其他CNN版本/模型略有不同，即使这些CNN版本/模型都可能得到可比较的训练损失2002和验证损失2004。

因此，在一个实施方案中，可以使用常规算法来为肺滑动分类器CNN以及一个(或多个)特征检测器和分类器SSD CNN选择相应合适的CNN版本/模型。

例如，在一个实施方案中，常规的F1选择算法用于从给出近似最小误差的版本/模型中选择用于一个(或多个)SSD CNN和分类器CNN的CNN版本/模型，其中F1度量由以下方程式定义，该方程式与上面的方程式(1)相同：、

(2)F1＝2·P·R/(P+R)

其中P是精确度，以及R为召回值，如下文所阐释的。

对于SSD CNN，针对超声系统130(图8)被配置为检测的每个特征(例如，A线、B线、胸膜线、实变和胸腔积液)，计算相应的F1度量，常规地组合这些相应的F1度量，并且响应于所得到的F1度量的组合来选择相应的SSD CNN版本/模型(分别选择用于分类肺滑动的分类器CNN版本/模型)。

对针对待检测特征的相应F1度量进行组合，允许人们在重要性方面对不同的待检测特征进行加权，使得在重加权特征上较准确的SSD CNN版本优于在重加权特征上较不准确的SSD CNN版本，即使后一SSD CNN版本在轻权重特征上较准确。

例如，在一个实施方案中，对胸腔积液和实变的准确检测和识别的加权与对诸如A线、B线和胸膜线之类的其他特征的检测和识别相比较重，这是因为医学界的许多人都考虑到了前一特征以指示更严重的肺病症。

使用常规的F1度量可以在关于阳像的良好灵敏度(对实际上包括诸如B线之类的特定特征的图像中的该特定特征进行准确检测和分类)与关于阴像的良好的假阳性率(对缺乏诸如B线之类的特定特征的图像中的该特定特征不进行错误的检测/分类)之间取得良好的平衡。也就是说，人们通常希望选择一种SSD CNN模型，该模型在图像中存在特征的情况下善于检测和分类该特征，并且在图像中缺少特征的情况下善于对该特征不进行错误的检测和错误的分类。

针对SSD CNN被训练以检测和分类的每个特征应用常规F1度量，允许人们选择SSDCNN版本/模型，该版本/模型根据以下方程式为特征/对象提供不同的灵敏度和假阳性拒绝权重：

(3)总_权重_F1＝[(W

根据方程式(3)，权重W

例如，在一个实施方案中，选择根据以下方程式给出总加权F1的最大值的检测器训练模型作为SSD CNN的模型，以“在场”使用：

(4)总加权F1＝(2·F1

方程式(4)强调了以2比1的比率对胸膜线、A线、B线和合并B线进行实变和胸腔积液检测的准确度，因为一些医学专家已经指出这种加权强调与不太严重的病症相比对威胁生命的病症进行检测和分类。当然，其他实施方案也可以使用其他权重值。

因为肺滑动分类器CNN被训练成仅对肺滑动进行分类，所以人们可以决定选择得到最低训练损失或验证损失的分类器模型1950，而不是使用上述加权F1技术。

图21是根据一个实施方案的诸如SSD CNN之类的CNN 2100的总体图。圆形项表示神经元2102，其作为或表示各自将对神经元的输入组合以生成一个或多个输出的固定算法，以及在一层中的神经元的输出与下一层中的一个或多个神经元的相应输入之间的连接线2104表示突触，其是具有可训练系数的方程式，对来自一层中的神经元的输出/结果进行运算并为下一层中的神经元提供新的输出/结果。CNN 2100在逻辑上分层布置：输入层2106，一个或多个中间或隐藏层2108和输出层2110。每一层中神经元2102的数量可以逐层不同，但是固定的，这是因为每个层中的神经元的数量不响应于训练而变化，并且在CNN每一层处从输入(图21中的左侧)到输出(图21中的右侧)的操作都同时执行(至少在概念上)。此外，从输出层2110到输入层2106的连接线2112可以对向输入层的相应输入和来自输出层的输出进行加权；也就是说，权重是向输入层输入的信号和来自输出层的输出分别乘以的系数。至少在概念上，在时间t

仍参考图21，如上所讨论，在一个实施方案中，肺滑动分类器(见图9和16的步骤220)是常规分类器CNN，其被配置为处理具有多个卷积层的输入超声图像，然后进行非线性运算。每层的输出是一个多通道特征图。CNN的连续层从该图像中逐渐提取出更大，更抽象的特征。后续的特征图对它们检测到的特征的较小空间变换也不太敏感，其中空间变换包括平移、强度变化或变形。分类器CNN的最后几层是进行分类的地方。这些通常是完全连接的(FC)层。如下所述，在使用分类器CNN作为SSD CNN的前端(基础网络)之前，移除最后这几层。

为了进行以下讨论，其中将SSD CNN用于图像中的特征检测和分类，SSD CNN的每个卷积层都对应于图像的特征图，并且一层中的神经元的每个平面都可以称为特征图的通道。根据上文，每层都可以具有任意数量的神经元平面，并因此可以具有任意数量的通道。

图22是根据一个实施方案的多类别SSD CNN 2200的图。如上所述，多类别SSD CNN2200被配置为既检测特征又对检测到的特征进行分类。

在SSD CNN 2200的操作的实施方案中，向SSD CNN 2200的输入是超声图像/帧2202。SSD CNN 2200的前提是图像2202可以包括SSD CNN被训练或以其他方式配置以检测和分类的任何数量的特征(在图22中未示出)，并且每个特征可以具有任何比例和任何纵横比。尽管特征可以具有任意形状，但是SSD CNN 2200输出包含该特征的最小尺寸的矩形(例如，图22中未示出的边界框)。例如，如果检测到的特征是一个完美的圆，那么SSD CNN 2200将通过定义最小尺寸的矩形来识别检测到的特征，在这种情况下为正方形，其边各自与沿圆的圆周的相应点相切，使得该正方形是可以包含整个圆的最小可能的矩形。SSD CNN2200还输出C分数，该C分数指示检测到的特征属于其已被训练或通过其他方式配置为检测和分类的类别之一的概率，其中C是SSD CNN 2200已被训练或以其他方式配置为检测的类别的数量。

SSD CNN 2200建立在常规图像分类网络的顶部，尽管常规CNN移除了其图像分类层(根据上文，其可以是完全连接的层)。这种截断的图像分类CNN被称为“基础网络”，并且基础网络可以具有任何合适的CNN架构，例如但不限于AlexNet、VGG、Inception或Residual。SSD CNN 2200在基础网络CNN的末端包括一个或多个附加卷积层。这些附加层被训练或以其他方式配置为执行SSD CNN 2200中的特征检测和特征分类操作，并且被称为“预测器卷积层”或“预测器层”。

参考图23，预测器卷积层被配置为以逐渐不同的尺寸，即以逐渐不同的分辨率来产生一个或多个特征图2302(图23中仅示出了一个特征图)，并且这允许SSD CNN 2200(图22)检测多个空间尺度上的特征。例如，在一个实施方案中，第一预测器层以及因此第一特征图可以具有38×38网格单元2304的特征图分辨率，下一个预测器层可以具有19×19网格单元的分辨率，下一个预测器层可以具有10×10网格单元的分辨率，下一个预测器层可以具有5×5网格单元的分辨率，下一个预测器层可以具有3×3网格单元的分辨率(这是图23中所示的预测器层)，并且最后一个或多个预测器层可以具有1×1网格单元的分辨率(为清楚起见，图23包括具有3x3网格单元的分辨率的特征图2302，理解的是，图22的SSD CNN2200可以生成各自具有所述的相应分辨率的一个以上的特征图)。

参考图22至23，更详细地，在一个实施方案中，诸如特征图2302之类的特征图的每个通道实际上是整个超声图像2202的伪版本。人们可以将每个通道视为相应分辨率的图像的相应滤波版本。SSD CNN 2200通过对图像2202的对应区域中的像素进行向下采样和滤波来有效地生成特征图2302的每个网格单元2304，尽管实际上，SSD CNN通过对前一层的特征图的单元进行向下采样来有效地生成一层中的特征图的网格单元。例如，如果特征图2302的网格单元2304表示超声图像2202的面积的1/100×1/100的对应图像区域，则SSD CNN2200通过对超声图像的相同1/100x 1/100区域中(例如，构成该区域)的像素进行有效的向下采样而得出与网格单元相关联的值(例如，伪影素)。

进一步如图23所示，人们可以将与SSD CNN 2200(图22)的层相关联的特征图通道作为堆栈，或者作为二维超声图像2202(图22)的三维表示查看。

仍参考图22至23，在所考虑的示例性实施方案中，38×38网格单元特征图被调谐到超声图像2202中的最小特征，这是因为该网格单元在特征图之中具有最高的分辨率。19×19网格单元特征图被调谐以检测特征，其比例是38×38特征图的两倍，依此类推。最终，1×1特征图被调谐以检测填充整个超声图像2202的特征；因此，1×1特征图表示SSD CNN2200被训练或以其他方式配置为检测特征的最大比例。

特征图通道的这些堆栈在图22中示出为标有“CNN特征图1”、“CNN特征图2”……CNN特征图N的立方框，随着N的值增加(例如，随着人们在图22中从左向右移动)，其图分辨率逐渐降低并因此相关联的空间比例逐渐增大。

并且，图23实际上是图22中的立方框之一的扩展图。

再次参考图22至23，在特征图(例如特征图2302)的每个通道中，在每个网格单元2304处，在每个比例上，存在与相应的纵横比α

再次参考图23，对于每个特征图2302，小的(例如3×3)卷积内核2308(该内核的尺寸不受SSD CNN的相应层的影响，并且可以与其他内核的尺寸相同或不同)应用于特征图，以产生分类分数(例如，检测到的特征属于特定类别的概率)或相对于默认边界框2306的坐标的相对偏移量。考虑每个默认边界框2306以其特征图的位置为中心，并具有与特征图的比例成比例的大小；相对偏移量表示SSD CNN 2200为某特征确定的实际边界框的中心偏离默认边界框的中心的距离以及实际边界的宽度和高度偏离默认边界框的宽度和高度的量。

作为出于具体性的目的且不对本公开内容的范围进行任何暗示的限制而给出的示例，假设(m＝19)×(n＝19)特征图2302具有361(19×19)个网格单元。在通过三个卷积层(每个具有256个内核)的序列进行处理之前，每个单元变换为各种纵横比

由SSD CNN 2200应用内核的结果是(m＝19)×(n＝19)×(k＝5)＝1,805个所得的(C+4)-向量(例如，1,804个长度为C+4的向量)，则特征图2302的每个网格单元2304的每个纵横比边界框2306(注意这不是每个特征图通道)具有一个向量。

因子(C+4)的解释如下。CNN层将纵横比边界框(其有效地定义了检测到的特征)映射为C(置信度值)+4(位置偏移量)。每个置信度得分是介于0和1之间的值。作为学习过程的一部分，预测的置信度值将与放射专家(或其他专家)提供的实际类别标签相匹配。位置偏移量(Δx、Δy、Δ宽度、Δ高度：这些相对偏移量可以同时具有正值和负值)为分类的对象提供归一化坐标。

上述内核的应用将产生1,805个潜在特征检测值。

如上所述，相同的算法模式以所有不同的比例应用于所有特征图。也就是说，重复上述算法序列，直到所得的(C+4)向量(在每个单元中每个纵横比边界框一个向量)由SSDCNN 2200针对诸如特征图2302之类的每个特征图生成或从该SSD CNN 2200中输出。由于每个特征图表示超声图像2202的不同分辨率并因此表示不同的比例，特征图网格单元2304的数量并因此所得的向量的数量在特征图之间不同。

参考图22，根据一个实施方案，响应于SSD CNN 2200针对每个默认边界框生成C+4个卷积内核2308(图23)，在步骤2204中，超声系统130(图8)确定在检测和分类的特征中是否存在冗余。也就是说，多个特征检测实际上可以对应于同一特征。超声系统130通过应用非最大抑制算法(如以上结合图18所描述的算法)来做出该确定，以确定在所确定的边界框的空间上接近的群组中所确定的精确边界框中的哪一个最有可能代表检测到的特征。例如，超声系统130可以选择在局部空间区域(例如，如上结合图18所述的置信度图的“山坡”)中具有最高置信度值(例如，峰值)的检测到的特征之一，与包围/定义实际检测到的特征的边界框相关联。

根据一个实施方案，上述步骤2204(其中分类的特征被“精简”以消除冗余)是最后的分析步骤，其由超声系统130(图8)结合SSD CNN 2200执行以对超声图像2202中的预定特征(例如，A线、B线、胸膜线、实变和胸腔积液)进行检测和分类。

在执行SSD CNN 2200和非最大抑制算法之后，超声系统130(图8)的最终输出2206是对一个(或多个)检测到的特征进行分类的C+4向量。这些最终输出2206可以输入到一种算法中，该算法例如对超声图像2202所代表的肺的一种或多种病症或病理进行诊断。

参考图19和22，在训练SSD CNN 2200时，将最终输出的C+4向量与对应于训练图像中的一个(或多个)已知特征的已知的真实C+4向量进行有效比较。

如上所述，对于每个训练图像，诸如肺科医师之类的专家通过在每个特征周围绘制精确框来识别训练图像中的特征，并对特征进行分类。例如，如果专家确定特征是B线，则标注系统将B线的训练置信度值设置为“1”，并针对特定的边界框将所有其他置信度值设置为“0”。标注系统还记录由一个(或多个)专家为所有特征绘制的训练边界框的精确位置和尺寸。

此后，在训练期间，SSD CNN 2200得到针对相同特征的其边界框和置信度值版本。确定训练边界框与得到的边界框之间的差异，以及每个训练置信度值与得到的置信度值之间的差异(通过训练系统执行与SSD CNN分开的算法，或执行作为SSD CNN的一部分或对应于SSD CNN的或与SSD CNN一起的工具来进行所述确定)，并且训练系统从这些差异中得出一个或多个损失值。

响应于所确定的一个或多个损失值，执行训练算法的训练系统确定对SSD CNN2200实现的权重(突触)的“调整”(tweak)量。例如，如果损失很小，则训练系统仅会稍微调整CNN权重；但是如果损失很大，则训练系统可更明显地调整SSD CNN的权重。

“调整”的目的或目标是使SSD CNN 2200误差收敛到最小值，而不会使误差在CNN模型之间有效地“振荡”。因此，这类似于负反馈，在负反馈中，人们控制增益以允许信号(此处为误差)稳定到最终值而不会有诸如“振铃”或振荡之类的不稳定性。

在SSD CNN 2200误差率收敛到最低值之后，如上所述结合方程式(1)至(4)，使用F1算法为SSD CNN选择CNN模型。

图24是根据一个实施方案的超声系统2400的图，其可类似于图8的超声系统130。

超声系统2400包括换能器2402、超声机器2404、计算机2406、图像和视频显示器2408以及诸如打印机2410之类的输出设备。

换能器2402是常规的线性或曲线超声换能器。并且，人们可能能够根据成像的对象身体的区域(图24中未示出)将一种类型的换能器2402换成另一种类型的换能器。

超声机器2404是常规超声机器，其被配置为驱动换能器2402以生成超声信号以传输到对象的身体组织中(图24中未示出)，并且用于处理由换能器接收的重定向的超声信号。

计算机2406被配置为执行如上所述的特征检测和分类；尽管示出为与超声机器2404分离，但是计算机可以是超声机器的一部分，或者超声机器可以是计算机的一部分。例如，超声机器2404和计算机器2406可以共享电路，例如微处理器、微控制器或图形处理器单元(GPU)，并且可以设置在共有壳体内。替代地，计算机器2406可以是单独的机器，例如平板计算机、膝上型计算机或其他便携式计算机，其可按常规方式(例如无线方式)或利用通用串行总线(USB)电缆或类别(CAT)5或CAT 6电缆耦合。计算机2406包括处理电路，例如一个或多个微处理器或微控制器、被配置为存储软件和配置数据的非易失性存储器电路(例如EEPROM)，例如固件、易失性或工作存储电路，以及其他常规电路和组件。

实施例1包括一种方法，所述方法包括：接收身体部位的图像，使用神经网络检测所述图像中的至少一个特征，以及使用所述神经网络确定检测到的每个所述至少一个特征的相应位置和相应类别。

实施例2包括实施例1的方法，其中，所述身体部位的所述图像包括肺的图像。

实施例3包括实施例1至2中任何一项的方法，其中，所述神经网络包括卷积神经网络。

实施例4包括实施例1至3中任何一项的方法，其中，所述神经网络包括单步检测器卷积神经网络。

实施例5包括实施例1至4中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定界定检测到的所述特征的相应容器。

实施例6包括实施例1至5中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定其中布置有所述特征的相应边界框。

实施例7包括实施例1至6中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定其中布置有该特征的相应边界框的坐标。

实施例8包括实施例1至7中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定其中布置有该特征的相应边界框的大小。

实施例9包括实施例1至8中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定所述特征属于所述相应类别的相应概率。

实施例10包括实施例1至9中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定所述特征属于所述相应类别的相应置信水平。

实施例11包括实施例1至10中任一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括：确定所述特征属于所述相应类别的相应概率；以及响应于所述相应概率大于所述相应类别的阈值，确定所述特征属于所述相应类别。

实施例12包括实施例1至11中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括：确定检测到的所述至少一个特征属于相应类别的概率；以及确定所述特征属于所述相应类别中的对应于所述概率中最高概率的一个类别。

实施例13包括实施例1至12中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括A线。

实施例14包括实施例1至13中的任一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括胸膜线。

实施例15包括实施例1至14中任一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括胸腔积液。

实施例16包括实施例1至15中任一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括B线。

实施例17包括实施例1至16中的任一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括合并B线。

实施例18包括实施例1至17中的任一项的方法，还包括：用所述神经网络检测所述身体部位的所述图像和至少一个其他图像的多个图像的每个中的至少一个相应特征；用所述神经网络确定检测到的每个所述至少一个相应特征是相应的检测到的B线，以及检测到的每个所述B线的相应位置；响应于所述检测到的B线的相应位置，将所述检测到的B线分组为至少一个聚类，每个聚类对应于相应的实际B线；以及响应于所述至少一个聚类中的相应一个聚类，用所述神经网络确定每个实际B线的相应位置。

实施例19包括实施例1至18中任一项的方法，还包括：用所述神经网络检测所述身体部位的所述图像和至少一个其他图像的多个图像的每个中的至少一个相应特征；用所述神经网络确定检测到的每个所述至少一个相应特征属于同一类别，以及检测到的每个所述至少一个相应特征的相应位置；响应于检测到的所述特征的相应位置，将检测到的所述特征分为至少一个聚类，每个聚类对应于相应的实际特征；以及响应于所述至少一个聚类中的相应一个聚类，用所述神经网络确定每个实际特征的相应位置。

实施例20包括实施例1至19中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括实变。

实施例21包括实施例1至20中任何一项的方法，还包括：其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括胸腔积液；以及确定所述胸腔积液的严重性。

实施例22包括实施例1至21中任何一项的方法，还包括：其中，所述身体部位的所述图像包括肺的图像；以及响应于检测到的每个所述至少一个特征的确定的所述相应类别来诊断所述肺的病理。

实施例23包括实施例1至22中任何一项的方法，还包括：其中，所述身体部位的所述图像包括肺的图像；以及响应于检测到的每个所述至少一个特征的确定的所述相应位置和所述相应类别来诊断所述肺的病理。

实施例24包括一种方法，其包括：接收身体部位的图像；以及使用分类器神经网络确定所述图像包含属于特定类别的特征的概率。

实施例25包括实施例24的方法，其中，所述特定类别是肺滑动。

实施例26包括实施例24至25中任何一项的方法，还包括响应于所述概率大于或等于阈值，确定所述图像包括属于所述特定类别的特征。

实施例27包括一种方法，其包括：用神经网络的相应输入通道接收身体部位的图像和所述图像的至少一个修改版本中的每个；用所述神经网络，响应于所述图像和所述图像的所述至少一个修改版本而检测所述图像中的至少一个特征；用所述神经网络，确定响应于所述图像和所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的相应位置和相应类别。

实施例28包括实施例27的方法，还包括响应于所述身体部位的所述图像，生成所述图像的所述至少一个修改版本。

实施例29包括实施例27至28中任一项的方法，其中，所述身体部位的所述图像包括肺的图像。

实施例30包括实施例27至29中任何一项的方法，其中，生成所述图像的所述至少一个修改版本包括生成所述图像的至少一个滤波版本。

实施例31包括实施例27至30中任何一项的方法，其中，所述神经网络包括卷积神经网络。

实施例32包括实施例27至31中任何一项的方法，其中，所述神经网络包括单步检测器卷积神经网络。

实施例33包括实施例27至32中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定界定检测到的所述特征的相应容器。

实施例34包括实施例27至33中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定其中布置有所述特征的相应边界框。

实施例35包括实施例27至34中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定其中布置有所述特征的相应边界框的坐标。

实施例36包括实施例27至35中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应位置包括确定其中布置有所述特征的相应边界框的大小。

实施例37包括实施例27至36中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定所述特征属于所述相应类别的相应概率。

实施例38包括实施例27至37中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定所述特征属于所述相应类别的相应置信水平。

实施例39包括实施例27至38中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括：确定所述特征属于所述相应类别的相应概率；以及响应于所述相应概率大于所述相应类别的阈值，确定所述特征属于所述相应类别。

实施例40包括实施例27至39中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括：确定检测到的所述至少一个特征属于相应类别的概率；以及确定所述特征属于所述相应类别中的对应于所述概率中最高概率的一个类别。

实施例41包括实施例27至40中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括A线。

实施例42包括实施例27至41中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括胸膜线。

实施例43包括实施例27至42中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括胸腔积液。

实施例44包括实施例27至43中的任一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括B线。

实施例45包括实施例27至44中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括合并B线。

实施例46包括实施例27至45中任何一项的方法，其中，确定检测到的每个所述至少一个特征的相应类别包括确定检测到的所述至少一个特征中的至少一个包括实变。

实施例47包括实施例27至46中任何一项的方法，还包括：其中，确定检测到的每个所述至少一个特征的相应类别包括：确定检测到的所述至少一个特征中的至少一个包括胸腔积液；以及确定所述胸腔积液的严重性。

实施例48包括实施例27至47中任一项的方法，进一步包括：其中，所述身体部位的所述图像包括肺的图像；以及响应于检测到的每个所述至少一个特征的确定的所述相应类别来诊断所述肺的病理。

实施例49包括实施例27至48中任何一项的方法，还包括：其中，所述身体部位的所述图像包括肺的图像；以及响应于检测到的每个所述至少一个特征的确定的所述相应位置和所述相应类别来诊断所述肺的病理。

实施例50包括一种方法，其包括：用神经网络检测身体部位的图像中的至少一个特征，所述神经网络被配置为在所述图像中检测属于一个类别的至少一个特征；以及对于检测到的每个所述至少一个特征，用所述神经网络确定检测到的所述至少一个特征中的一个相应特征属于所述类别的相应位置和相应置信水平。

实施例51包括实施例50的方法，还包括响应于所述图像检测至少一个特征并确定相应位置和相应置信水平。

实施例52包括实施例50至51中任何一项的方法，还包括对于检测到的每个所述至少一个特征，用所述神经网络确定所述至少一个特征中的一个相应特征属于一个或多个其他类别的相应一个或多个置信水平。

实施例53包括实施例50至52中任何一项的方法，还包括：其中，检测包括用所述神经网络，响应于所述图像的至少一个修改版本而检测所述图像中的所述至少一个特征；以及其中，确定包括用所述神经网络，确定响应于所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的所述相应位置和所述相应置信水平。

实施例54包括实施例50至53中任何一项的方法，还包括：其中，检测包括用所述神经网络，响应于所述图像和所述图像的至少一个修改版本而检测所述图像中的所述至少一个特征；以及其中，确定包括用所述神经网络，确定响应于所述图像和所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的所述相应位置和所述相应置信水平。

实施例55包括一种方法，其包括：从至少一个第一训练图像中的每个生成至少一个第二训练图像；用神经网络确定所述至少一个第一训练图像和所述至少一个第二训练图像的至少一个中的至少一个特征中的每个属于一个特征类别的相应概率；对于检测到的每个所述至少一个特征，确定所确定的所述相应概率与对应的标注概率之间的概率差；以及响应于所述概率差，改变所述神经网络的至少一个突触中的每个的相应权重。

实施例56包括实施例55的方法，其中，生成包括通过将噪声添加到所述至少一个第一训练图像中的一个来生成至少一个第二训练图像。

实施例57包括实施例55至56中任何一项的方法，其中，生成包括通过改变所述至少一个第一训练图像中的一个的至少一个像素的相应亮度来生成至少一个第二训练图像。

实施例58包括实施例55至57中任何一项的方法，其中，生成包括通过改变所述至少一个第一训练图像中的一个的相应对比度来生成至少一个第二训练图像。

实施例59包括实施例55至58中任何一项的方法，其中，生成包括通过旋转所述至少一个第一训练图像中的一个来生成至少一个第二训练图像。

实施例60包括实施例55至59中任何一项的方法，其中，生成包括通过将至少一个伪影添加到所述至少一个第一训练图像中的一个来生成至少一个第二训练图像。

实施例61包括实施例55至60中任何一项的方法，还包括：用所述神经网络检测每个所述至少一个特征；确定检测到的每个所述至少一个特征的相应位置；为检测到的每个所述至少一个特征确定所确定的所述相应位置与对应的标注位置之间的位置差；以及其中，改变所述神经网络的至少一个突触中的每个的相应权重包括响应于所述位置差而改变所述相应权重。

实施例62包括实施例55至61中任何一项的方法，还包括：将至少一个迭代的确定相应概率、确定概率差和改变相应权重重复一个或多个附加迭代；在每个迭代之后，为所述神经网络生成相应训练模型；以及响应于所述训练模型中的得到最高度量值的一个训练模型来配置所述神经网络。

实施例63包括实施例55至62中任何一项的方法，还包括：将至少一个迭代的确定相应概率、确定概率差和改变相应权重重复一个或多个附加迭代；在每个迭代之后，为所述神经网络生成相应训练模型；以及响应于所述训练模型中的得到最高加权F1度量值的一个训练模型来配置所述神经网络。

实施例64包括实施例55至63中任何一项的方法，还包括：将至少一个迭代的确定相应概率、确定概率差和改变相应权重重复一个或多个附加迭代；在所述概率差小于或等于阈值的每个迭代之后，为所述神经网络生成相应训练模型；以及响应于所述训练模型中的得到最高度量值的一个训练模型来配置所述神经网络。

实施例65包括一种系统，其包括电子电路，所述电子电路被配置为执行神经网络；以及在执行所述神经网络的同时检测身体部位的图像中的至少一个特征；以及在执行所述神经网络的同时确定检测到的每个所述至少一个特征的相应位置和相应类别。

实施例66包括实施例65的系统，其中，所述神经网络包括卷积神经网络。

实施例67包括实施例65至66中任何一项的系统，其中，所述神经网络包括单步检测器卷积神经网络。

实施例68包括实施例65至67中任何一项的系统，还包括超声换能器，所述超声换能器耦合到所述电子电路并被配置为获取所述图像。

实施例69包括实施例65至68中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时检测肺的超声图像中的至少一个特征。

实施例70包括实施例65至69中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定界定检测到的所述特征的相应容器来确定检测到的每个所述至少一个特征的相应位置。

实施例71包括实施例65至70中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定其中布置有所述特征的相应边界框来确定检测到的每个所述至少一个特征的相应位置。

实施例72包括实施例65至71中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定其中布置有所述特征的相应边界框的坐标来确定检测到的每个所述至少一个特征的相应位置。

实施例73包括实施例65至72中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定其中布置有所述特征的相应边界框的大小来确定检测到的每个所述至少一个特征的相应位置。

实施例74包括实施例65至73中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定所述特征属于相应类别的相应概率来确定检测到的每个所述至少一个特征的所述相应类别。

实施例75包括实施例65至74中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定所述特征属于相应类别的相应置信水平来确定检测到的每个所述至少一个特征的所述相应类别。

实施例76包括实施例65至75中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过以下方式确定检测到的每个所述至少一个特征的相应类别：确定所述特征属于所述相应类别的相应概率；响应于所述相应概率大于所述相应类别的阈值，确定所述特征属于所述相应类别。

实施例77包括实施例65至76中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过以下方式确定检测到的所述至少一个特征的相应类别：确定检测到所述至少一个特征属于相应类别的概率；以及确定所述特征属于所述相应类别中的对应于所述概率中最高概率的一个类别。

实施例78包括实施例65至77中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括A线来确定检测到每个所述至少一个特征的相应类别。

实施例79包括实施例65至78中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括胸膜线来确定检测到的每个所述至少一个特征的相应类别。

实施例80包括实施例65至79中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括胸腔积液来确定检测到的每个所述至少一个特征的相应类别。

实施例81包括实施例65至80中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括B线来确定检测到的每个所述至少一个特征的相应类别。

实施例82包括实施例65至81中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的至少一个特征中的至少一个特征是否包括合并B线来确定检测到的每个所述至少一个特征的相应类别。

实施例83包括实施例65至82中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时：接收所述身体部位的至少一个其他图像；检测所述图像的多个图像的每个中的至少一个相应特征；确定检测到的所述至少一个相应特征中的哪一个是相应检测到的B线，以及每个所述检测到的B线的相应位置；响应于所述检测到的B线的相应位置，将多个检测到的B线分组为至少一个聚类，每个聚类对应于相应的实际B线；以及响应于所述至少一个聚类中的相应一个聚类来确定每个实际B线的相应位置。

实施例84包括实施例65至83中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个包括实变来确定检测到的每个所述至少一个特征的相应类别。

实施例85包括实施例65至84中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时：通过确定检测到的所述至少一个特征中的至少一个包括胸腔积液来确定检测到的每个所述至少一个特征的相应类别；以及确定所述胸腔积液的严重性。

实施例86包括实施例65至85中任何一项的系统，其中，所述身体部位的所述图像包括肺的图像；以及所述电子电路被配置为响应于检测到的每个所述至少一个特征的确定的所述相应类别来诊断所述肺的病理。

实施例87包括实施例65至86中任何一项的系统，其中，所述身体部位的所述图像包括肺的图像；以及所述电子电路被配置为响应于检测到的每个所述至少一个特征的确定的所述相应位置和所述相应类别来诊断所述肺的病理。

实施例88包括实施例65至87中任何一项的系统，其中，所述电子电路包括控制电路。

实施例89包括实施例65至88中任何一项的系统，其中，所述电子电路包括微处理器。

实施例90包括实施例65至89中任何一项的系统，其中，所述电子电路包括微控制器。

实施例91包括一种系统，其包括电子电路，所述电子电路被配置为执行分类器神经网络，在执行所述分类器神经网络的同时接收身体部位的图像，以及在执行所述分类器神经网络的同时确定所述图像包含属于特定类别的特征的概率。

实施例92包括实施例91的系统，其中，所述电子电路被配置为在执行所述分类器神经网络的同时接收所述身体部位的时间序列的图像，所述时间序列的图像包括所述图像，以及在执行所述分类器神经网络的同时确定所述图像指示所述身体部位的功能状态的概率。

实施例93包括实施例91至92中任何一项的系统，其中，所述电子电路被配置为在执行所述分类器神经网络的同时接收所述身体部位的视频，所述视频包括所述图像，以及在执行所述分类器神经网络的同时确定所述视频指示所述身体部位的功能状态的概率。

实施例94包括实施例91至93中任何一项的系统，其中，所述图像包括M模式图像。

实施例95包括实施例91至94中任何一项的系统，其中，所述功能状态可以是展示的功能或者未展示的功能。

实施例96包括实施例91至95中任何一项的系统，其中，所述身体部位包括肺，以及所述功能是肺滑动。

实施例97包括实施例91至96中任何一项的系统，其中，所述特定类别是肺滑动。

实施例98包括实施例91至97中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时响应于所述概率大于或等于阈值，确定所述图像指示属于所述特定类别的功能状态。

实施例99包括实施例91至98中任何一项的系统，其中，所述电子电路包括控制电路。

实施例100包括实施例91至99中任何一项的系统，其中，所述电子电路包括微处理器。

实施例101包括实施例91至100中任何一项的系统，其中，所述电子电路包括微控制器。

实施例102包括一种系统，其包括电子电路，所述电子电路被配置为执行具有输入通道的神经网络，以及被配置为在执行所述神经网络的同时用相应的输入通道接收身体部位的图像和所述图像的至少一个修改版本中的每个，以响应于所述图像和所述图像的所述至少一个修改版本而检测所述图像中的至少一个特征；以及确定响应于所述图像和所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的相应位置和相应类别。

实施例103包括实施例102的系统，其中，所述电子电路被配置为在执行所述神经网络的同时响应于所述身体部位的所述图像生成所述图像的所述至少一个修改版本。

实施例104包括实施例102至103中任何一项的系统，其中，所述身体部位的所述图像包括肺的图像。

实施例105包括实施例102至104中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过生成所述图像的至少一个滤波版本来生成所述图像的所述至少一个修改版本。

实施例106包括实施例102至105中任何一项的系统，其中，所述神经网络包括卷积神经网络。

实施例107包括实施例102至106中任何一项的系统，其中，所述神经网络包括单步检测器卷积神经网络。

实施例108包括实施例102至107中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定界定检测到的所述特征的相应容器来确定检测到的每个所述至少一个特征的相应位置。

实施例109包括实施例102至108中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定其中布置有所述特征的相应边界框来确定检测到的每个所述至少一个特征的相应位置。

实施例110包括实施例102至109中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过其中布置有所述特征的相应边界框的坐标来确定检测到的每个所述至少一个特征的相应位置。

实施例111包括实施例102至110中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定其中布置有所述特征的相应边界框的大小来确定检测到的每个所述至少一个特征的相应位置。

实施例112包括实施例102至111中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定所述特征属于相应类别的相应概率来确定检测到的每个所述至少一个特征的所述相应类别。

实施例113包括实施例102至112中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定所述特征属于所述相应类别的相应置信水平来确定检测到的每个所述至少一个特征的相应类别。

实施例114包括实施例102至113中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过以下方式确定检测到的每个所述至少一个特征的相应类别：确定所述特征属于所述相应类别的相应概率；以及响应于所述相应概率大于所述相应类别的阈值来确定所述特征属于所述相应类别。

实施例115包括实施例102至114中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过以下方式确定检测到的每个所述至少一个特征的相应类别：确定检测到的所述至少一个特征属于相应类别的概率；以及确定所述特征属于所述相应类别中对应于所述概率中最高概率的一个类别。

实施例116包括实施例102至115中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括A线来确定检测到的每个所述至少一个特征的相应类别。

实施例117包括实施例102至116中任何一项的系统，其中，所述电子电路被配置为在执行神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括胸膜线来确定检测到的每个所述至少一个特征的相应类别。

实施例118包括实施例102至117中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括胸腔积液来确定检测到的每个所述至少一个特征的相应类别。

实施例119包括实施例102至118中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括B线来确定检测到的每个所述至少一个特征的相应类别。

实施例120包括实施例102至119中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括合并B线来确定检测到的每个所述至少一个特征的相应类别。

实施例121包括实施例102至120中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时通过确定检测到的所述至少一个特征中的至少一个是否包括实变来确定检测到的每个所述至少一个特征的相应类别。

实施例122包括实施例102至121中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时，通过确定检测到的所述至少一个特征中的至少一个是否包括胸腔积液；以及确定检测到的胸腔积液的严重性来确定检测到的每个所述至少一个特征的相应类别。

实施例123包括实施例102至122中任何一项的系统，其中，所述身体部位的所述图像包括肺的图像；以及所述电子电路被配置为响应于检测到的每个所述至少一个特征的确定的所述相应类别来诊断所述肺的病理。

实施例124包括实施例102至123中任何一项的系统，其中，所述身体部位的所述图像包括肺的图像；以及所述电子电路被配置为响应于检测到的每个所述至少一个特征的确定的所述相应位置和所述相应类别来诊断所述肺的病理。

实施例125包括实施例102至124中任何一项的系统，其中，所述电子电路包括控制电路。

实施例126包括实施例102至125中任何一项的系统，其中，所述电子电路包括微处理器。

实施例127包括实施例102至126中任何一项的系统，其中，所述电子电路包括微控制器。

实施例128包括一种系统，其包括电子电路，所述电子电路被配置为执行神经网络，并且被配置为在执行所述神经网络的同时接收身体部位的图像，所述图像包括属于一个类别的至少一个特征，检测所述图像中的至少一个特征；以及对于检测到的每个所述至少一个特征，确定检测到的每个所述至少一个特征属于所述类别的相应位置和相应置信水平。

实施例129包括实施例128的系统，其中，所述电子电路被配置为在执行所述神经网络的同时，响应于所述图像而检测所述至少一个特征并确定所述相应位置和所述相应置信水平。

实施例130包括实施例128至129中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时，对于检测到的每个所述至少一个特征，确定所述至少一个特征中的相应一个属于一个或多个其他类别的相应的一个或多个置信水平。

实施例131包括实施例128至130中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时，用所述神经网络接收所述图像的至少一个修改版本；响应于所述图像的所述至少一个修改版本而检测所述图像中的所述至少一个特征；以及确定响应于所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的所述相应位置和所述相应置信水平。

实施例132包括实施例128至131中任何一项的系统，其中，所述电子电路被配置为在执行所述神经网络的同时，用所述神经网络接收所述图像的至少一个修改版本；响应于所述图像和所述图像的所述至少一个修改版本而检测所述图像中的所述至少一个特征；以及确定响应于所述图像和所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的所述相应位置和所述相应置信水平。

实施例133包括实施例128至132中任何一项的系统，其中，所述电子电路包括控制电路。

实施例134包括实施例128至133中任何一项的系统，其中，所述电子电路包括微处理器。

实施例135包括实施例128至134中任何一项的系统，其中，所述电子电路包括微控制器。

实施例136包括一种系统，其包括电子电路，所述电子电路被配置为从至少一个第一训练图像中的每个生成至少一个第二训练图像，以及通过以下方式训练神经网络：执行所述神经网络以确定所述至少一个第一训练图像和所述至少一个第二训练图像的至少一个中的至少一个特征的每个属于一种特征类别的相应概率；为所述至少一个特征中的每个确定所确定的相应概率和相应的标注概率之间的概率差；以及响应于所述概率差来改变所述神经网络的至少一个突触中的每个的相应加权。

实施例137包括实施例136的系统，其中，所述电子电路被配置为通过将噪声添加到所述至少一个第一训练图像中的一个来生成所述至少一个第二训练图像。

实施例138包括实施例136至137中任何一项的系统，其中，电子电路被配置为通过改变所述至少一个第一训练图像中的一个的至少一个像素的相应亮度来生成所述至少一个第二训练图像。

实施例139包括实施例136至138中任何一项的系统，其中，电子电路被配置为通过改变所述至少一个第一训练图像中的一个的相应对比度来生成所述至少一个第二训练图像。

实施例140包括实施例136至139中任何一项的系统，其中，所述电子电路被配置为通过旋转所述至少一个第一训练图像中的一个来生成所述至少一个第二训练图像。

实施例141包括实施例136至140中任何一项的系统，其中，所述电子电路被配置为通过将至少一个伪影添加到所述至少一个第一训练图像中的一个来生成所述至少一个第二训练图像。

实施例142包括实施例136至141中任何一项的系统，其中，所述电子电路还被配置为通过以下方式训练所述神经网络：执行所述神经网络以检测每个所述至少一个特征；执行所述神经网络以确定检测到的每个所述至少一个特征的相应位置；执行所述神经网络以为检测到的每个所述至少一个特征确定所确定的所述相应位置和相应的标注位置之间的位置差；以及响应于所述位置差来改变所述神经网络的至少一个突触中的每个的相应权重。

实施例143包括实施例136至142中任何一项的系统，其中，所述电子电路还被配置为通过以下方式训练所述神经网络：执行所述神经网络以将至少一个迭代的确定相应概率、确定概率差和改变相应权重重复一个或多个附加迭代；在每个迭代之后，为所述神经网络生成相应训练模型；以及响应于所述训练模型中得到最高度量值的一个训练模型来配置所述神经网络。

实施例144包括实施例136至143中任何一项的系统，其中，所述电子电路还被配置为通过以下方式训练所述神经网络：执行所述神经网络以将至少一个迭代的确定相应概率、确定概率差和改变相应权重重复一个或多个附加迭代；在每个迭代之后，为所述神经网络生成相应训练模型；以及响应于所述训练模型中得到最高加权F1度量值的一个训练模型来配置所述神经网络。

实施例145包括实施例136至144中任何一项的系统，其中，所述电子电路还被配置为通过以下方式训练所述神经网络：执行所述神经网络以将至少一个迭代的确定相应概率、确定概率差和改变相应权重重复一个或多个附加迭代；在所述概率差小于或等于阈值的每个迭代之后，为所述神经网络生成相应训练模型；以及响应于所述训练模型中得到最高度量值的一个训练模型来配置所述神经网络

实施例146包括有形的非暂时性计算机可读介质，其存储指令，当由计算电路执行时，所述指令使所述计算电路或在所述计算电路的控制下的另一电路执行神经网络以：检测身体部位的图像中的至少一个特征；以及确定检测到的每个所述至少一个特征的相应位置和相应类别。

实施例147包括有形的非暂时性计算机可读介质，其存储指令，当由计算电路执行时，所述指令使所述计算电路或在所述计算电路的控制下的另一电路执行分类器神经网络以：确定身体部位的图像包括属于一个特定类别的特征的概率。

实施例148包括有形的非暂时性计算机可读介质，其存储指令，当由计算电路执行时，所述指令使所述计算电路或在所述计算电路的控制下的另一个电路执行神经网络以：用相应输入通道接收身体部位的图像和所述图像的至少一个修改版本中的每个；响应于所述图像和所述图像的所述至少一个修改版本而检测所述图像中的至少一个特征；以及确定响应于所述图像和所述图像的所述至少一个修改版本而检测到的每个所述至少一个特征的相应位置和相应类别。

实施例149包括有形的非暂时性计算机可读介质，其存储指令，当由计算电路执行时，所述指令使所述计算电路或在所述计算电路的控制下的另一电路执行被配置为检测在身体部位的图像中属于一个类别的至少一个特征的神经网络以：检测身体部位的图像中的至少一个特征；以及为检测到的每个所述至少一个特征确定检测到的所述至少一个特征属于所述类别的相应位置和相应置信水平。

实施例150包括有形的非暂时性计算机可读介质，其存储指令，当由计算电路执行时，所述指令使所述计算电路或在所述计算电路的控制下的另一电路：从至少每个一个第一训练图像生成至少一个第二训练图像；用神经网络确定所述至少一个第一训练图像和所述至少一个第二训练图像的至少一个中的至少一个特征中的每个属于一个特征类别的相应概率；为检测到的每个所述至少一个特征确定所确定的相应概率与相应的标注概率之间的概率差；以及响应于所述概率差来改变所述神经网络的至少一个突触中的每个的相应权重。

从前述内容将认识到，尽管这里出于说明的目的已经描述了特定实施方案，但是可以在不脱离本公开内容的精神和范围的情况下进行各种修改。此外，在公开了用于特定实施方案的替代方案的情况下，即使没有特别说明，该替代方案也可以应用于其他实施方案。另外，可以以硬件、软件、固件或硬件、软件和固件中的任何两个或更多个的组合来实现/执行任何所描述的组件或操作。例如，一种或多种或所有上述操作和功能中的任何一种都可以由电子电路执行，该电子电路被硬线被配置为执行一个或多个操作或功能，被配置为执行程序指令以执行一个或多个操作或功能，配置有固件或以其他方式配置以执行一个或多个操作或功能，或配置有两个或多个上述配置的组合。例如，图24的组件中的一个或多个可包括这种电子电路。并且，如果将软件、固件或逻辑结构描述为执行功能或得到结果，则这种描述包括硬件结构，其执行软件，或配置有软件或固件，从而执行该功能或得到该结果。此外，出于清楚或其他原因，可能已经从描述中省略了所描述的设备或系统的一个或多个组件。而且，可以从设备或系统中省略已经包括在说明书中的所描述的设备或系统的一个或多个组件。