利用超声成像进行活检预测和引导以及相关联的设备、系统和方法

摘要

提供了超声图像设备、系统和方法。一种超声成像系统包括：通信接口，其与超声成像设备通信并被配置为接收对象的解剖结构的超声图像；以及处理器，其与所述通信接口通信并被配置为：将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确定所述多个潜在恶性位置处的多个恶性可能性；并且将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出到与所述处理器通信的显示器，以引导针对所述对象的解剖结构的活检确定。

说明书

技术领域

本公开内容总体上涉及超声成像，并且特别涉及提供用于引导活检的自动化系统和方法。

背景技术

超声在筛查和诊断不同解剖结构中的许多状况中具有重要作用。从活检针引导的观点以及从目标识别的观点来看，超声也经常用于引导活检流程。在甲状腺中，例如，使用亮度模式(B模式)超声特征(例如，大小、回音强度、形状、钙化、边距以及是否存在囊性成分)将结节分类为良性或恶性。除了B模式超声特征以外，还可以使用弹性特征。

疑似恶性的甲状腺通常包括多个活检候选位置(例如，多个结节或大结节内的多个位置)。通常由临床医生使用临床医生的专业知识来确定给定结节中的癌症疑似水平和/或使用基于结节大小的算法来建议是否指示该患者进行活检，从而识别是否需要进行活检并且识别活检位置。例如，对于高度疑似的结节，指示对小至约1厘米(cm)的结节进行活检，而对于疑似度很低的结节，则指示应对直径大于2cm的结节进行活检。一旦识别出活检位置，就能够在超声引导下向目标推进针。

能够使用两种技术中的一种技术来获取活检样本——毛细管技术或抽吸技术。毛细管技术和抽吸技术具有相似的工作流程，但在样本收集方式上有所不同。通常，使用具有斜角形尖端的空心针和10立方厘米(cc)的鲁尔锁(Luer Lock)注射器。针的长度能够在约1.25英寸至约1.5英寸之间。针的粗度能够在约23G(表压)至约27G之间。较粗的针(例如，约20G或22G)能够导致患者创伤和/或血液污染。因此，推荐使用至少约24G至约25G的针。在一些情况下，对于更深的插入和/或对于脖子较粗的患者，能够将比针短的实心管心针插入针(例如，中空针)中以提供支持。

由于疑似恶性的甲状腺能够包括多个活检候选位置，因此需要临床医生选择优选位置。另外，临床上表明在一次活检中允许不超过n遍或n次尝试(其中，n通常可以约为5)，以最大程度地减少患者的创伤。活检位置的选择还可以基于结节和/或针路径与围绕甲状腺的许多关键结构之一(例如，颈静脉、颈动脉、气管和食道)的接近度。正因如此，活检通常无法进行诊断或者可能难以根据活检样本来做出明确诊断。另一个问题是假阴性活检结果，其中，甲状腺恶性可能获得良性结果。一些用户缺乏超声经验也会导致长时间的介入和/或难以进行的介入，从而给临床医生带来患者创伤和挫败感。

发明内容

虽然已经证明现有的超声成像对临床引导和诊断很有用，但是临床上仍然需要用于提供自动化活检引导工具的改进的系统和技术。本公开内容的实施例提供了深度学习框架以辅助和引导用户确定和进行活检。所公开的实施例可以识别实况超声图像中的一个或多个疑似癌症的位置以及由于预期的非诊断性/良性结果而被排除的一个或多个位置。所公开的实施例可以显示叠加在实况超声图像上的具有针对每个像素的恶性预测概率的癌症疑似图以及用于该预测的对应的置信度图。深度学习预测网络还能够识别实况超声图像中的危及器官(OAR)或关键结构。所公开的实施例可以确定实况超声图像中的一个或多个最优活检路径，其能够使产量最大化并且避开关键结构。所公开的实施例能够经由情境用户接口来显示最优活检路径，例如提供相对于使用中的超声成像探头的位置和/或相对于目标活检位置的针路径的显示。所公开的实施例可以提供用户接口以引导用户将超声成像探头从次优位置操纵到能够提供用于引导活检样本的最优图像的位置。当用户试图将针插入可能危及OAR的轨迹或可能不会到达目标的轨迹时，所公开的实施例可以向用户提供警告。

在一个实施例中，一种超声成像系统包括：通信接口，其与超声成像设备通信并被配置为接收对象的解剖结构的超声图像；以及处理器，其与所述通信接口通信并被配置为：将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确定所述多个潜在恶性位置处的多个恶性可能性；并且将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出到与所述处理器通信的显示器，以引导针对所述对象的解剖结构的活检确定。

在一些实施例中，其中，所述超声图像包括以下各项中的至少一项：亮度模式(B模式)信息、应变信息、弹性信息或组织多普勒信息。在一些实施例中，其中，所述处理器还被配置为将所述预测网络应用于所述超声图像以进行以下操作：识别所述对象的解剖结构的要避免进行活检的关键区域；并且确定针对所述多个潜在恶性位置处的所述多个恶性可能性的多个置信度水平。在一些实施例中，其中，所述处理器还被配置为将所述超声图像上的所述多个潜在恶性位置、所述多个恶性可能性、所述多个置信度水平或所述关键区域中的至少一个的指示的叠加物输出到所述显示器。在一些实施例中，所述系统还包括显示器，所述显示器被配置为显示第一图和第二图，所述第一图包括在所述超声图像的第一实例上的所述多个潜在恶性位置、所述多个恶性可能性和所述关键区域的指示的叠加物，所述第二图包括在所述超声图像的第二实例上的所述多个潜在恶性位置处的所述多个置信度水平的指示的叠加物。在一些实施例中，其中，所述处理器还被配置为基于所述对象的解剖结构中的所述多个潜在恶性位置、所述关键区域或目标活检位置中的至少一个来确定用于对所述对象的解剖结构进行活检的活检针路径。在一些实施例中，其中，所述处理器还被配置为基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定针对所述对象的解剖结构的目标活检位置，并且其中，还基于所确定的目标活检位置来确定所述活检针路径。在一些实施例中，所述系统还包括与所述处理器通信并被配置为接收所述目标活检位置的选择的用户接口。在一些实施例中，其中，所述处理器还被配置为将所确定的活检针路径作为所述超声图像上的叠加物而输出到所述显示器。在一些实施例中，其中，所述处理器还被配置为将所述预测网络应用于所述超声图像以确定所述活检针路径。在一些实施例中，其中，所述处理器还被配置为：确定所述关键区域是沿着指向所述对象的解剖结构的活检针的轨迹路径的；并且将所述活检针与所述关键区域之间的潜在碰撞的指示输出到所述显示器。在一些实施例中，其中，在所述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图像，并且其中，所述处理器还被配置为：将所述预测网络应用于所述超声图像以确定运动控制配置，所述运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以进行所述活检；并且将用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符输出到所述显示器。在一些实施例中，其中，通过以下操作来训练所述预测网络：提供测试对象的解剖结构的多幅测试超声图像、在测试对象的解剖结构上进行的活检的活检位置以及在所述活检位置处进行的所述活检的病理结果；并且基于所述活检位置和所述病理结果将分数分配给所述多幅测试超声图像的像素。在一些实施例中，其中，所述处理器还被配置为基于以下各项中的至少一项来更新所述预测网络：针对基于所述多个潜在恶性位置和所述多个恶性可能性确定的活检的目标活检位置；或者所述活检的病理结果。在一些实施例中，其中，所述对象的解剖结构包括甲状腺的至少部分。

在一个实施例中，一种超声成像的方法包括：从超声成像设备接收对象的解剖结构的超声图像；将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确定所述多个潜在恶性位置处的多个恶性可能性；并且通过显示器显示所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性，以引导对所述对象的解剖结构的活检确定。

在一些实施例中，其中，应用所述预测网络包括：识别所述对象的解剖结构的要避免进行活检的关键区域；并且确定针对所述多个潜在恶性位置处的所述多个恶性可能性的多个置信度水平，并且其中，所述显示包括：显示第一图，所述第一图包括在所述超声图像的第一实例上的所述多个潜在恶性位置、所述多个恶性可能性和所述关键区域的指示的叠加物；并且显示第二图，所述第二图包括在所述超声图像的第二实例上的与所述多个潜在恶性位置相对应的所述多个置信度水平的指示的叠加物。在一些实施例中，所述方法还包括：基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定用于对所述对象的解剖结构进行活检的目标活检位置；基于所述对象的解剖结构的所述多个潜在恶性位置、所述关键区域或所述目标活检位置中的至少一个来确定用于进行所述活检的活检针路径；并且通过所述显示器将所确定的活检针路径显示为所述第一图上的叠加物。在一些实施例中，所述方法还包括：确定所述关键区域是沿着指向所述对象的解剖结构的活检针的轨迹路径的；并且通过所述显示器来显示所述活检针与所述关键区域之间的潜在碰撞的指示。在一些实施例中，其中，在所述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图像，并且其中，所述方法还包括：将所述预测网络应用于所述超声图像以确定运动控制配置，所述运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以进行所述活检；并且通过所述显示器显示用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符。

根据以下详细描述，本公开内容的其他方面、特征和优点将变得显而易见。

附图说明

将参考附图来描述本公开内容的说明性实施例，在附图中：

图1是根据本公开内容的一些方面的超声成像系统的示意图。

图2是根据本公开内容的一些方面的患者的甲状腺和周围区的超声图像。

图3是图示根据本公开内容的一些方面的自动化像素级超声图像注释和针路径预测方案的示意图。

图4是根据本公开内容的一些方面的用于超声图像的恶性潜在图的图形显示。

图5是根据本公开内容的一些方面的用于超声图像的恶性可能性置信度图的图形显示。

图6是根据本公开内容的一些方面的具有用于活检针路径的视觉指示符的恶性潜在图的图形显示。

图7是根据本公开内容的一些方面的情境显示的图形显示，其包括与超声探头和针进入点有关的建议的活检针路径。

图8是图示根据本公开内容的一些方面的自动化超声探头位置引导方案的示意图。

图9是根据本公开内容的一些方面的用于引导探头定位的用户接口的图形显示。

图10是图示根据本公开内容的一些方面的深度学习网络的配置的示意图。

图11是图示根据本公开内容的一些方面的深度学习网络训练方案的示意图。

图12是图示根据本公开内容的一些方面的深度学习网络微调方案的示意图。

图13是根据本公开内容的一些方面的在活检检查中提供用户警告的方法的流程图。

图14是根据本公开内容的一些方面的引导活检的方法的流程图。

具体实施方式

为了促进对本公开内容的原理的理解，现在将参考附图中图示的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解，并不旨在限制本公开内容的范围。如本公开内容所涉及的领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开内容的原理的任何进一步应用都被充分预想到并被包括在本公开内容内。特别地，完全预想到，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开内容的其他实施例描述的特征、部件和/或步骤进行组合。然而，为了简洁起见，将不单独描述这些组合的众多迭代形式。

图1是根据本公开内容的一些方面的超声成像系统100的示意图。系统100用于扫描患者身体的区或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器阵列112、波束形成器114、处理部件116和通信接口118。主机130包括显示器132、处理部件134和通信接口136。

在示例性实施例中，探头110是外部超声成像设备，其包括被配置为由用户手持操作的壳体。换能器阵列112能够被配置为在用户抓住探头110的壳体而使得换能器阵列112被定位为与患者的皮肤相邻和/或与患者的皮肤接触时获得超声数据。探头110被配置为在探头110被定位在患者体外时获得患者体内的解剖结构的超声数据。

换能器阵列112朝向解剖目标105发射超声信号并接收从目标105反射传回换能器阵列112的回波信号。超声换能器阵列112能够包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些情况下，换能器阵列112包括单个声学元件。在一些情况下，换能器阵列112可以包括声学元件的阵列，该声学元件的阵列具有任何适当配置的任何数量的声学元件。例如，换能器阵列112能够包括1个声学元件至1000个声学元件，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件和/或其他更大值和更小值之类的数量值的声学元件。在一些情况下，换能器阵列112可以包括具有任何适当配置的任何数量的声学元件的声学元件的阵列，例如，线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如，1.5D阵列)或二维(2D)阵列。能够统一或独立地控制和激活声学元件的阵列(例如，一行或多行、一列或多列和/或一个或多个取向)。换能器阵列112能够被配置为获得患者的解剖结构的一维、二维和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。

波束形成器114被耦合到换能器阵列112。例如，波束形成器114控制换能器阵列112以用于超声信号的发射和超声回波信号的接收。波束形成器114基于响应或所接收的超声回波信号将图像信号提供给处理部件116。波束形成器114可以包括多个阶段的波束形成。波束形成能够减少用于耦合到处理部件116的信号线的数量。在一些实施例中，与波束形成器114组合的换能器阵列112可以被称为超声成像部件。

在一些实施例中，目标105可以包括患者的甲状腺的进行活检的至少部分。在其他实施例中，目标105可以包括患者的适合用于超声成像检查的任何解剖结构(例如，肺、血管、心脏、肾脏和/或肝脏)。

处理部件116被耦合到波束形成器114。处理部件116可以包括被配置为执行本文描述的操作的中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一硬件设备、固件设备或其任意组合。处理部件134还可以被实施为计算设备的组合(例如，DSP和微处理器、多个微处理器、与DSP核结合的一个或多个微处理器的组合或任何其他这样的配置)。处理部件116被配置为处理波束形成的图像信号。例如，处理部件116可以执行滤波和/或正交解调以调控图像信号。处理部件116和/或134能够被配置为控制阵列112以获得与目标105相关联的超声数据。

通信接口118被耦合到处理部件116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发器和/或用于发射和/或接收通信信号的电路。通信接口118能够包括实施适合用于通过通信链路120将信号传输到主机130的特定通信协议的硬件部件和/或软件部件。通信接口118能够被称为通信设备或通信接口模块。

通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，例如，通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，例如，超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。

在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如，工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。

处理部件134被耦合到通信接口136。处理部件134可以被实施为软件部件与硬件部件的组合。处理部件134可以包括被配置为执行本文描述的操作的中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或其任何组合。处理部件134还可以被实施为计算设备的组合(例如，DSP和微处理器、多个微处理器、与DSP核结合的一个或多个微处理器的组合或任何其他这样的配置)。处理部件134能够被配置为根据从探头110接收的图像信号来生成图像数据。处理部件134能够将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理部件134能够根据图像数据来形成三维(3D)体积图像。在一些实施例中，处理部件134能够对图像数据执行实时处理以提供目标105的超声图像的流视频。

在一些实施例中，处理部件134能够对图像数据或图像帧执行图像分析以用于活检确定。例如，处理部件134能够接收包括患者的组织的目标105的超声图像。处理部件134能够应用基于深度学习的技术来确定在患者组织处的潜在恶性或异常的位置，确定是否需要活检，识别目标活检位置和/或建议避开关键器官或组织区而到达目标位置的潜在的针路径。处理部件134能够应用基于深度学习的技术来确定成像平面是否能够提供目标活检位置的最优视图以及如何在操纵探头110时将用户引导到用于引导活检的最优视图。处理部件134能够监视由临床医生选择的活检针的插入点或进入点，确定会发生碰撞而到达组织的关键区域的活检针的轨迹，并且/或者在活检针的轨迹与关键区域之间会发生碰撞时向临床医生生成警告。本文更详细地描述了预测和引导活检的机制。

显示器132被耦合到处理部件134。显示器132可以是监视器或任何合适的显示器。显示器132被配置为显示超声图像、图像视频和/或如本文更详细地描述的与潜在恶性组织位置、目标活检位置、建议的活检针路径、用于将探头110移动至用于活检的最优成像视图的指令和/或关于由处理部件134生成的活检的警告相关联的信息。

系统100能够被配置用于基于超声成像的活检预测和引导流程的各个阶段。在一个实施例中，系统100可以用于收集超声图像以形成用于深度学习网络训练的训练数据集。例如，主机130可以包括存储器138，存储器138可以是任何合适的存储设备，例如，高速缓冲存储器(例如，处理部件134的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、固态存储设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。存储器138能够被配置为存储用于基于深度学习的训练的图像数据集140。

在一些实施例中，系统100可以用于训练深度学习网络以进行活检预测和引导。例如，可以使用组织的超声图像来训练深度学习网络，所述组织的超声图像包括潜在恶性区、应用组织活检的目标位置和/或从活检获得的对应病理结果。可以训练深度学习网络来识别潜在恶性组织位置，识别要避免进行活检的关键区域(例如，危及器官(OAR))和/或确定恶性概率和所识别的位置处的相关联的置信度水平。可以训练深度学习网络以基于所识别的潜在恶性组织位置来确定活检目标位置和/或确定避开关键区域而到达目标的一条或多条活检针路径。可以训练深度学习网络以确定用于将探头110操纵到适合用于引导活检的成像平面的移动。

在一些实施例中，系统100可以在临床环境中用于实况活检流程，其中，可以应用经训练的深度学习网络以确定是否需要活检，识别潜在恶性组织位置，确定目标活检位置并且/或者建议避开关键区域而进行活检的一条或多条针路径。本文更详细地描述了用于基于深度学习的技术来自动且系统地预测和引导活检流程的机制。

图2是根据本公开内容的一些方面的患者的甲状腺210和周围区的超声图像200。可以使用类似于系统100的系统来捕获图像200。图像200示出了患者甲状腺中的结节212和靠近患者甲状腺的结构和/或组织。结节212能够是恶性的或良性的。可能需要对结节212进行活检以确定结节212是恶性还是良性的。一些结构和/或组织是需要避开活检针路径的关键结构或危及器官(OAR)。如图所示，颈内静脉220、颈动脉230和气管240接近甲状腺210。颈内静脉220、颈动脉230和气管240是关键结构。因此，当在结节212上进行活检时，颈内静脉220、颈动脉230和气管240不能沿着活检针路径。

图3-12共同说明了在活检工作流程中使用基于深度学习的技术来自动地且系统地预测活检位置、活检针路径并引导活检流程。

图3是图示根据本公开内容的一些方面的自动化像素级超声图像注释和针路径预测方案300的示意图。方案300由系统100来实施。方案300能够(例如在插入针之前)向准备进行活检检查的临床医生提供活检引导。临床医生可以在使用探头110进行潜在活检检查下捕获患者组织(例如，目标105)的一幅或多幅图像302。在一个实施例中，组织能够包括患者甲状腺(例如，甲状腺210)的至少部分，活检能够是甲状腺活检以确定甲状腺是否包括异常细胞(例如，恶性肿瘤)。能够使用B模式并且任选地结合各种超声成像模态来捕获图像302。图像302可以提供各种成像信息，包括B模式成像信息、应变成像信息、模量成像信息、多普勒成像信息(例如，功率多普勒、彩色血流和频谱多普勒)以及组织多普勒成像(TDI)信息和/或任何能够促进成像数据分析以定位潜在恶性肿瘤并预测和引导活检的合适成像信息。为了说明和讨论的简单起见，图3图示了四幅图像302。然而，临床医生可以以任何合适数量的(例如，大约5个、6个或更多个)超声成像模态捕获任何合适数量的(例如，5幅、6幅或更多幅)图像302以进行活检流程。作为示例，图像302可以包括使用B模式捕获的图像A、使用应变成像模式捕获的图像B、使用剪切/杨氏模量成像模式捕获的图像C 302以及TDI模式下的图像D 302。

在一个实施例中，各种模态(例如，应变、模量、多普勒和TDI)的图像B、C和D 302能够被配准到基础B模式图像A 302。系统100能够被配置为通过将应变、模量、多普勒和TDI模态中的一种或多种模态与B模式成像交错进行来以不同的模态捕获图像302。系统100能够在显示器132上显示图像302中的任何图像。在一些实施例中，临床医生可以选择B模式图像A 302以在显示器132上显示。B模式图像A 302能够类似于图像200。

图像302被发送到主机130处的处理部件134。处理部件134接收图像302并将深度学习网络310应用于接收到的图像302。如本文更详细地描述的，训练深度学习网络310以针对输入图像(例如，图像302)上的每个像素预测恶性概率。深度学习网络310可以从通过图像302捕获的患者组织中识别出疑似恶性的组织位置。深度学习网络310可以识别活检针路径需要避开的患者组织中的关键区域或OAR(例如，颈内静脉220、颈动脉230和气管240)。深度学习网络310可以确定所识别的潜在恶性组织位置处的恶性可能性。深度学习网络310可以确定针对在所识别的潜在恶性组织位置处的恶性可能性的预测或确定的置信度水平。在一些实施例中，深度学习网络310能够从通过图像302捕获的患者组织中识别出非诊断性和/或良性的组织位置。能够将非诊断性和/或良性组织位置从目标活检位置选择中排除。本文将更详细地描述深度学习网络310的架构和深度学习网络310的训练。在一些实施例中，代替使用深度学习网络310，可以使用诸如阈值化、活动轮廓和/或基于机器学习的分割方法之类的任何合适的OAR分割方法来计算关键区域或OAR。

深度学习网络310基于所识别的潜在恶性组织位置、所识别的关键区域、所确定的恶性可能性和对应的置信度水平来输出恶性潜在图320和置信度图330。恶性潜在图320能够被称为疑似图。在下文描述的图4和图5中示出了恶性潜在图320和置信度图330的示例。处理部件134能够将恶性潜在图320和置信度图330输出到用户接口360(例如，显示器132)。

图4是根据本公开内容的一些方面的用于基础超声图像440的恶性潜在图400的图形显示。恶性潜在图400可以对应于图3的恶性潜在图320。图像440可以对应于图3的B模式图像A 302。恶性潜在图400能够被显示在显示器132或用户接口360上。恶性潜在图400包括图像440上的OAR 410和潜在恶性组织位置420以及对应的恶性可能性的叠加物。潜在恶性组织位置420被示为闭合表面形状。OAR 410被示为闭合表面形状和开放表面形状。如图所示，恶性图400能够包括用于OAR 410的文本注释。OAR 410与潜在恶性组织位置420之间的间隙表示没有从预测中获得与恶性和/或活检有关的特定信息。能够根据恶性可能性对潜在恶性组织位置420进行颜色编码。例如，颜色方案430能够使用第一颜色(例如，绿色)来表示低恶性可能性，并且逐渐过渡到第二颜色(例如，红色)来表示高恶性可能性。

图5是根据本公开内容的一些方面的用于基础超声图像440的恶性可能性置信度图500的图形显示。置信度图500可以对应于图3的置信度图330。能够在显示器132或用户接口360上显示置信度图500。置信度图500包括图像440上的与图4的潜在恶性位置420处的恶性可能性相对应的置信度水平510(被示为闭合表面形状)的叠加物。类似于恶性潜在图400，能够对置信度水平510进行颜色编码。例如，颜色方案520能够使用第一颜色(例如，浅蓝色)来表示低置信度水平，并且逐渐过渡到第二颜色(例如，深蓝色)红色来表示高置信度水平。

置信度图500可以与恶性潜在图400(例如在像素级上)具有一一对应关系。置信度图500和恶性潜在图400能够被同时显示在显示器132上。虽然图4和图5图示了在B模式图像440上叠加的恶性潜在图400和置信度图500，但在一些其他实施例中，能够将恶性潜在图400和置信度图500叠加在另一超声成像模态(例如，TDI、应变或模量)的超声图像上。

从图4和图5中能够观察到，能够以高置信度水平预测具有低恶性可能性(例如，对癌症具有低疑似度)的区，能够以低置信度水平预测具有高恶性可能性(例如，对癌症具有高疑似度)的区，能够以合理的置信度预测具有中等恶性可能性(例如，对癌症具有中等疑似度)的区。

返回图3，在确定恶性潜在图320和对应的置信度图330之后，能够使用各种机制从恶性潜在图320和对应的置信度图330中识别出目标活检位置340和一条或多条活检针路径350。

在图3中被标示为1的圆圈所标记的第一示例中，临床医生可以基于恶性潜在图320和对应的置信度图330来选择目标活检位置340。例如，临床医生可以从具有中等恶性可能性的组织区域中选择目标活检位置340a，因为具有中等恶性可能性的区域最有可能为病理学检验提供足够的样本量。临床医生可以经由用户接口360输入对目标活检位置340a的选择。能够将用户选择的目标活检位置340a输入到深度学习网络310中。深度学习网络310能够基于用户选择的目标活检位置340a和所识别的关键区域(例如，避开OAR 410)来预测一条或多条活检针路径350a

在图3中被标示为2的圆圈所标记的第二示例中，能够将用户选择的目标活检位置340a输入到活检路径确定单元370中。活检路径确定单元370能够计算可以安全到达所识别的目标活检位置340而不与任何一个关键区域(例如，OAR 410)相交的一条或多条活检针路径350b。活检路径确定单元370能够基于某些约束(例如使用图像分析算法和数值优化算法)来确定针对针路径350b的轨迹。

在图3中被标示为3的圆圈所标记的第三示例中，活检路径确定单元370能够基于恶性潜在图320中的恶性可能性与置信度图330中的对应置信度水平的加权组合来确定目标活检位置。活检路径确定单元370能够基于轨迹计算来确定到达所确定的活检位置的一条或多条活检针路径350c。

在图3中被标示为4的圆圈所标记的第四示例中，能够基于所识别的潜在恶性组织位置420、所识别的关键区域或OAR 410、所确定的恶性可能性和对应的置信度水平来训练深度学习网络310，以预测目标活检位置以及到达所预测的活检目标位置的一条或多条活检针路径350d。例如，能够训练深度学习网络310以选择能够使收益最大化并避免与任何关键结构(例如，OAR 410)相交的活检针路径350d。换句话说，深度学习网络310能够根据图像302中的一幅或多幅图像来自动建议一条或多条活检针路径350d。

通常，恶性潜在图320和置信度图330能够辅助临床医生选择目标活检位置340和/或活检针路径350。可以为临床医生提供使用以下各项的任何合适组合的选项：用户定义的选择、(例如通过深度学习网络310进行的)基于深度学习的预测以及(例如通过活检路径确定单元370进行的)数值计算。

如下面描述的图6所示，处理部件134能够将所确定的或所建议的活检针路径350输出到显示器132。

图6是根据本公开内容的一些方面的具有用于活检针路径610的视觉指示符的恶性潜在图600的图形显示。恶性潜在图600可以对应于恶性潜在图400。活检针路径610被示为到达活检目标620(如虚线椭圆所示)。活检目标620和活检针路径610可以对应于活检针路径350，并且活检目标620可以对应于目标活检位置340和活检针路径350。虽然图6被示为具有两条针路径610a和610b，但是在一些实施例中，任何合适数量的(例如，大约1个、3个或更多个)针路径610能够被叠加在恶性潜在图600上。

在一些实施例中，方案300还可以在使用中相对于关于患者的皮肤和/或探头110的针进入点显示所建议的针路径350，以便为用户提供对针路径350的更多情境可视化，如下面所描述的图7中所示。

图7是根据本公开内容的一些方面的情境显示的图形显示700，包括相对于超声探头710和针进入点720的建议的活检针路径610。显示700可以对应于显示器132上的显示视图。探头710可以对应于探头110。活检针路径610与潜在恶性组织位置420一起叠加在B模式图像440上，并且延伸超过图像440。针进入点720a和720b可以对应于分别进入针路径610a和610b的皮肤进入点。例如，针路径610a可能要求在针进入点720a处以与患者皮肤成约30度的角度插入针，而针路径610b可能要求在针进入点720b处以与患者皮肤成约15度的角度插入针。

在一些实施例中，方案300在确定活检针路径350时可以考虑其他因素。其他因素可以包括临床医生是左撇子还是右撇子，临床医生相对于检查中的患者的位置和/或进行活检的结节(例如，结节212)相对于探头110的位置(例如，探头110是朝向结节的左侧还是右侧)。

图8是图示根据本公开内容的一些方面的自动化超声探头位置引导方案800的示意图。方案800由系统100来实施。方案800类似于方案300，但是可以(例如在插入针之前)向准备进行活检检查的临床医生额外提供超声探头位置引导。在方案800中，临床医生可以选择探头(例如，探头110)捕获图像302的初始探头位置810

在检测到次优图像平面时，处理部件134能够应用深度学习网络310来确定运动控制配置820，以操纵探头到达用于进行活检的最优图像平面。运动控制配置820可以包括用于将探头相对于患者从初始位置810

在一些情况下，提供移动指令(例如，运动控制配置820)和操纵探头的过程能够包括多次迭代。例如，临床医生可以根据由深度学习网络310提供的指令将探头从第一位置移动到第二位置。在临床医生将探头移动到第二位置之后，临床医生可以捕获另一图像302的集合，并且深度学习网络310可能会尝试从新捕获的图像302中定位活检目标和针路径。当新捕获的图像302无法(例如基于由深度学习网络310输出的恶性潜在图320和置信度映射330)提供用于引导活检的最优视图时，能够重复确定运动控制配置820的过程，如箭头802所示。

图9是根据本公开内容的一些方面的用于引导探头定位的用户接口900的图形显示。用户接口900可以被显示在显示器132或用户接口360上。用户接口900包括当探头(例如，探头110)被定位在初始成像位置(例如，探头位置810

用户接口900可以包括如视觉指示符902所示的围绕探头的主手柄轴旋转探头的建议。临床医生可以跟随视觉指示符902(例如从探头位置810

在一些实施例中，用户接口900能够通过在第一次优图像视图910旁边包括红点930并在第二次优图像视图920旁边包括绿点932来指示次优。在一些其他情况下，用户接口900可以使用任何合适的形状和/或颜色的视觉指示符来指示图像视图的次优和/或最优。在获得第二最优图像视图920之后，用户接口900能够在第二最优图像视图920中示出建议的针路径940(例如，活检针路径350、610和940)。

图10是图示根据本公开内容的一些方面的深度学习网络310的配置1000的示意图。深度学习网络310可以包括一个或多个卷积神经网络(CNN)1010。CNN 1010可以对类似于图像302的一幅或多幅超声图像1002进行操作。例如，图像1002可以包括使用B模式捕获的图像A以及使用应变成像模式捕获的图像B、使用剪切/杨氏模量成像模式捕获的图像C302和在TDI模式下的图像D 302中的一个或多个的组合。

CNN 1010可以包括N个卷积层1020的集合，然后是K个全连接层1030的集合，其中，N和K可以是任何正整数。值N和K可以根据实施例而变化。在一些情况下，值N和K可以取决于训练和/或验证数据集(例如，图像数据集140)的大小。每个卷积层1020可以包括被配置为从输入图像中提取特征的滤波器1022的集合。虽然在图10中未示出，但是在一些实施例中，卷积层1020可以与空间池化层交错，每个空间池化层包括可以降低所提取的成像特征的维数的下采样操作的集合。另外，每个卷积层512可以包括被配置为提取经校正的特征图的非线性功能(例如包括经校正的非线性(ReLU)操作)。另外，每个卷积层1020可以包括批量归一化功能以加速CNN 1010的训练。全连接层1030可以是非线性的，并且可以逐渐缩小最后的卷积层1020

在一个实施例中，训练CNN 1010以预测针对输入图像(例如，图像302和1002)上的每个像素的恶性概率。在一个实施例中，训练CNN 1010以根据输入图像和/或从输入图像到达活检目标的活检针路径(例如，活检针路径350、610和940)来预测活检目标(例如，目标活检位置340和活检目标620)。在一个实施例中，训练CNN 1010以预测用于将探头(例如，探头110)从当前位置移动到最优成像位置的运动控制配置(例如，运动控制配置820)，以在探头位于当前位置时在给定由该探头捕获的输入图像的情况下引导活检。本文对CNN 1010的训练进行了更详细的描述。

虽然CNN 1010被图示为完全卷积神经网络(FCN)，但是在一些实施例中，能够将CNN 1010配置为编码器-解码器类型的网络(例如，U-net架构)或任何其他合适的基于学习的预测网络来实现类似的功能。

图11是图示根据本公开内容的一些方面的深度学习网络训练方案1100的示意图。方案1100由系统100来实施。方案1100图示了深度学习网络310的训练以预测针对输入图像302上的每个像素的恶性概率。为了训练深度学习网络310，可以将组织(例如包括甲状腺)的带注释或标签的超声图像1110输入到深度学习网络310。带注释的超声图像1110可以包括进行活检的一个或多个活检位置1120。每个活检位置1120被示为闭合表面形状。可以基于在活检位置1120处获得的对应病理结果1150为每个活检位置1120分配恶性确定性。病理结果1150可以指示在活检位置1120处收集的组织样本是恶性的、良性的还是其他的(例如，不确定的)。换句话说，带注释的超声图像1110包括针对由图像1110捕获的基础组织的空间恶性确定性图。

活检位置1120是离散的组织位置，并且病理结果1150是针对对应活检位置1120的离散结果。在一个实施例中，能够将2D高斯函数1140应用于每个活检位置1120处的病理结果1150以提供具有较高空间维度的恶性可能性信息。高斯函数1140的峰值1142可以被映射到获取活检样本的活检位置1120。例如，针对活检位置1120a的病理结果1150是恶性的。在将高斯函数1140应用于活检位置1120a之后，在活检位置1120处存在最高的恶性确定性(例如，高斯函数1140的峰值1142)，并且恶性确定性随着距活检位置1120a的距离的增加而降低。恶性确定性降低的速率可以取决于高斯函数1140的方差。取决于训练数据(例如，训练数据140)的大小，高斯函数1140的方差能够更保守或更不保守。例如，当存在更少量的训练数据(例如，训练数据140)时，高斯方差可以更保守，但是结果得到的数据标签可以具有更大的确定性。另一方面，当存在大量训练数据时，高斯方差可能更不保守，但是结果得到的数据标签的确定性可能较小。通常，高斯函数1140的方差能够是可变的，这例如取决于活检位置1120。例如，能够学习在给定的活检位置1120处获取的病理学样本与对应的超声成像特征之间的相关性，以估计针对给定活检位置1120处的高斯函数1140的最优方差。在一些情况下，高斯函数1140的方差能够在训练阶段期间由用户定义。

在训练期间，能够例如使用正向传播将深度学习网络310应用于图像1110，以获得针对图像1110上的每个像素的输出或分数，其中，该分数可以指示针对像素的恶性确定性或概率。能够例如通过使用反向传播来调节针对卷积层1020中的滤波器1022的系数和全连接层1030中的权重以使输出误差最小化。换句话说，能够调节卷积层1020中的系数和/或全连接层1030中的权重以匹配活检位置1120中的每个活检位置处的病理结果1150。

在一个实施例中，带注释的超声图像1140还可以包括针对OAR 1130(例如，OAR410和912)的注释或标签。类似地，深度学习网络310能够例如使用前向传播而应用于图像1110，以获得针对图像1110上的每个像素的输出或分数，其中，该分数可以指示图像1110上的每个像素是否对应到关键区域。能够调节卷积层1020中的系数和/或全连接层1030中的权重以识别在带注释的OAR 1130的位置处的OAR。

在一个实施例中，系统100能够用于捕获具有恶性肿瘤的检验组织的图像并基于活检结果为图像生成注释。系统100可以将类似于图像1110的带注释的图像作为训练数据集140而保存在存储器138中。通过使用训练数据集140，能够将方案1100应用于训练深度学习网络310。

在一个实施例中，可以使用与方案1100中的训练机制类似的训练机制来训练深度学习网络310，以根据输入图像(例如，图像302和1002)预测活检目标(例如，目标活检位置340和活检目标620)和/或根据输入图像预测到达预测的活检目标的活检针路径(例如，活检针路径350、610和940)。在这样的实施例中，在训练期间，可以向深度学习网络310输入用OAR(例如，OAR 410和1130)、活检位置(例如，活检位置340、913和1120)和用于到达对应的活检位置的活检针路径(例如，活检针路径350、610和940)注释的图像。

在一个实施例中，可以使用与方案1100中的训练机制类似的训练机制来训练深度学习网络310，以预测用于将探头(例如，探头110)从当前位置移动到最优成像位置的运动控制配置(例如，运动控制配置820)，以在探头处于当前位置时在给定由探头捕获的输入图像的情况下引导活检。在这样的实施例中，在训练期间，可以向深度学习网络310输入某些成像平面的图像，每个成像平面与用于将探头从对应图像的成像平面操控到最优成像平面来用于引导活检到达活检位置(例如，目标活检位置340和目标活检620)的一个或多个运动控制配置相关联。在一个实施例中，能够基于从多个患者和/或多个对象捕获的超声图像来训练深度学习网络310。能够使用关于甲状腺(例如，甲状腺210)以及周围的关键结构或OAR的几何形状的基于群体的训练来训练深度学习网络310，以建议最优成像平面。

在一些实施例中，深度学习网络310可以包括多个CNN 1010，例如，可以训练第一CNN 1010以预测针对输入图像(例如，图像302和1002)的每个像素的恶性概率(例如，恶性潜在图320和400以及置信度图330和500)，可以训练第二CNN 1010以预测目标活检位置(例如，目标活检位置340和620)和/或活检针路径(例如，活检针路径350、610和940)，可以训练第三CNN 1010以预测用于操控探头(例如，探头110)到达用于引导活检的最优成像视图(例如，成像视图920)的运动控制配置(例如，运动控制配置820)。

图12是图示根据本公开内容的一些方面的深度学习网络微调方案1200的示意图。方案1200由系统100来实施。能够在从由方案300引导的活检1210获得病理结果1220(例如，病理结果1150)之后执行方案1200。例如，临床医生可以采用方案300中的深度学习网络310以确定目标活检位置340。临床医生可以进行活检1210以在目标活检位置340处收集组织样本。随后，可以从在目标活检位置340处收集的组织获得病理结果1220。目标活检位置340和对应的病理结果1220可以被反馈到深度学习网络310以对深度学习网络310进行微调。微调可以包括调节卷积层1020处和/或全连接层1030处的系数和/或权重。

在一些情况下，临床医生可以选择与深度学习网络310所建议的活检位置340不同的活检位置。临床医生选择的活检位置和对应的病理结果也能够被馈入到深度学习网络310中，以对深度学习网络310进行微调。

例如，在每次活检之后并且当可获得病理结果时，微调能够是连续过程。因此，微调能够改善深度学习网络310的预测性能。

类似地，微调能够应用于针路径预测和/或成像探头定位预测。例如，用于到达针对活检的目标活检位置的活检针路径和/或用于操控探头到达用于引导活检的最优成像平面的移动能够被反馈给深度学习网络310以进行微调。

图13是根据本公开内容的一些方面的在活检检查中提供用户警告的方法1300的流程图。方法1300的步骤能够由主机(例如，主机130)的计算设备(例如，处理器、处理电路和/或其他合适的部件)来运行。如图所示，方法1300包括多个列举的步骤，但是方法1300的实施例可以在所列举的步骤之前、之后以及之间包括额外的步骤。在一些实施例中，所列举的步骤中的一个或多个步骤可以被省略掉或以不同的顺序执行。如上所述，临床医生可以基于恶性潜在图(例如，恶性潜在图320和400)和对应的置信度图(例如，置信度图330和500)来确定用于在患者的解剖结构(例如，甲状腺)上进行活检检查的目标活检位置(例如，目标活检位置340和620)。在一些情况下，临床医生可以选择活检针插入点和/或到达目标活检位置的活检针路径。方法1300能够用于向临床医生提供与患者的解剖结构的关键区域(例如，OAR 410和912)相交的警告。

在步骤1310处，方法1300包括接收表示患者的解剖结构(例如，目标105)和活检针的插入的超声图像(例如，图像302和1002)。

在步骤1320处，方法1300包括确定可能与患者的解剖结构的关键区域发生碰撞的活检针的可能轨迹。

在步骤1330处，方法1300包括检测活检针的轨迹是沿着可能与患者的解剖结构的关键区域发生碰撞的所确定的轨迹中的一条轨迹的。

在步骤1340处，方法1300包括在显示器(例如，显示器132)上基于检测向临床医生显示警告。例如，警告能够是红灯或显示器上的任何其他合适的视觉指示符的形式。

在一个实施例中，方法1300能够在显示器(例如，显示器132)上显示可能与患者的解剖结构的关键区域发生碰撞的所有确定的轨迹。在沿着轨迹中的一条轨迹检测到活检针的轨迹时，方法1300能够突出显示检测到的轨迹并请求临床医生改变进入点的位置。因此，方法1300能够用于改变用户选择的活检针路径，从而能够安全地进行活检。

图14是根据本公开内容的一些方面的引导活检的方法1400的流程图。方法1400的步骤能够由超声成像探头(例如，探头110)或主机(例如，主机130)的计算设备(例如，处理器、处理电路和/或其他合适的部件)来运行。方法1400可以采用与方案300、800、1100和1200，配置1000以及分别关于图3、图8、图11、图12和图10所描述的方法1300类似的机制。如图所示，方法1400包括多个列举的步骤，但是方法1400的实施例可以在列举的步骤之前、之后以及之间包括额外的步骤。在一些实施例中，所列举的步骤中的一个或多个步骤可以被省略掉或以不同的顺序执行。

在步骤1410处，方法1400包括从超声成像设备(例如，探头110)接收对象的解剖结构(例如，目标105)的第一超声图像(例如，图像302和1002)。

在步骤1420处，方法1400包括将预测网络(例如，深度学习网络310)应用于第一超声图像，以识别对象的解剖结构中的多个潜在恶性位置(例如，位置420和914)并确定多个潜在恶性位置处的多个恶性可能性。

在步骤1430处，方法1400包括通过显示器(例如，显示器132)显示多个潜在恶性位置以及针对多个潜在恶性位置的多个恶性可能性，以引导对对象的解剖结构的活检确定。

在一个实施例中，预测网络能够应用于识别对象的解剖结构的要避免进行活检的关键区域(例如，OAR 410和912)，并且确定针对多个潜在恶性位置处的多个恶性可能性的多个置信度水平。该显示可以包括第一图(例如，恶性潜在图320、400和600)和第二图(例如，置信度图330和500)。第一图可以包括在第一超声图像的实例(例如，副本或版本)上的多个潜在恶性位置、多个恶性可能性以及关键区域的指示的叠加物(例如，如图4所示)。第二图可以包括在第一超声图像的不同实例(例如，不同的副本或不同的版本)上的与多个潜在恶性位置相对应的多个置信度水平的指示的叠加物(例如，如图5所示)。在一些实施例中，能够(例如使用阿尔法-混合和/或其他合适的图像处理)在第一超声图像的相同实例上组合第一图和第二图，以包括在第一超声图像上的多个潜在恶性位置、多个恶性可能性、关键区域和多个置信度水平的指示的叠加物。

在一个实施例中，方法1400可以包括基于多个潜在恶性位置处的多个恶性可能性或针对多个恶性可能性的多个置信度水平中的至少一个来确定用于对对象的解剖结构进行活检的目标活检位置(例如，目标活检位置340和620)。方法1400可以包括基于对象的解剖结构的多个潜在恶性位置、关键区域或目标活检位置中的至少一个来确定用于进行活检的活检针路径(例如，活检针路径350、610和940)。方法1400可以包括通过显示器将所确定的活检针路径显示为第一图上的叠加物(例如，如图6所示)。

在一个实施例中，方法1400可以包括确定关键区域是沿着指向对象的解剖结构的活检针的轨迹路径的。方法1400可以包括通过显示器显示活检针与关键区域之间的潜在碰撞的指示(例如，警告)。在一个实施例中，能够在插入活检针的情况下从对象的解剖结构的第二超声图像获得活检针的轨迹路径。在一个实施例中，能够在插入活检针之前(例如在用户将活检针定位在患者皮肤上之后，但在穿透患者皮肤之前)，根据相机跟踪、光学跟踪、电磁(EM)跟踪或超声图像中的任何合适的跟踪来获得活检针的轨迹路径。

在一个实施例中，在超声成像设备被定位在相对于对象的解剖结构的第一成像位置时，接收第一超声图像。方法1400能够包括将预测网络应用于第一超声图像以确定运动控制配置(例如，运动控制配置820)，该运动控制配置用于将超声成像设备从第一成像位置重新定位到第二成像位置以进行活检。方法1400可以包括通过显示器显示视觉指示符(例如，视觉指示符902)，该视觉指示符用于基于运动控制配置来重新定位超声成像设备。

本公开内容的各个方面能够提供若干益处。例如，使用深度学习自动识别潜在恶性位置和相关联的恶性可能性以及对应的置信度水平以及显示恶性潜在图和置信度图能够辅助临床医生确定对活检和/或目标活检位置的需要情况。另外，使用深度学习自动建议最优活检针路径，显示建议的活检针路径和/或显示警告指示能够引导临床医生进行活检以安全地到达目标活检位置。另外，使用深度学习自动建议探头重新定位以及显示建议的移动能够将临床医生引导到用于进行活检的最优成像视图。所公开的实施例能够允许临床医生进行成功的活检而无需进行许多尝试(例如，达到临床允许的尝试)，因此也可以减少患者的创伤。虽然在甲状腺活检的背景下描述了所公开的实施例，但是所公开的实施例也能够应用于在身体的其他部分中引导活检。

本领域技术人员将认识到：能够以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到：本公开内容涵盖的实施例不限于上述特定示例性实施例。在这方面，虽然已经示出和描述了示例性实施例，但是在前述公开内容中可以想到各种各样的修改、改变和替换。应当理解，在不脱离本公开内容的范围的情况下，可以对前述内容进行这样的变化。因此，适当的是：以与本公开内容一致的方式广义地解释权利要求。