使用多模态成像的活检工作流程

摘要

本发明题为“使用多模态成像的活检工作流程”。本文所讨论的主题涉及有利于活检规程和活检后规程的多模态图像对齐。在一个这样的示例中，前列腺结构(或其他合适的解剖特征或结构)在活检前MR和活检前超声图像中自动分段。此后，将活检前MR和活检前超声轮廓对齐。为了考虑所成像解剖结构的非线性变形，至少部分地基于该活检前超声图像经由深度学习来训练患者专用变换模型。然后将覆盖有活检前MR轮廓并基于可变形变换模型的活检前超声图像与活检超声图像对齐。使用多模态成像技术的此类实时对齐在活检和活检后系统期间提供指导。

说明书

背景技术

本文公开的主题涉及图像对齐，并且更具体地讲，涉及利用可变形变换进行图像对齐的系统和方法。

磁共振成像(MRI)对于引导介入和治疗变得越来越重要，因为它提供软组织对比，使得能够在规划/诊断阶段标测病理组织(例如肿瘤)的位置和边界。然而，由于磁体孔中有限的患者空间和低成像帧率，很难将实时MRI集成到介入和治疗工作流程中。因此，实时MR图像在介入/治疗阶段通常是不可用的，这增加了在规划阶段不作为目标的健康组织区域的侵入性进入或治疗的风险。此外，由于缺乏对病理组织边界的实时追踪，临床医生可能无法完全接近或治疗病理组织。虽然在规划阶段从MR图像中分割或手动跟踪病变/肿瘤可以提供基准的初始位置，但是由于生理运动，该初始位置可能不是目标病变/肿瘤的真实位置。

超声成像可以提供实时成像。然而，超声成像提供较差的软组织对比度，这限制了定位或勾画病理或目标病变的能力。将实时超声成像与预先采集的MR图像(在不同时间采集的)相链接是耗时的、计算量大的，并且可能具有不利地影响介入程序的精度和结果的不准确性。此外，MRI和超声成像中的图像对比度和空间分辨率不同，并且这增加了对齐或配准MRI和超声图像的难度。因此，需要成像方法，其在介入/治疗阶段提供足够的软组织对比度，同时还提供目标病变的实时位置信息。

发明内容

下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。

在一个实施方案中，提供了用于生成患者专用变换模型的多模态成像方法。根据该方法，患者的活检前磁共振(MR)图像数据和活检前超声图像数据同时或相继采集。由MR图像数据生成的MR体积中的感兴趣的解剖区域和一个或多个病变被分段。从超声图像数据生成的超声体积中的感兴趣的解剖区域也被分段。MR体积中的所分段的感兴趣的解剖区域的轮廓与超声体积中的感兴趣的解剖区域的对应轮廓对齐，以生成活检前体积，MR体积和超声体积在该活检前体积中对齐并且来自MR体积的一个或多个病变的轮廓在该活检前体积上对齐。至少部分地基于活检前超声图像数据来训练深度学习变换模型，以创建特定于患者的可变形变换模型。

在另外的实施方案中，提供了多模态成像系统。根据该实施方案，图像系统包括存储器，该存储器对处理器可执行例程进行编码；以及处理部件，该处理部件被配置为访问存储器并执行处理器可执行例程。例程在由处理部件执行时，使得处理部件执行至少包括以下各项的动作：采集患者的活检前磁共振(MR)图像数据和活检前超声图像数据；对由MR图像数据生成的MR体积中的感兴趣的解剖区域和一个或多个病变进行分段；对从超声图像数据生成的超声体积中的感兴趣的解剖区域进行分段；将MR体积中的所分段的感兴趣的解剖区域的轮廓与超声体积中的感兴趣的解剖区域的对应轮廓对齐，以生成活检前体积，MR体积和超声体积在活检前体积中对齐并且来自MR体积的一个或多个病变的轮廓在活检前体积上对齐；至少部分地基于活检前超声图像数据来训练深度学习变换模型，以创建特定于患者的可变形变换模型；在活检规程期间采集患者的一个或多个活检超声图像；使用可变形变换模型来执行可变形对齐以将每个活检超声图像与活检前体积对齐，其中与活检前体积相关联的一个或多个病变的轮廓与每个活检超声图像对齐；以及在活检超声图像中的至少一个在活检超声图像上提供一个或多个病变的轮廓的实时可视化。

在附加实施方案中，提供了为活检系统配准实时图像的方法。根据该方法，在活检规程期间采集患者的一个或多个活检超声图像。使用可变形变换模型来执行可变形对齐，以将每个活检超声图像与活检前体积对齐。可变形变换特定于患者，并且一个或多个病变的轮廓与每个活检超声图像相关联。在一些或所有活检超声图像上提供了一个或多个病变的轮廓的实时可视化。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1示出了根据本公开的各方面的磁共振成像(MRI)系统；

图2是根据本公开的各方面的超声系统的框图的实施方案；

图3示出了根据本公开的各方面的组合磁共振和超声成像系统的实施方案的示意图；以及

图4示出了根据本公开的规划阶段的各方面的超声MRI融合流程图。

图5示出了根据本公开的活检阶段的各方面的超声MRI融合流程图。

具体实施方式

在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。

提供了一些广义信息以用于本公开的各方面的一般背景，并且有利于理解和解释本文所述的某些技术概念。

如本文所讨论，公开了一种方法，该方法包括在活检前阶段中同时或几乎同时(例如，在时间上连续)采集MR和经腹部超声(TAUS)前列腺图像。相对于经直肠超声(TRUS)成像，经腹部前列腺成像的使用提供了某些益处，诸如改善的患者舒适度和不存在由于TRUS探头插入引起的前列腺变形。因此，在诊断或活检前MRI和超声引导的活检规程之间，避免了前列腺的变形，这简化了前列腺的多模态可变形对齐。活检前TAUS图像数据与来源于活检前MR成像的信息整合，这提供了有用的前列腺组织对比度并且也是用于评估前列腺疾病的有用诊断工具。因此，与现有方法不同，本公开包括同时或几乎同时的活检前MR和TAUS成像，然后将其用于前列腺活检情境中的指导。

考虑到前述内容，下文提供了与成像技术和术语相关的材料，以便赋予此类成像系统一定的熟悉度，并且为本公开的其他方面提供有用的真实世界情境。相对于磁共振成像(MRI)系统，并且转到图1(其中示意性地示出了一个此类系统以供参考)，初级磁场、时变磁梯度场和射频(RF)场与感兴趣的受检者(例如，患者)体内的旋磁材料之间的相互作用用于生成患者体内的结构和/或功能关系的图像或体积表示。旋磁材料(诸如水分子中的氢核)具有响应于可以以这种方式利用的外加电磁场(例如，恒定的或时变的电场、磁场，或它们的组合)的特征行为。例如，这些核的自旋的进动能够通过操纵场以产生可被检测、处理并且用于重构有用图像的RF信号来影响。

考虑到此，参考图1，磁共振成像系统10示意性地示出为包括扫描器12、扫描器控制电路14和系统控制电路16。该成像系统10还包括：远程访问和存储系统18和/或设备，诸如图像存档和通信系统(PACS)；或其它设备，诸如远程放射设备，使得能够现场访问或异地访问由成像系统10采集的数据。虽然成像系统10可包括任何合适的扫描器或检测器，但在例示的实施方案中，成像系统10包括具有壳体20的全身扫描器12，开口(例如，环形开口)穿过该壳体形成以容纳患者孔22。患者孔22可由任何合适的材料(诸如非金属材料和/或非磁性材料)制成，并且一般包括扫描器12的邻近受检者的部件。诊断台24可移入患者孔22中，使患者26可定位在其中，用于对患者26体内的所选解剖结构进行成像。如本文所述，患者孔22可包括一个或多个孔管以支撑扫描器12和/或患者26的各种部件。在一些实施方案中，患者孔22可支撑诊断台24和/或关节运动部件(例如，马达、滑轮，和/或滑块)。

扫描器12可包括用于产生受控电磁场的一系列相关联超导磁线圈，该受控电磁场用于激发被成像受检者的解剖结构内的旋磁材料。具体地，提供主磁体线圈28，以用于生成与患者孔22的轴线44大致对齐的主磁场。一系列梯度线圈30、32和34(共同称为35)允许在检查序列期间生成受控梯度磁场，以用于对患者26体内的某些旋磁核进行位置编码。RF线圈36被构造成产生射频脉冲，以刺激患者26体内的某些旋磁核。根据本公开的一个方面，RF线圈36可在线圈支撑管22上实现，从而限定患者孔38的至少一部分。另外，RF屏蔽罩42可在屏蔽罩支撑管40上实现，从而也限定患者孔22的至少一部分，以减少成像系统10内的电磁干扰以及对与成像系统10分开的设备的电磁干扰。除可位于扫描器12本地的线圈之外，成像系统10还可包括被构造成放置在患者26近侧(例如，抵靠患者)的一组接收线圈46(例如，线圈阵列)。例如，接收线圈46可包括颈椎/胸椎/腰椎(CTL)线圈、头部线圈、单面脊线圈等。一般来讲，接收线圈46放置在患者26近处或头顶，以便接收在患者26体内的某些旋磁核返回到其松弛状态时由该旋磁核产生的弱RF信号(例如，弱是相对于由扫描线圈产生的传输脉冲而言)。在一些实施方案中，RF线圈36可传输和接收RF信号，从而实现接收线圈46的作用。

成像系统10的各种线圈由外部电路控制，以产生所需的场和脉冲并且以受控方式读取来自旋磁材料的发射。在例示的实施方案中，主电源48向初级磁线圈28提供电力以产生主磁场。驱动电路50可包括放大和控制电路，以用于按照由扫描器控制电路14输出的数字化脉冲序列的限定向线圈供应电流。

提供RF控制电路52，用于调节RF线圈36的操作。RF控制电路52包括用于在有源操作模式和无源操作模式之间交替的开关设备，在两种操作模式下RF线圈36分别传输信号和不传输信号。RF控制电路52还可包括放大电路以生成RF脉冲。类似地，接收线圈46或RF线圈36(如果没有实现单独的接收线圈46)连接到开关54，该开关能够在接收模式和非接收模式之间切换接收线圈46。因此，在接收模式下，接收线圈46可与患者26体内的旋磁核释放而产生的RF信号谐振，而在非接收模式下，则避免与RF信号谐振。另外，接收电路56可接收由接收线圈46检测到的数据，并且可包括一个或多个多路复用和/或放大电路。

应当指出的是，虽然上述扫描器12和控制/放大电路被示出为由单根线连接，但可根据具体实施使用一根或多根缆线或连接器。例如，可使用单独的线进行控制、数据通信、电力传输等。此外，可沿每种类型的线设置合适的硬件，用于正确处理数据和电流/电压。实际上，可在扫描器12与扫描器控制电路14和/或系统控制电路16之间设置各种滤波器、数字转换器和处理器。

如图所示，扫描器控制电路14包括接口电路58，该接口电路输出用于驱动梯度线圈35和RF线圈36以及用于接收代表检查序列中所产生磁共振信号的数据的信号。接口电路58可连接至控制和分析电路60。基于经由系统控制电路16选择的限定协议，控制和分析电路60执行用于驱动电路50和RF控制电路52的命令。

控制和分析电路60还可用于接收磁共振信号，以及在将数据传输至系统控制电路16之前执行后续处理。扫描器控制电路14还可包括一个或多个存储器电路62，该一个或多个存储器电路在操作期间存储配置参数、脉冲序列描述、检查结果等。

第二接口电路64可将控制和分析电路60连接到系统控制电路66，以用于在扫描器控制电路14与系统控制电路16之间交换数据。系统控制电路16可包括第三接口电路68，该第三接口电路从扫描器控制电路14接收数据并且将数据和命令传输回扫描器控制电路14。与控制和分析电路60一样，系统控制电路66可包括在多用途或专用计算机或工作站中的计算机处理单元(CPU)。系统控制电路66可包括或连接至第二存储器电路70，以存储用于操作成像系统10的编程代码，以及存储经处理的图像数据以供稍后重建、显示和传输。编程代码可执行一种或多种算法，该一种或多种算法在由处理器执行时被配置为执行采集数据的重建或涉及采集的数据的其他操作。

可提供另外的输入输出(I/O)接口72，以用于与外部系统部件(诸如远程访问和存储系统18)交换图像数据、配置参数等。最后，系统控制电路66可通信地耦接到各种外围设备，以促进操作员界面并且产生重建图像的硬拷贝。在例示的实施方案中，这些外围设备包括打印机74、显示器76和用户界面78，该用户界面例如包括诸如键盘、鼠标、触摸屏(例如，与显示器76集成在一起)等设备。

在操作中，用户(例如，放射科医生)可配置和/或监督成像系统10的控制。另外，用户可帮助将受检者(例如，患者26)定位在患者孔22内。在一些实施方案中，在执行成像会话时，患者孔22可环绕整个受检者或仅环绕其一部分(例如，患者的头部、胸腔和/或末端)。

除了MRI成像系统之外，本文所讨论的某些示例还利用超声数据采集，诸如以生成使用MRI系统10扫描的相同感兴趣的解剖结构的超声图像。考虑到此，并且为了提供对此类超声成像系统的各方面的熟悉度，图2示出了超声成像系统90的实施方案的框图，该超声成像系统能够采集经历成像的患者的超声数据，包括在介入规程诸如活检期间。在所示实施方案中，超声系统90是数字采集和波束形成器系统，但是在其他实施方案中，超声系统90可以是任何合适类型的超声系统，不限于所示类型。超声系统90可包括超声探头94和工作站96(例如，监视器、控制台、用户界面)，该工作站可控制超声探头94的操作并且可处理由超声探头94所采集的图像数据。超声探头94可通过任何合适的技术耦接至工作站96，该技术用于在超声探头94和工作站96之间传输图像数据和控制信号，诸如无线、光学、同轴或其他合适的连接。

超声探头94在超声检查期间接触患者26。超声探头94可包括面向患者或接触患者的表面，该表面包括换能器阵列98，该换能器阵列具有多个换能器元件100，该多个换能器元件能够在发射模式和接收模式之间以切换方式操作。每个单独的换能器元件100均可以能够将电能转换为用于发射的机械能，以及将机械能转换为用于接收的电能。应当指出的是，换能器阵列98可被配置为双向换能器，当超声探头94被放置成与患者26接触时，该双向换能器能够在操作期间将超声波发射至受检者或患者26体内以及从受检者或患者26接收此类能量。更具体地讲，换能器元件100可将来自超声探头94的电能转换为超声波(例如，超声能量、声波)并将超声波发射至患者26体内。超声波可诸如从患者26的组织被反射回换能器阵列98，并且换能器元件100可将从患者26接收的超声能量(反射的信号或回波)转换为电信号，用于由超声探头94和工作站96处理，以提供可被分析的数据。换能器阵列98中的换能器元件100的数量和换能器元件100操作的频率可根据应用而变化。在某些实施方案中，探头94可包括图2中未示出的附加元件，诸如附加电子器件、数据采集、处理控件等。

如先前所讨论的，超声探头94通信地耦接至超声成像系统90的工作站96，以有利于图像收集和处理。如将了解的，工作站96可包括多个部件或特征以控制超声探头94的操作，有利于超声探头94的放置和/或引导，并且有利于超声数据(包括重建的超声图像)的产生和/或解释。例如，如所示出的，工作站96可包括控制器104、处理电路106、一个或多个用户输入设备108和显示器110。在某些实施方案中，工作站96可包括图2中未示出的附加元件，诸如附加数据采集和处理控件、附加图像显示面板、多个用户界面等。

控制器104可包括存储器112和处理器114。在一些实施方案中，存储器112可包括一个或多个有形的、非暂态计算机可读介质，该介质存储能够由处理器114执行的指令和/或待由处理器114处理的数据。例如，存储器112可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘等。另外，处理器114可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任何组合。控制器104可控制超声波经由换能器阵列98传输至患者26体内。

处理电路106可包括接收和转换电路。处理电路106可从超声探头94的换能器阵列98接收表示从患者26体内的组织界面返回的反射超声能量的电信号数据。处理电路106可处理来自换能器阵列98的数据，诸如校正噪声伪影等。处理电路106然后可将信号数据转换成超声图像以用于经由显示器110呈现。控制器104可使一个或多个超声图像(或者基于此类图像或原始图像数据生成的构造或模型)显示，该图像由处理电路106根据从超声探头94的换能器阵列98接收的信号数据产生。

在操作中，控制器104可经由工作站96的一个或多个用户输入设备108接收指示患者26的目标解剖结构和/或目标解剖结构的目标扫描平面的信号。一个或多个用户输入设备108可包括键盘、触摸屏、鼠标、按钮、开关或适于允许操作者输入目标解剖结构和/或目标解剖结构的期望扫描平面的其他设备。基于目标解剖结构和/或目标解剖结构的目标扫描平面，控制器104可向超声探头94的换能器阵列98输出信号，该信号指示指令，以将来自超声探头94的电能转换为超声波并且将超声波发射至患者26体内以及检测从患者26体内的组织界面反射回的超声能量。

考虑到前面的评论，图3示出了组合MR和超声成像系统130的实施方案的示意图，其可以用于放射治疗或其他治疗或外科或介入规程的非侵入性运动管理，如本文所述。组合MR和超声成像系统130可以类似于2018年1月12日提交的名称为“Image-guided BiopsyTechniques(图像引导活检技术)”的美国专利申请号15/870,519中描述的系统，该申请可以以引用的方式全文并入本文。组合MR和超声成像系统130包括磁共振(MR)成像系统10和超声成像系统90。超声成像系统90可以通信地耦接到MR兼容超声探头132。MR兼容超声探头132可以是被配置为与MR成像系统10结合使用的超声探头。因此，MR兼容超声探头(如2018年2月15日提交的名称为“Magnetic Resonance Compatible Ultrasound Probe”(磁共振兼容超声探头)的美国专利申请号15/897,964中所述，该申请可以以引用的方式全文并入本文)可以包含低含量或不包含铁磁材料(例如，铁、镍、钴)，如参照图1更详细讨论的。

为了便于更简单的工作流程，超声探头132可能够以高时间分辨率进行三维(3D)体积采集，以允许在每个时间点采集超声图像体积。此外，除了MR兼容之外，3D超声探头132可以是电子可操纵和免提的。这允许超声图像视野被电子操纵，从而不需要机器人或机械超声探头保持器来改变成像视野。以这种方式，可以容易地采集同时的MR图像和超声图像。此外，在介入规程(例如，活检)期间，可以以与介入前MR+超声规程期间大致相同的方式毫不困难地使用和定位相同的超声探头。这进一步简化了工作流程，因为在介入前和介入程序之间使用了大致相同的成像设置，并且使用了相同的超声探头和采用了相同的方式。来自MR和超声系统的数据可被流式传输到存储器系统134并存储在该存储器系统中，该存储器系统包含经过训练的网络模型136，如本文更详细地讨论，并且可以连接到其他数据存储或处理系统。

虽然前述内容描述了可在规程(例如，活检前或其他介入规程)之前使用的组合成像系统的相关或所使用方面，但系统的其他方面可为相关的或在规程(例如，活检)期间使用。以举例的方式，在规程期间，活检系统152可存在并且可利用使用组合成像系统130收集的信息。在该示例中，活检系统152表示介入部件，在其他情境下，该介入部件可以是放射治疗系统、外科介入系统或另一个医学介入部件。在一些实施方案中，活检系统152可以是经会阴活检系统。如下面更详细讨论的，活检系统152可以由通过MR成像系统10获得的图像结合通过超声成像系统90获得的图像来引导。

应当注意，本文所描述的系统和过程需要活检规程或介入规程中的两个阶段，即活检前阶段(例如，患者专用的规划阶段)，其中进行同时的MR和超声成像；以及活检阶段或规程(例如，介入/治疗阶段)，其中进行超声成像。考虑到此，组合MR和超声成像系统130还可以包括系统控制器块140，该系统控制器块通信地耦接到组合MR和超声成像系统130的其他元件，包括MR成像系统10、超声成像系统90和治疗(例如，活检)系统152。控制器140可包括存储器134和处理器138。在一些实施方案中，存储器134可包括一个或多个有形的、非暂态计算机可读介质，该介质存储能够由处理器138执行的指令和/或待由处理器138处理的数据。例如，存储器134可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘等。另外，处理器138可包括一个或多个通用微处理器、一个或多个图形处理单元(GPU)、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任何组合。此外，存储器134可以存储能够由处理器138执行的指令，以执行本文描述的方法。另外，存储器134可以存储通过MR成像系统10和超声成像系统90获得的图像和/或由处理器138利用的算法，以基于来自MR成像系统10和超声成像系统14的图像输入来帮助引导活检系统152，如下面更详细讨论的。存储器134还可以存储神经网络136，当被训练时，该神经网络用作基于无监督深度学习的可变形配准网络，如下面更详细描述的。在某些实施方案中，系统可耦接到包括神经网络136的远程数据库，而不是直接结合神经网络136。此外，控制器140可以包括显示器144，其可以用于显示由MR成像系统10和超声成像系统90获得的图像。

应当注意，采集的MR图像和超声图像的类型可能不同。为了效率并且也为了匹配采集帧率，一个实施方案具有随着时间推移与三维(3D)超声图像同时采集的二维(2D)MR图像，即，在每个时间点将时间序列2D MR图像与时间序列3D超声图像匹配。在这种情况下，时间序列3D超声图像中的内源性基准结构/标记可能对于时间序列2D MR图像不常见。在某些实施方案中，MR图像和/或超声图像可以是随时间推移采集的叠加2D图像。

另选地，将时间序列2D MR图像分类成对应的集合，每个集合表示相同的呼吸状态，可以生成与时间序列3D(4D)超声图像在时间上匹配的重新格式化的时间序列3D(4D)MR图像。这增加了超声图像中的内源性基准结构/标记在MR图像中常见的可能性。然而，即使不是这种情况，下面公开的技术也提供MR图像和超声图像之间的充分匹配或配准。在另一个实施方案中，以足够快的采集速度，时间序列3D(4D)MR图像与时间序列3D(4D)超声图像同时采集，以产生在时间上匹配的对应时间序列3D体积图像。由于在参考时间点设置的MR图像和对应的超声图像体积是在同一时间点采集的，所以在MR和超声中可视化的感兴趣器官具有相同的形状、取向和特征轮廓，使得MR到超声的变换更容易进行。

考虑到前述内容，并且使用前列腺活检示例来提供真实世界情境并便于解释，在常规临床实践中，通常仅采集活检前MR体积(具有相位阵列表面线圈)。通常不使用经直肠超声(TRUS)探头来执行前列腺的活检前评估。相反，在活检规程的当天，患者经受两次TRUS探头插入。在第一次TRUS规程中，执行前列腺的2D扫描以重建前列腺的3D超声体积。随后在耗时过程中将超声体积与活检前MR体积对齐，该耗时过程涉及在两种模态下对前列腺轮廓进行手动轮廓修整。第二次TRUS规程在活检规程期间执行并且用于图像引导。如可以理解的，由于患者定位差异、生理状况(比如肠填充或直肠中的气体，以及活检前成像会话和活检成像会话之间的膀胱填充)引起的变形可能导致MR信息的准确整合和用于活检引导的不良病变定位的困难。

如本公开中所讨论的，描述了一种方法，该方法包括在活检前阶段中同时或几乎同时(例如，在时间上连续)采集MR和经腹部超声(TAUS)前列腺图像，诸如可以用MR兼容的3D超声探头采集。经腹部前列腺成像的使用虽然自身不足以诊断恶性肿瘤，但仍可足以评估前列腺体积。此外，TAUS成像可以解决与TRUS成像相关的某些问题，诸如患者不适和由于TRUS探头插入引起的前列腺变形。根据本公开，活检前TAUS图像数据与来源于活检前MRI的信息整合，这提供了有用的前列腺组织对比度并且也是用于评估前列腺疾病的有用诊断工具。因此，与现有方法不同，本公开包括同时或几乎同时的活检前MR和TAUS成像，然后将其用于前列腺活检情境中的指导。与TRUS相比，TAUS探头提供患者舒适度，并且不会由于探头插入而使前列腺变形。此外，在某些情境下，可采用经会阴活检来代替经直肠活检，以便降低与直肠中增加的细菌相关联的感染风险。

考虑到前述情况，并且转到图4和图5，示出了一对工作流程。在规划阶段(在图4中示出)期间，采集活检前2D MR切片(步骤162)。将这些2D MR切片重建成一个或多个3D MR体积164。然后通过自动分段方法或由放射科医生手动地对重建的3D MR体积164上的感兴趣的解剖结构，诸如前列腺进行分段(步骤170)。在该示例中，该分段步骤170导致前列腺轮廓172在活检前重建MR体积164上被识别和/或标记。随着前列腺被分段，存在于重建3D MR体积164中的病变也通过自动分段方法或由放射科医生手动地分段(步骤166)。虽然为了简单起见并且为了便于解释而示出为单独的分段步骤，但是应当理解，分段步骤166和170可以是相同的分段操作(即，由相同的自动例程或过程执行或者在相同的手动评估步骤中执行)。在步骤166处，病变的分段导致在活检前重建MR体积164上描绘病变轮廓168。

在MR成像的同时或之后(例如，在时间上连续的扫描中)，采集活检前3D经腹部超声(TAUS)体积(步骤174)(诸如使用MR兼容的超声探头)。3D TAUS体积可能需要纵向体积帧并且是活检前超声图像数据集的一部分。在本示例中，这些3D TAUS体积被重建成一个或多个代表性3D TAUS体积176。然后通过自动分段方法或由放射科医生手动地在重建的3DTAUS体积176内对感兴趣的解剖结构，诸如在该示例中的前列腺进行分段(步骤178)。该分段步骤178导致前列腺轮廓180在活检前重建的TAUS体积176内被标记或以其他方式识别。

一旦采集了活检前MR和TAUS轮廓，就使用一个或多个合适的对齐例程来执行基于表面的可变形对齐(步骤182)，以生成其中超声图像数据和MR图像数据对齐的活检前体积184。该规划阶段对齐可至少基于MR前列腺轮廓172和TAUS轮廓180。在对齐步骤182中，MR前列腺轮廓172与TAUS前列腺轮廓180对齐，并且在本示例中，这些对齐的前列腺轮廓与MR病变轮廓168整合。实现基于表面的对齐算法有助于考虑到感兴趣的解剖结构(例如，前列腺)的活检前变形，并且因此可有助于对齐活检前MR轮廓和活检前TAUS轮廓。此外，由于同时或几乎同时采集，诸如在切片和体积的时间上连续的扫描中，可以改善活检前MR轮廓和活检前TAUS轮廓的对齐精度。由于基于表面的可变形对齐，创建了活检前TAUS体积184，其中TAUS前列腺轮廓180与MR前列腺轮廓172对齐，并且其中MR病变轮廓168是整合的。

作为规划阶段的一部分，还生成可变形变换模型188以说明前列腺本身的移动或由周围器官的移动或由生理功能引起的前列腺的变形。在该示例中，可以至少部分地基于活检前TAUS体积174来训练深度学习的患者专用变换模型(步骤186)，以捕获活检前TAUS体积174的运动范围。所得的变形变换模型188捕获在活检前TAUS体积内的前列腺运动范围，并且可以随后用于帮助将后续超声体积映射到MR体积164和病变轮廓168所映射到的活检前体积184。

转到图5，在活检阶段期间，使用MR兼容的3D探头或另一种合适的探头来采集3D活检TAUS体积194(步骤192)，该MR兼容的3D探头可由活检前采集留在适当的位置。3D活检TAUS体积可能需要纵向体积帧并且是活检超声图像数据的一部分。可以在活检期间采集的TAUS体积194与活检前体积之间执行可变形对齐步骤196。例如，在活检阶段期间在步骤196处执行的对齐可以利用3D活检TAUS体积194、来自规划阶段的可变形变换模型188以及活检前体积184，其中TAUS前列腺轮廓180与MR前列腺轮廓172对齐并与MR病变轮廓168整合。可变形对齐196产生实时活检TAUS体积198，其中MR前列腺轮廓172和/或病变轮廓168覆盖在活检期间采集的TAUS体积194上(或以其他方式与该TAUS体积一起显示)。

基于实时变换图像，可在活检期间或之后诸如通过如本文所述的图像采集和/或分析系统向外科医生或病理学家提供指导，以有利于活检和/或评估活检后规程。例如，此类指导可包括基于实时变换图像来显示图像或图像序列(框198)，外科医生或病理学家可参考该图像或图像序列来执行活检或评估活检。在其他情境下，虚拟或增强现实技术例如可在为外科医生或病理学家显示的图像上显示一个或多个病变。

所公开的实施方案的技术效果包括提供与自动多模态成像相关的系统和方法，该自动多模态成像利用解剖分段来促进对移动(即，动态)解剖对象的实时跟踪中的准确引导。具体地讲，在一个实施方案中，使用活检前超声体积来创建可变形变换模型，以最终帮助将活检前MRI覆盖到活检超声域。基于可变形变换的此类对齐对于在常规医疗规程中经常遇到的强度变化和超声成像伪影而言更快、更准确并且稳健。此外，在一个实施方案中，MR兼容的超声探头用于在活检前阶段同时采集MRI和超声。此类采集提高了图像对齐精度，并且允许后续可变形图像对齐的更好初始化。当使用用于引导的实时超声充分变形时，活检前MRI图像可导致外科切除规程的进展的高组织对比度可视化。

本公开中的技术可适用于与自动结构引导的刚性、仿射或可变形对齐相关的其他问题。待对齐的结构可使用可变形变换模型自动地分段。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。