技术领域
本公开一般涉及器官中的病变定位。更具体而言，本公开描述了用于使用器官的超声图像表示和计算机化断层摄影图像表示来定位受试者的器官中的病变(诸如人的肝脏中的肿瘤)的计算机化方法和系统的各种实施例。
背景技术
肝癌是全球第六大最常见的癌症，并且一些统计数据表明，2012年全球诊断出约782,000例新病例。肝肿瘤的手术切除被认为是治疗的黄金标准。被诊断患有肝癌的患者中约有20％适合进行开放手术。针对其他患者的替代治疗是超声(US)指导射频消融(RFA)。因为消融尺寸相对较小，所以消融肝肿瘤需要多次施加RF波。然而，由初始施加造成的气泡或出血可能随后会降低US图像上肝肿瘤的可见性，由此减小消融疗效。
介入内(intra-intervention)US图像与介入前(pre-intervention)计算机化断层摄影(CT)图像的图像融合或配准能够改善RFA期间的肿瘤定位。然而，存在归因于呼吸、姿态位置、以及US图像与CT图像的相似性测量的困难。US和CT具有不同的成像原理，这导致相同器官的不同表观。另外，US图像的视场受限，并且US图像通常获取肝脏内的很少细节，而CT图像则更详细。
参考文献[16]描述了三维(3D)US图像与3D-CT图像的图像融合。3D-US图像可使用3D-US扫描仪来获取，从一系列二维(2D)US扫描中被重建，或从3D-CT图像中被模拟。然而，3D-US扫描仪在医院或其他医疗机构中并不广泛可用。而且，3D-US模拟和重建是复杂、耗时的且容易产生临床医生所引入的差错。3D-US图像的使用因而对肝肿瘤的定位提出了挑战。
因此，为了解决或减轻前述问题和/或缺点中的至少一者，需要提供一种用于使用器官的US图像表示和CT图像表示来定位受试者的器官中的病变的改进的系统和计算机化方法。
发明内容
根据本公开的一方面，存在一种用于定位受试者的器官中的病变的系统和计算机化方法。该系统包括用于获取器官的二维超声(2D-US)图像表示的换能器探头；以及与换能器探头可通信的计算机设备。该计算机设备包括配置成用于执行该方法的步骤的图像配准模块和定位模块。该方法包括执行：第一图像配准操作，该第一图像配准操作用于基于器官的2D-US图像表示与三维计算机化断层摄影(3D-CT)图像表示的对准来确定刚性变换矩阵，该2D-US图像表示是从换能器探头获取的；第二图像配准操作，该第二图像配准操作用于基于2D-US图像表示和3D-CT图像表示的图像特征描述符来精化刚性变换矩阵；以及定位操作，该定位操作用于基于精化的刚性变换矩阵和病变在3D-CT图像表示中的3D-CT位置来相对于换能器探头定位病变。
本公开的优点在于，通过使用2D-US图像表示和3D-CT图像表示以及对刚性变换矩阵的精化，改善了对器官中的病变的定位。可以与诸如射频消融等图像指导介入规程协作地执行定位来靶向病变以供更有效的消融。
因而，在此公开了根据本公开的用于使用器官的US图像表示和CT图像表示来定位受试者的器官中的病变的系统和计算机化方法。从以下仅通过非限制性示例的方式对本公开的实施例的详细描述以及附图，本公开的各种特征、方面和优点将变得更加显而易见。
附图描述
图1是用于定位受试者的器官中的病变的系统的示意图解。
图2是用于定位受试者的器官中的病变的计算机化方法的流程图图解。
图3是该方法的校准操作的流程图图解。
图4A是该方法的第一图像配准操作的流程图图解。
图4B是2D-US图像表示的图解。
图4C是来自2D-US图像表示与3D-CT图像表示的基于基准的对准的第一经对准图像表示的图解。
图5A是该方法的第二图像配准操作的流程图图解。
图5B是来自2D-US图像表示与3D-CT图像表示的基于特征的对准的第二经对准图像表示的图解。
图5C解说了2D-US图像表示与3D-CT图像表示的多模态相似性度量。
图6是该方法的定位操作的流程图图解。
图7是该方法的伪代码的图解。
图8A是吸气阶段的2D-US图像表示和3D-CT图像表示以及多模态相似性度量的图解。
图8B是呼气阶段的2D-US图像表示和3D-CT图像表示以及多模态相似性度量的图解。
图9是该方法与其他已知方法的性能比较表的图解。
图10是消融装备的图解。
详细描述
在本公开中，在特定附图中对给定元素的描绘或对特定元素编号的考虑或使用或在对应描述性材料中对其的引用可以包含在另一幅图或与之关联的描述性材料中所标识的相同、等同或类似元素或元素编号。除非另外指出，否则在附图中或相关联的文本中使用“/”应理解为意指“和/或”。本文中对特定数值或值范围的叙述应理解为包括或为对近似数值或值范围的叙述。
为了简洁和清楚起见，根据附图，本公开的各实施例的描述针对用于使用器官的超声图像表示和计算机化断层摄影图像表示来定位受试者的器官中的病变的系统和计算机化方法。尽管将结合本文提供的各实施例描述本公开的各方面，但是应当理解，它们并不旨在将本公开限制于这些实施例。相反，本公开旨在覆盖本文描述的各实施例的替代、修改和等同物，这些被包括在如由所附权利要求限定的本公开的范围内。此外，在以下详细描述中，阐述了具体细节以便提供对本公开的透彻理解。然而，具有本领域中普通技能的个人(即，本领域技术人员)将认识到，可以在没有特定细节的情况下和/或在具有由特定实施例的各方面的组合产生的多个细节的情况下实践本公开。在数个实例中，未详细描述已知的系统、方法、规程和组件，以免不必要地使本公开的各实施例的各方面模糊。
在本公开的参考图1的代表性或示例性实施例中，存在一种系统100，其被配置成用于执行用于定位受试者的器官中的病变的计算机化或计算机实现的方法200。具体而言，系统100包括计算机设备102，该计算机设备102具有被配置成用于执行方法200的处理器104和各种组件/模块，包括校准模块106、图像配准模块108和定位模块110。
如本文中所使用的，术语组件和模块通常旨在指代计算机相关实体，要么是硬件、硬件和软件的组合、软件、要么是执行中的软件。例如，组件或模块可以是但不限于在处理器上运行的进程、处理器、对象、可执行件、执行的线程、程序、和/或计算机。附加地，处理器104以及模块106、108和110被配置成用于执行方法200的各种操作/步骤，并且被配置为处理器104的一部分。每个模块106/108/110包括用于执行方法200的各种操作/步骤的合适的逻辑/算法。此类操作/步骤响应于由处理器104操作或执行的非瞬态指令来执行。
系统100进一步包括超声(US)设备112和连接至它的换能器探头114，以用于获取器官的US图像表示。计算机设备102通信地连接至US设备112和换能器探头114或能与US设备112和换能器探头114通信，以用于接收从在受试者上使用的换能器探头114获取的US图像表示。具体而言，US设备112和换能器探头114被配置成用于获取包括病变的器官的二维超声(2D-US)图像表示116。
系统100进一步包括参考位置传感器118，该参考位置传感器118设置在换能器探头114上，具体地设置在其端部处。参考位置传感器118被校准以定位病变并确定病变相对于换能器探头114/参考位置传感器118的位置。
进一步参考图2，用于定位受试者的器官中的病变的方法200包括数个阶段。具体而言，方法200包括由校准模块106执行校准操作300的可任选的校准阶段202、由图像配准模块108执行第一图像配准操作400的第一阶段204、由图像配准模块108执行第二图像配准操作500的第二阶段20、以及由定位模块110执行定位操作600的第三阶段208。
受试者可以是人或动物，诸如猪或牲口。如本文中所使用的，病变被定义为器官中由于损伤或疾病而已遭受损害的区域。病变的非限制性示例包括伤口、溃疡、脓肿和肿瘤。病变，尤其是肿瘤，可存在于诸如肺、肾和肝等器官中。在一些实施例中，方法200由系统100执行以定位猪或牲口的肝脏中的肿瘤。
在一些实施例中，方法200包括校准阶段202。校准操作300由计算机设备102的校准模块106执行以校准换能器探头114。具体而言，校准操作300包括定义换能器探头114的参考坐标系，其中病变在参考坐标系中被定位。在一些其他实施例中，在执行方法200以相对于换能器探头114定位病变之前已预先校准换能器探头114。
在第一阶段204中，第一图像配准操作400由计算机设备102的图像配准模块108执行，以基于器官的2D-US图像表示116与三维计算机化断层摄影(3D-CT)图像表示120的对准来确定刚性变换矩阵，该2D-US图像表示116是从换能器探头114获取的。在第二阶段206中，第二图像配准操作500由图像配准模块108执行，以基于2D-US图像表示116与3D-CT图像表示120的图像特征描述符来精化刚性变换矩阵。在第三阶段208中，定位操作600由计算机设备102的定位模块110执行，以基于精化的刚性变换矩阵和病变在3D-CT图像表示120中的3D-CT位置来相对于换能器探头114定位病变。
参考图3，在第一图像配准操作400之前执行的可任选的校准操作300包括检测设置在换能器探头114上的参考位置传感器118的步骤302。校准操作300进一步包括定义参考位置传感器118的参考坐标系的步骤304。校准操作300进一步包括基于参考坐标系执行换能器探头114的所述校准的步骤306。
换能器探头114/参考位置传感器118的参考坐标系包括参考原点和三个参考正交轴以表示3D空间。由于参考位置传感器118被设置在换能器探头114上，因此2D-US图像表示116上的2D-US病变位置可被变换至参考坐标系，由此根据参考原点和三个参考正交轴在参考坐标系中定位并找到病变。
在参考图4A的许多实施例中，第一图像配准操作400包括获取2D-US图像表示116的步骤402。在一个实施例中，从图像数据库122检索2D-US图像表示116，该图像数据库122存储从多个受试者预先获取的多个2D-US图像表示。在另一实施例中，步骤402包括接收从在受试者上使用的换能器探头114获取的2D-US图像表示116。例如，2D-US图像表示116在用于治疗病变的介入规程(诸如射频消融(RFA)，其通常在诸如US图像等图像指导下进行)期间被获取自换能器探头114。介入规程也可称为图像指导介入(IGI)。由于2D-US图像表示116在RFA期间被获取以指导介入规程，因此2D-US图像表示116也可被称为介入内2D-US图像表示116。图4B解说了2D-US图像表示116的示例。
第一图像配准操作400包括获取3D-CT图像表示120的步骤404。具体而言，步骤404包括从图像数据库122检索从受试者预先获取的3D-CT图像表示120。3D-CT图像表示120是在IGI或RFA之前从受试者获取，并被存储在图像数据库122中的，并且也可因而被称为介入前3D-CT图像表示120。图像数据库122存储从多个受试者预先获取的多个3D-CT图像表示。图像数据库122可以本地地驻留在计算机设备102上，或者替代地驻留在通信地链接到计算机设备102的远程或云设备上。3D-CT图像表示120是由堆叠在一起的多个2D-CT图像表示或切片共同形成的图像体积。每个2D-CT图像表示具有有限的厚度，并表示器官的轴向/横断图像。将领会的是，步骤402和404可按任何顺序或同时地执行。
第一图像配准操作400进一步包括在3D-CT图像表示120中的3D-CT病变位置周围定义三个或更多个CT基准标记的步骤406、以及在2D-US图像表示116中定义与CT基准标记相对应的三个或更多个US基准标记的步骤408。将领会的是，步骤406和408可按任何顺序或同时地执行。基准标记是放置在由计算机设备102执行以用于处理图像表示116和图像表示120的成像或图像处理应用的视场中的虚拟对象(诸如点)。US基准标记和CT基准标记分别出现在图像表示116和图像表示120中，以供用作参考点或测量点。
在2D-US图像表示116和3D-CT图像表示120中的相应病变位置周围定义基准标记时，首先在病变周围任意地标识可见的解剖结构。例如，解剖结构是可以包括其中它们可被更容易地标识的血管和/或血管分叉/结/角的血管组织，诸如门静脉和门静脉分叉。相应地，基准标记对病变周围的血管组织进行标记。
第一图像配准操作400进一步包括基于CT基准标记定义CT坐标系的步骤410、以及基于US基准标记定义US坐标系的步骤412。将领会的是，步骤410和412可按任何顺序或同时地执行。US坐标系和CT坐标系中的每一者是穿过相应US基准标记和CT基准标记的平面。平面可以由至少三个非共线点来定义。在一个实施例中，存在三个US基准标记和在位置上与US基准标记相对应的三个CT基准标记。US坐标系是穿过所有三个US基准标记的平面，而CT坐标系是穿过所有三个CT基准标记的平面。在另一实施例中，存在三个以上(例如，四个、五个或更多个)US基准标记和相同数目的对应CT基准标记。US坐标系是穿过或最适合所有US基准标记的平面，而CT坐标系是穿过或最适合所有CT基准标记的平面。例如，由于CT坐标系是基于3D-CT图像表示120中的该三个或更多个CT基准标记被定义的，因此该三个或更多个CT基准标记中的一个或多个CT基准标记可驻留在CT坐标系之外，因为平面可以由任何三个CT基准标记来定义。
US坐标系和CT坐标系中的每一者包括参考原点、三个正交轴以表示3D空间，其中这三个正交轴之一是垂直于该坐标系或平面的法线轴。附加地，每个参考原点可以沿着相应法线轴重合。
第一图像配准操作400进一步包括使US坐标系与CT坐标系对准以由此确定刚性变换矩阵的步骤414。所述对准是基于2D-US图像表示116与3D-CT图像表示120之间的基准标记的对应关系。由于基准标记可以标记血管分叉以供更简单的标识，因此基准标记之间的对应关系可被更容易地找到。可任选地，存在验证对准是否可接受的步骤416。具体而言，步骤416验证基准标记之间的对应关系是否可接受。如果对准是不可接受的，诸如如果一对US基准标记和CT基准标记不在病变位置周围的同一位置处，则重复步骤406和/或408。相应地，可以重复步骤406和/或408，使得以交互方式来任意地定义US基准标记和CT基准标记。可因而经由步骤416通过精化或细调基准标记直至对准是可接受的来达成改进的准确度。
如果对准是可接受的，则步骤416行进至基于2D-US图像表示116与3D-CT图像表示120的对准来确定一组刚性几何变换的步骤418。具体而言，该组刚性几何变换是基于US坐标系与CT坐标系的对准来确定的。图4C解说了第一经对准图像表示124，其是基于基准标记的2D-US图像表示116与3D-CT图像表示120的对准的示例。
刚性变换或等距(isometry)是保留每对点之间的长度或距离的变换。刚性变换包括反射、平移、旋转、以及这三种变换的组合。可任选地，刚性变换排除反射，使得刚性变换还保留取向。在许多实施例中，刚性变换矩阵基于包括旋转和/或平移的一组刚性几何变换来被确定。具体而言，旋转被定义为US坐标系和CT坐标系的法向轴绕三个正交轴的角旋转，并且平移被定义为US坐标系与CT坐标系的参考原点之间沿三个正交轴的线性平移。绕/沿着三个正交轴的旋转和/或平移因而表示多达六个自由度，其指代刚体在3D空间中的移动自由度。此外，旋转和/或平移的每一者与尺寸参数相关联，诸如旋转角度和平移距离。基于2D-US图像表示116与3D-CT图像表示120的理想对准、或更理想地基于US坐标系与CT坐标系的理想对准以使得参考原点重合以及法线轴共线来确定该组刚性几何变换。
第一图像配准操作400进一步包括基于该组刚性几何变换来执行对刚性变换矩阵的所述确定的步骤420。在2D-US图像表示116和3D-CT图像表示120之一上的点或位置经由刚性变换矩阵可变换至另一图像表示。例如，首先在CT坐标系中定义3D-CT图像表示120中的体素。该体素接着经由刚性变换矩阵被变换至US坐标系，由此将该体素定位在US坐标系中。该体素可表示3D-CT图像表示120中的病变位置，并且可因而经由刚性变换矩阵相对于2D-US图像表示或更具体地在US坐标系中定位病变。
在一些实施例中，US坐标系与换能器探头114/参考位置传感器118的参考坐标系等同。在一些其他实施例中，US坐标系通过参考刚性变换而与参考坐标系不同。相应地，US坐标系/CT坐标系中的点或位置可变换至参考坐标系，使得这些位置被定位在参考坐标系中并相对于换能器探头114/参考位置传感器118被定位。
刚性变换矩阵表示2D-US图像表示116与3D-CT图像表示120的初始对准。然而，由于US基准标记和CT基准标记是任意地定义的，因此2D-US图像表示116和3D-CT图像表示120，或更具体地US坐标系和CT坐标系可能没有被恰适地对准。例如，参考原点可能是重合的，但法线轴可能不是共线的，或反之亦然。因而，在第一图像配准操作400中确定的刚性变换矩阵经受第二图像配准操作500以精化刚性变换矩阵。
参考图5A，第二图像配准操作500包括基于2D-US图像表示116的图像特征描述符来生成US特征图像表示的步骤502、以及基于3D-CT图像表示120的图像特征描述符来生成CT特征图像表示的步骤504。将领会的是，步骤502和504可按任何顺序或同时地执行。
图像特征描述符是基于从2D-US图像表示116和3D-CT图像表示120提取的血管组织的复合特征的。例如，器官是肝脏，并且血管组织包括肝血管。肝血管的复合特征描述了它们的密度和局部形状/结构属性。密度特征是利用高斯混合模型估计的肝血管的相对密度。肝血管的局部形状特征利用3D Hessian矩阵或基于矩阵的滤波器来被测量。密度特征是从肝脏的2D-US图像表示116和3D-CT图像表示120估计的，并且局部形状特征是使用3DHessian矩阵的特征值来测量的(参考文献[25]和[26])。
在3D-CT图像表示120的体素处的局部形状特征被计算为：
λ
在一些实施例中，US特征图像表示和CT特征图像表示是使用图像配准模块108所采用的基于监督学习的方法或框架(诸如支持向量分类器(SVC))来生成的。在步骤502和504中，肝脏的2D-US图像表示116和3D-CT图像表示120中的肝血管的复合特征是使用SVC来提取的，并且US特征图像表示和CT特征图像表示是使用复合特征的图像特征描述符来生成的。
图像配准模块108可以使用来自一组训练图像的训练数据来训练以用于分割血管组织，尤其是肝血管，并且用于确定图像特征描述符以生成US特征图像表示和CT特征图像表示。训练图像可被选择为包括那些表示血管组织/肝血管的训练图像。训练数据包括训练图像中的血管组织/肝血管的密度和局部形状特征。训练数据接着被输入到SVC以训练图像配准模块108。
第二图像配准操作500进一步包括基于2D-US图像表示116与3D-CT图像表示120的图像特征描述符以及对该组刚性几何变换的迭代精化来迭代地确定模态相似性度量的步骤506。具体而言，基于US特征图像表示与CT特征图像表示以及对刚性几何变换的迭代精化的迭代来执行确定模态相似性度量的每次迭代。迭代精化是基于一个或多个自由度(即从一个到六个自由度的任何数目)中的调整的，以精化或细调与旋转/平移相关联的尺寸参数。
第二图像配准操作500进一步包括标识具有图像特征描述符的最大相关性的最大多模态相似性度量的步骤508，该最大多模态相似性度量对应于一组经精化的刚性几何变换。具体而言，最大多模态相似性与US特征图像表示与CT特征图像表示的最大相关性相关联。最大相关性是使用收敛迭代方法(诸如梯度下降算法)来确定的。
相应地，在步骤506中，对刚性几何变换的精化被迭代地做出，并且为每次精化迭代确定多模态相似性度量。迭代精化导致多模态相似性度量收敛到最大多模态相似性度量。精化的更多迭代将导致多模态相似性度量更接近最大值。该组精化的刚性几何变换是基于精化的最终迭代来确定的。
第二图像配准操作500进一步包括基于该组经精化的刚性几何变换来执行对刚性变换矩阵的所述精化的步骤510。图5B解说了第二经对准图像表示126，其是2D-US图像表示116与3D-CT图像表示120基于特征图像表示和该组精化的刚性几何变换的经精化的对准的示例。
在参考图5C的一些实施例中，多模态相似性度量是使用互信息(MI)测量和相关系数(CC)测量来确定的。出于比较目的，多模态相似性度量是基于原始图像表示(即在第一图像配准操作400之后的2D-US图像表示116和3D-CT图像表示120)并基于对应的US特征图像表示和CT特征图像表示来确定的。原始图像表示基于密度特征进行比较，并且特征图像表示基于复合特征进行比较。此外，在2D-US图像表示116中，感兴趣区域(ROI)被标识以确定多模态相似性度量。ROI包括局部血管信息，诸如血管分叉。
图5C解说了与经精化的对准相关联的最大多模态相似性度量的MI测量和CC测量。在MI测量和CC测量两者中，强度越高，则相似性越高。具有最高强度的区域或最亮区域指示局部/全局极大值。对于原始图像表示，经精化的对准导致MI测量和CC测量两者的局部最大值。原始图像表示可能不是用于使用此类多模态相似性度量比较图像的可靠性。另一方面，对于特征图像表示，经精化的对准导致MI测量和CC测量两者的全局最大值。值得注意的是，在CC测量中，存在一个孤立的最大峰，其是为确定最大多模态相似性度量而选择的全局最大值。
第二图像配准操作500因而精化刚性变换矩阵，该刚性变换矩阵改善了2D-US图像表示116与3D-CT图像表示120的对准。2D-US图像表示116与3D-CT图像表示120之一上的点或位置经由经精化的刚性变换矩阵可变换至另一图像表示，并因此可变换至参考坐标系，使得这些位置被定位在参考坐标系中并相对于换能器探头114/参考位置传感器118被定位。
参考图6，定位操作600包括标识病变在3D-CT图像表示120中的3D-CT位置的步骤602。3D-CT病变位置基于经精化的刚性变换矩阵而被变换至参考坐标系，由此将病变定位在参考坐标系中并相对于换能器探头114/参考位置传感器118定位病变。具体而言，定位操作600包括经由经精化的刚性变换矩阵将3D-CT病变位置从3D-CT图像表示120变换至2D-US图像表示116的步骤604。定位操作600进一步包括将经变换的3D-CT病变位置变换至换能器探头114/参考位置传感器118的参考坐标系的步骤606。在一个实施例中，参考坐标系与2D-US图像表示116的US坐标系等同。在另一实施例中，US坐标系通过参考刚性变换而与参考坐标系不同。定位操作600进一步包括预测参考坐标系中的病变位置的步骤608。
有利地，方法200使用器官的2D-US图像表示116和3D-CT图像表示120以及对用于2D-US图像表示116与3D-CT图像表示120的对准的刚性变换矩阵的精化来改善对受试者的器官中的病变(诸如肝肿瘤)的定位。在图7中示出了用于方法200的伪代码700的示例。
进行了实验研究以评估用于定位器官中的病变的方法200的性能。执行方法200以在呼吸循环中定位猪的肝脏中的靶向肿瘤。使用换能器探头114在猪的相同位置上获取肝脏的2D-US图像表示116，包括在吸气阶段结束时的2D-US图像表示116a和在呼气阶段结束时的2D-US图像表示116b。从同一头猪在相同位置处预先获取肝脏的3D-CT图像表示120，包括在吸气阶段结束时的3D-CT图像表示120a和在呼气阶段结束时的3D-CT图像表示120b。
方法200中的第一图像配准操作400和第二图像配准操作500在吸气阶段结束时配准2D-US图像表示116a和3D-CT图像表示120a，并在呼气阶段结束时配准2D-US图像表示116b和3D-CT图像表示120b。参考图8A(吸气阶段)和图8B(呼气阶段)，在2D-US图像表示与3D-CT图像表示116a-120a和116b-120b的经精化的对准下，多模态相似性度量800a和800b在精化刚性变换矩阵的几十次迭代之后对于吸气阶段和呼气阶段两者接近并收敛到全局最大值。基于多模态相似性度量的全局最大值确定经精化的刚性变换矩阵。
基准配准误差(FRE)和靶向配准误差(TRE)被测量并被用于评估方法200。FRE是基于经精化的刚性变换矩阵的图像配准之后的基准标记之中的均方根距离。在第一图像配准操作400中，在2D-US图像表示和3D-CT图像表示116ab和120ab中的每一者中的病变位置周围定义了三个基准标记。基准标记标记了病变周围的门静脉分叉，并且FRE被计算为1.24mm。
TRE是位置改变估计中的均方根误差。首先在3D-CT图像表示120a和120b中选择共用靶向点。在2D-US图像表示116a和116b中基于经精化的刚性变换矩阵确定了对应坐标。3D-CT图像表示120a和120b中的靶向点的CT坐标改变示出了在呼吸循环中肝脏是如何移动的，并被视为基本事实。类似地，2D-US图像表示116a和116b中的US坐标改变示出了在相同呼吸循环期间肝脏是如何移动的。CT坐标改变在三个正交轴上分别被计算为-0.7mm、-11.4mm和4.1mm。US坐标改变在相同的三个正交轴上分别被计算为4.5mm、-5.5mm和2.2mm。TRE被计算为8.02mm。
图9解说了性能比较表900，其将方法200的性能与其他已知方法的性能进行比较。值得注意的是，方法200类似于3D-US与3D-CT图像配准的执行。
系统100和方法200可以在用于治疗病变的IGI(诸如RFA)中协同使用。在一些实施例中，系统100包括用于病变的RFA的消融装备128。消融装备128的示例在图10中解说。消融装备128包括用于插入病变中的RFA探头和用RFA探头校准的一组位置传感器。RFA探头生成射频波，以增大病变内的温度，从而导致病变消融或理想地破坏病变。消融装备128的该组位置传感器可以是机器人系统的一部分，该机器人系统控制和致动RFA探头以靶向病变。RFA可以由换能器探头114指导以相对于换能器探头114/参考位置传感器118定位病变。消融装备128的该组位置传感器可以与换能器探头114/参考位置传感器118协作，使得RFA探头可被定位在换能器探头114/参考位置传感器118的参考坐标系中，以供将RFA探头超声地引导至参考坐标系中的被定位的病变。相应地，方法200能够辅助机器人介入规程以改善病变的靶向性以便更有效地对其进行消融。
本公开的各实施例描述了用于定位受试者的器官中的病变的系统100和方法200。方法200使用两阶段图像配准过程来配准2D-US图像表示116与3D-CT图像表示120。两阶段图像配准过程包括第一阶段204(第一图像配准操作400)和第二阶段206(第二图像配准操作500)。第一图像配准操作400基于基准标记，并且可以被称为基于基准的配准，而第二图像配准操作500基于图像特征描述符，并且可以被称为基于特征的配准。初始刚性变换矩阵通过2D-US图像表示116与3D-CT图像表示120中的基准标记的对准来确定。然后，通过使用基于监督学习的方法或框架以及收敛迭代方法(诸如梯度下降算法)来搜索两种US和CT特征图像表示的最大相关性，精化了初始刚性变换矩阵。在两阶段图像2D-US图像表示116/3D-CT图像表示120之后，坐标系经由经精化的刚性变换矩阵而可变换至参考坐标系，使得位置被定位在参考坐标系中并相对于换能器探头114/参考位置传感器118被定位。使用方法200对病变进行定位不需要从一系列2D-US图像扫描进行3D重建，也不需要从3D-CT图像体积进行仿真，并且不进行全局器官配准，这降低了计算复杂度。方法200可以与IGI(诸如US指导的RFA)协同使用，以改善病变的定位和靶向以便更有效地消融。如图9中的性能比较表900所示，方法200的性能是令人鼓舞的并且解决了其他已知方法的各种缺点。
在前面的详细描述中，参考所提供的附图描述了本公开的关于用于使用器官的2D-US图像表示和3D-CT图像表示来定位受试者的器官中的病变的系统和计算机化方法的各实施例。本文中的各个实施例的描述并非旨在唤出或仅限于本公开的具体或特定表示，而仅是为了解说本公开的非限制性示例。本公开用于解决所提及的问题和与现有技术相关联的问题中的至少一者。尽管这里仅公开了本公开的一些实施例，但是鉴于本公开而对于本领域的普通技术人员将显而易见的是，可以在不脱离本公开的范围的前提下对所公开的各实施例做出各种改变和/或修改。因此，本公开的范围以及所附权利要求的范围不限于在此描述的各实施例。
参考文献
[1]美国专利8,942,455–2D/3D image registration method(2D/3D图像配准方法)。
[2]美国专利8,457,373–System and method for robust 2D-3D imageregistration(用于稳健2D-3D图像配准的系统和方法)。
[3]美国专利7,940,999–System and method for learning-based 2D/3D rigidregistration for image-guided surgery using Jensen-Shannon divergence(用于使用Jensen-Shannon散度的图像指导手术的基于学习的2D/3D刚性配准的系统和方法)。
[4]美国专利9,135,706–Features-based 2D-3D image registration(基于特征的2D/3D图像配准)。
[5]美国专利9,262,830–2D/3D image registration(2D/3D图像配准)。
[6]美国专利8,675,935–Fast 3D-2D image registration method withapplication to continuously guided endoscopy(快速3D-2D图像配准方法以及应用于连续指导内窥镜检查)。
[7]美国专利公开20090161931–Image registration system and method(图像配准系统和方法)。
[8]美国专利公开20150201910–2D-3D rigid registration method tocompensate for organ motion during an interventional procedure(用于补偿介入规程期间的器官运动的2D-3D刚性配准方法)。
[9]美国专利9,521,994–System and method for image guided prostatecancer needle biopsy(用于图像指导前列腺癌穿刺活检的系统和方法)。
[10]美国专利公开20140193053–System and method for automatedinitialization and registration of navigation system(用于导航系统的自动初始化和配准的系统和方法)。
[11]美国专利公开20160078633–Method and system for mesh segmentationand mesh registration(用于网格分割和网格配准的方法和系统)。
[12]美国专利公开20120253200–Low-cost image-guided navigation andintervention systems using cooperative sets of local sensors(使用本地传感器协作集的低成本图像指导导航和介入系统)。
[13]美国专利公开20170243349–Automatic region-of-interest segmentationand registration of dynamic contrast-enhanced images of colorectal tumors(结直肠肿瘤动态对比度增强图像的自动感兴趣区域分割和配准)。
[14]国际专利公布WO2015173668–Reconstruction-free automatic multi-modality ultrasound registration(无重建的自动多模态超声配准)。
[15]G.P.Penney、J.M.Blackall、M.S.Hamady、T.Sabharwal、A.Adam、D.J.Hawkes，“Registration of freehand 3D ultrasound and magnetic resonance liver images(徒手3D超声和磁共振肝脏图像的配准)”，医学图像分析，8(2004)：81-91。
[16]W.Wein、S.Brunke、A.Khamene、M.R.Callstrom、N.Navab，“Automatic CT-ultrasound registration for diagnostic imaging and image-guided intervention(用于诊断成像和图像指导介入的自动CT超声配准)”，医学图像分析，12(2008)：577-585。
[17]N.Subramanian、E.Pichon、S.B.Solomon，“Automatic registration usingimplicit shape representations:application in intraoperative 3D rotationalangiography to preoperative CTA registration(使用隐式形状表示的自动配准：术中3D旋转血管造影术到术前CTA配准中的应用)”，Int J CARS，4(2009)：141-146。
[18]M.P.Heinrich、M.Jenkinson、M.Bhushan、T.Matin、F.V.Gleeson、S.M.Brady、J.A.Schnabel，“MIND:Modality independent neighborhood descriptor for multi-modal deformable registration(MIND：用于多模态可变形配准的模态独立邻域描述符)”，医学图像分析，16(2012)：1423-1435。
[19]B.Fuerst、W.Wein、M.Muller、N.Navab，“Automatic ultrasound-MRIregistration for neurosurgery using the 2D and 3D LC2 metric(使用2D和3D LC2度量的神经外科自动超声-MRI配准)”，医学图像分析，18(2014)：1312-1319。
[20]M.Yang、H.Ding、L.Zhu、G.Wang，“Ultrasound fusion image errorcorrection using subject-specific liver motion model and automatic imageregistration(使用因受试者而异的肝脏运动模型和自动图像配准的超声融合图像误差校正)”，生物与医学中的计算机，79(2016)：99-109。
[21]M.Yang、H.Ding、J.Kang、L.Cong、L.Zhu、G.Wang，“Local structureorientation descriptor based on intra-image similarity for multimodalregistration of liver ultrasound and MR images(基于用于肝脏超声和MR图像的多模态配准的图像内相似性的局部结构取向描述符)”，生物与医学中的计算机，76
(2016)：69-79。
[22]J.Jiang、S.Zheng、A.W.Toga and Z.Tu，“Learning based coarse-to-fineimage registration(基于学习的由粗到精图像配准)”，2008IEEE计算机视觉和模式识别会议，(2008)：1-7。
[23]R.W.K.So、A.C.S.Chung，“A novel learning-based dissimilarity metricfor rigid and non-rigid medical image registration by using BhattacharyyaDistances(一种通过使用巴特查里亚距离的用于刚性和非刚性医学图像配准的新颖的基于学习的差异度量)”，模式识别，62(2017)：161-174。
[24]G.Wu、F.Qi、D.Shen，“Learning-based deformable registration of MRBrain images(MR脑图像的基于学习的可变形配准)”，IEEE医学成像汇刊，25(9)(2006)：1145-1157。
[25]Y.Chi、W.Huang、J.Zhou、L.Zhong、S.Y.Tan、F.Keng、S.Low、R.Tan，“AComposite of Features for Learning-Based Coronary Artery Segmentation onCardiac CT Angiography(心脏CT血管造影术中基于学习的冠状动脉分割特征的复合)”，MLMI 2015会议录，与MICCAI 2015同期举行的第六届国际研讨会，慕尼黑，9352(2015)：271-279。
[26]Y.Chi、J.Liu J、S.K.Venkatesh、S.Huang、J.Zhou、Q.Tian、W.L.Nowinski，“Segmentation of liver vasculature from contrast enhanced CT images usingcontext-based voting(使用基于上下文的投票从对比度增强的CT图像中分割出肝血管)”，IEEE生物医学工程汇刊58(8)(2011)：2144–2153。
机译： 器官中的病变定位
机译： 用于定位病变或器官的设备
机译： 中空器官病变定位系统
