使用预先采集的图像进行的导航

摘要

一种成像方法，所述成像方法包括：使用第一内窥镜(24)捕获被查表面的初始图像；并且在所述初始图像内划定出由初始图像外围区域(106)包围的感兴趣的目标区域(102)，所述感兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置。所述成像方法包括：使用第二内窥镜捕获被查表面的后续图像(110A、110B、110C)；并且通过与所述初始图像外围区域的特征比较，在所述后续图像中识别对应于所述初始图像外围区域的后续图像外围区域(116)。所述成像方法进一步包括：响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像中的位置。

说明书

技术领域

本发明大体上涉及成像，并且具体地涉及建立在可重复使用基础上的内窥镜成像 系统。

背景技术

在许多情况下，内窥镜用于对给定的实体(通常为体腔)进行多次成像，诸如用 于跟踪医疗过程的效果。能够改善对多个图像进行比较的能力的系统将是有益的。

发明内容

本发明的实施方式提供了一种成像方法，所述成像方法包括：

使用第一内窥镜捕获被查表面的初始图像；

在所述初始图像内划定出由初始图像外围区域包围的感兴趣的目标区域，所述感 兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置；

使用第二内窥镜捕获所述被查表面的后续图像；

通过与所述初始图像外围区域的特征进行比较，在所述后续图像中识别对应于所 述初始图像外围区域的后续图像外围区域；以及

响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像 中的位置。

典型地，所述成像方法包括表征所述初始图像外围区域，以生成所述初始图像外 围区域的特征。

在公开的一个实施方式中，所述第一和第二内窥镜是公共的内窥镜。

在进一步公开的实施方式中，所述方法包括生成由所述初始图像外围区域包围的 所述感兴趣的目标区域的目标特征，并且计算所述感兴趣的目标区域在所述后续图像 中的位置包括验证所述目标特征与由所述后续图像外围区域包围的后续图像目标区 域的特征的共性。在一个实施方式中，所述方法进一步包括：在捕获所述初始图像之 后并且在未在所述感兴趣的目标区域上执行医疗过程的情况下，确定所述后续图像目 标区域的特征。

在可替代的实施方式中，所述方法包括生成由所述初始图像外围区域包围的所述 感兴趣的目标区域的目标特征，并且计算所述感兴趣的目标区域在所述后续图像中的 位置包括验证所述目标特征和由所述后续图像外围区域包围的后续图像目标区域的 特征之间的差异。典型地，所述方法还包括：在捕获所述初始图像和在所述感兴趣的 目标区域上执行医疗过程之后，确定所述后续图像目标区域的特征。

进一步提供了一种根据本发明的实施方式的成像设备，所述成像设备包括：

第一内窥镜，其被配置成使用第一内窥镜捕获被查表面的初始图像；

第二内窥镜，其被配置成捕获所述被查表面的后续图像；以及

处理器，所述处理器被配置成：

在所述初始图像内划定出由初始图像外围区域包围的感兴趣的目标区域，所述感 兴趣的目标区域具有相对于所述初始图像外围区域被限定的位置，

通过与所述初始图像外围区域的特征比较，在所述后续图像中识别对应于所述初 始图像外围区域的后续图像外围区域，以及

响应于被识别的后续图像外围区域，计算所述感兴趣的目标区域在所述后续图像 中的位置。

进一步提供了一种根据本发明的实施方式的成像方法，所述成像方法包括：

指向第一图像中的感兴趣的目标区域；

存储包围所述感兴趣的目标区域的外围区域的图像数据；

通过与被存储的所述外围区域的图像数据的特征比较，在第二图像中识别对应于 所述第一图像的所述外围区域的区域；以及

响应于所述第二图像中的被识别的区域，在所述第二图像中标记所述感兴趣的目 标区域的位置。

进一步提供了一种根据本发明的实施方式的内窥镜的导航方法，所述内窥镜的导 航方法包括：

使用第一内窥镜捕获被查表面的第一图像；

指向所述第一图像中的感兴趣的目标区域；

存储包围所述目标区域的外围区域的图像数据；

使用第二内窥镜捕获所述被查表面的第二图像；

通过与被存储的所述外围区域的图像数据的特征比较，在所述第二图像中识别对 应于所述外围区域的区域；

响应于所述第二图像中的被识别的区域，在所述第二图像中标记所述感兴趣的目 标区域的位置的指示；以及

朝向所述指示来导航所述第二内窥镜。

根据本发明的实施方式的以下详细描述，与附图一起，将更全面地理解本发明， 其中：

附图说明

图1是根据本发明的实施方式的内窥镜导航系统的示意图；

图2是根据本发明的实施方式使用所述系统而执行的过程的流程图；

图3是根据本发明的实施方式由所述系统捕获的初始图像的示意图；

图4A是根据本发明的实施方式的标记有感兴趣的目标区域的初始图像的示意 图，而图4B是图4A的一个放大部分；

图5A、图5B和图5C是根据本发明的实施方式由所述系统捕获的不同的后续图 像的示意图；

图6是根据本发明的实施方式的施加到一个后续图像的标记的示意图；

图7是根据本发明的替代的实施方式的内窥镜导航系统的示意图；

图8是根据本发明的实施方式的由所述系统捕获的替代的初始图像的示意图；以 及

图9是根据本发明的实施方式的由所述系统捕获的替代的后续图像的示意图。

具体实施方式

概述

本发明的实施方式提供了一种用于在表面的多个图像内定位公共区域的方法，所 述表面图像于不同时间被捕获。该方法可以应用于体腔(诸如患者的腹部或膀胱)的 内表面的内镜检查。典型地，该方法用于朝向体腔表面的公共区域(在初始检查中， 然后在后续检查中)对内窥镜进行导航。

将第一内窥镜插入体腔中，并且捕获表面的初始图像。典型地，通过光标(cursor) 来标记目标区域的外部边界，从而在初始图像内划定出感兴趣的目标区域。初始图像 外围区域包围感兴趣的目标区域且包含在被捕获的初始图像内。这两个区域是几何相 关的，从而可以认为感兴趣的目标区域具有由初始图像外围区域限定的位置。

将第二内窥镜插入体腔中，并且用来捕获表面的后续图像。比较两个图像的特征， 并且使用所述特征来识别与初始图像外围区域对应的后续图像的外围区域。使用被识 别的后续图像的外围区域来计算感兴趣的目标区域在后续图像中的位置。

在计算位置处可以将标记放置在后续图像中，所述标记有助于导航到感兴趣的目 标区域以及识别感兴趣的目标区域。

在一些实施方式中，第一和第二内窥镜是同一内窥镜。

详细描述

现在参照图1，图1是根据本发明的实施方式的内窥镜导航系统10的示意图。 系统10可以用于人类患者的体腔12的侵入式医疗过程(典型地为微创手术)，以便 对体腔中的实体进行成像。举例来说，在本说明书中，除另有说明外，假定体腔为患 者的膀胱，并且在本文中还称体腔12为膀胱12。然而，应当理解的是，系统10基 本上可以用于任何的人类的体腔(诸如胃肠器官、支气管、胸)或者非人类的内腔。

系统10由内窥镜模块14控制，内窥镜模块14包括与存储器18通信连接的处理 器16。内窥镜模块14还包括图像分析模块20，图像分析模块20的功能在下面描述， 并且图像分析模块20可以由软件、硬件或软件和硬件的组合实施。内窥镜模块14 通常还包括其他模块(诸如内腔照明模块)，处理器在操作内窥镜时可以使用这些其 他模块；为简单起见，这些模块没有在图中示出。

处理器使用通常存储在存储器18中的软件来控制系统10。由处理器16执行的 动作的结果可以在屏幕22上呈现给系统10的操作者(常常为医疗医师)。屏幕通常 向操作者显示正处于操作过程中的体腔12的图像，和/或图形用户界面。例如，用于 操作系统10的软件可以从网络上以电子形式下载到处理器16中，或者可选地或另外 地，软件可以设置和/或存储在非暂时性有形介质(诸如磁、光或电子存储器)上。

为了执行过程，可以将内窥镜24穿过尿道管26而通向膀胱12。内窥镜模块14 提供了用于内窥镜的照明，并且在屏幕22上显示由内窥镜采集的图像。操作者通常 使用内窥镜来查看膀胱12的内部。交互模块控制器28被联接到模块14，并且使系 统10的操作者能够控制模块的功能。模块控制器28可以包括本领域已知的任何可行 的系统，诸如定点装置、触摸屏和/或键盘。在本实施例中，如图所示，假定控制器 28包括鼠标。

使用内窥镜控制器30来操作内窥镜24，在本实施例中假定内窥镜控制器30定 位于内窥镜的手柄32中。控制器30的示例性功能在下面描述。

由系统10执行的典型过程包括：操作者使用内窥镜对体腔12的壁40进行初始 检查。在检查期间，如下面更详细地解释，可以在体腔的区域44内识别出可疑实体 42。

现在参照图2、图3、图4A、图4B、图5A、图5B、图5C和图6。

图2是根据本发明的实施方式的使用系统10执行的过程的流程图；图3是根据 本发明的实施方式的由所述系统捕获的膀胱12的初始图像的示意图；图4A是根据 本发明的实施方式的标记有感兴趣的目标区域的初始图像的示意图，而图4B是图4A 的一个放大部分；图5A、图5B和图5C是根据本发明的实施方式的由所述系统捕获 的膀胱的不同的后续图像的示意图；并且图6是根据本发明的实施方式的施加到一个 后续图像的标记的示意图。

由处理器16使用图像分析模块20来实施如流程图所示的过程。除另有说明外， 假定使用内窥镜24来执行过程。

在过程的初始步骤150中，系统10的操作者将内窥镜24插入膀胱12中。操作 内窥镜指向并捕获被查区域(诸如区域44)的初始图像，并且在屏幕22上向操作者 显示被捕获的图像。使用被显示的图像，系统操作者操作内窥镜24，从而使被捕获 的图像为被查区域的初始图像100(在图3中示意性地示出)。

在标记步骤152中，如图4A和图4B示意性地所示，系统操作者在图像100内 划定出感兴趣的初始目标区域102。操作者通常使用控制器28在图像100内移动光 标104来执行划定，直到光标包围目标区域为止(光标充当目标区域的外边界)。在 划定之后，处理器16记录感兴趣的初始目标区域在步骤150中所捕获的图像内的位 置。在此示出的实施例中，感兴趣的初始目标区域102被诸如三个感兴趣的生物要素 103所包围。虽然光标104在图4A和图4B中被描绘为圆形，但光标可以为任何可 行的形状。

在第一表征步骤154中，处理器16在光标104的边界内表征出初始目标区域。 处理器还表征出包围初始目标区域102的初始外围区域106，并且然后处理器存储这 两个区域的特征。初始外围区域以光标104为其内边界，并且通常具有外边界108， 外边界108可以包括在图像100内的任何可行的边界轮廓。在一个实施方式中，假定 外边界108为以目标区域102的中心为圆心的圆，外边界108的面积为目标区域102 的面积的预先设定的多倍，诸如十倍。然而，系统10的操作者可以将外边界108限 定为在图像100的界限内的任何可行的边界轮廓。一旦处理器16已经设定了初始外 围区域的边界，处理器就记录外围区域在步骤150中所捕获的图像内的位置。被记录 的位置通常为外围区域的中心。

应当理解的是，初始目标和外围区域是几何相关的，如它们的位置。因此，可以 认为初始目标区域位置相对于外围区域被限定，并且可以认为外围区域位置相对于初 始目标区域被限定。

在目标区域和外围区域两者的情况下，表征具有这样的类型：能够使处理器使用 在表征中被识别出的图像的要素，用于将未来图像的部分匹配到目标区域或外围区 域。典型地，通过表征被识别出的要素包括区域中的显著生物要素，诸如毛细血管、 较大的血管、上皮坑(epithelium pit)、疑似肿瘤以及被成像的粘膜表面的区域。被识 别出的要素通常被列举。另外，被识别出的要素通常被表征为要素的颜色，以及诸如 大小和形状的几何因素。在一些实施方式中，可以诸如通过荧光成像在表征前对要被 表征的区域进行视觉性增强。能从日本东京的奥林巴斯医疗系统公司(Olympus  Medical Systems Corp,Tokyo,Japan)得到的窄带(Narrow Band)成像技术可以提供 合适的视觉增强技术。

因此，在如图3、图4A和图4B示出的实施例中，处理器16使用模块20通常 对目标区域102的一个或更多个要素进行计数并按照大小、形状和/或颜色进行形态 地限定。对于外围区域106，除了对要素103进行列举并按照大小、形状和/或颜色进 行形态地限定，在本实施例中，处理器还可以对作为表征外围区域的要素的两个血管 105和107(图4B)进行计数并限定。处理器16通常还对目标区域102和外围区域 106的其它要素进行计数并进行形态地限定。对于形状的限定通常包括：量化被计数 的要素的凹面、凸面、拐点和/或其它形状限定特征。

在可选的过程执行步骤156中，操作者在目标区域102上执行医疗过程。该过程 可以包括改变如在步骤154中被测量的目标区域的特征的任何过程。所述过程通常为 活检，但是在步骤156中也可以执行改变目标区域特征的任何其它过程(诸如将药物 或化学试剂施加到目标区域)。另外，在步骤156中，操作者使用控制器28来通知处 理器16，已经在目标区域102上执行了医疗过程。在下面描述的步骤170中，处理 器使用该信息。

在后续成像步骤158中，捕获被查区域的第二图像。如下面更详细地描述的，可 以将第二图像分为若干类别。第二图像的不同类别被统称为第二图像110，并且在图 5A、图5B和图5C中示出了示例性的不同图像类别。如图5A、图5B和图5C所示， 通过将字母添加至附图标记110(如第二图像110A、110B和110C)使不同的第二图 像110区分开。

可以使用内窥镜24捕获第二图像；另选地，可以使用另一内窥镜捕获第二图像。 用于捕获第二图像的内窥镜可以被插入膀胱12中。虽然捕获第二图像110在捕获被 查区域的初始图像100之后进行，但是基本上不用限制在捕获这两个图像之间的时间 段长短。例如，在对被查区域的跟进检查中，可以在初始图像之后的三个月采集第二 图像110。然而，本发明的实施方式包括可以小于或大于三个月的时间段。

根据是否已经执行步骤156，以及根据在采集初始图像和第二图像之间的时间段 期间感兴趣的目标区域是否已经发生了改变，感兴趣的目标区域的特征可能发生或可 能没有发生改变。图像110A(图5A)示出了两个图像之间基本没有发生改变的情况。 图像110B(图5B)示出了这样的情况：即使还未执行步骤156，即，还没有对被查 区域执行中间过程，两个图像之间也已经改变。图像110C(图5C)示出了这样的情 况：当在采集初始图像之后已经执行步骤156时，即已经执行了中间过程，两个图像 之间已经发生了改变。

在第二表征步骤160中，处理器16对图像110进行表征。表征大体上如同第一 表征步骤154，并且提供图像内的识别要素，类似于如上文描述的第一表征步骤中的 识别要素。通过使用识别要素，处理器划定出后续外围区域116的外边界112和内边 界114，后续外围区域116包括要素，所述要素对应于初始外围区域(在第一表征步 骤154中确定)的要素。在外边界112和内边界114的划定中，处理器仅涉及并尝试 匹配初始外围区域的识别要素的特征。换言之，在后续外围区域116的限定中，处理 器并不考虑初始目标区域的识别要素。

针对后续外围区域116，图5A、图5B和图5C示出了用于三个图像110A、110B 和110C中的每个的示例性的外边界112和示例性的内边界114。

在比较162中，处理器对初始外围区域106(在步骤154中获得)的要素与后续 外围区域116的要素具有充分良好的匹配进行检查。典型地，在初始外围区域的要素 和后续外围区域的要素之间，随着时间的推移，存在一些改变。为了容许这些改变， 在判断一给定的要素(诸如血管)在两个外围区域中是否匹配时，处理器可以在判断 该给定要素的参数是否对应时应用第一预先设定的变异系数(通常为90％)。另外， 处理器在判断两个区域中的要素数量是否匹配时可以使用第二预先设定的系数(通常 为90％的数量级)。

如果比较162是无效的，在返回步骤164中，处理器16通常可在屏幕22上向操 作者显示警示，即，系统已经无法匹配初始和后续外围区域，并且流程返回至步骤 158。在警示中，可以提示操作者对内窥镜重新定位，以在步骤158中捕获新的后续 图像。

如果比较162是有效的，在建立对应步骤166中，处理器记录后续外围区域在由 步骤158所捕获的图像内的位置。然后处理器将后续外围区域的位置与初始外围区域 的位置建立对应，在步骤154中已经对初始外围区域在捕获图像中的位置进行了记 录。然后流程可直接进入如下面描述的最后步骤168。在一些实施方式中，流程可选 地首先进入比较170(在流程图中借助虚线表示为可选的)。

在可选的比较170中，处理器将初始目标区域102的要素与后续目标区域118的 要素(即，内边界114内的要素)进行比较。处理器通过以下方式执行比较：通过对 在步骤154做出的在初始目标区域上的度量(计数和形态限定)进行量化，以及对后 续目标区域的相似的度量进行量化。然后处理器计算两个量的比值(fraction)。如果 在初始目标区域和后续目标区域之间有很少或者没有改变，则比值接近1。反之，如 果存在相对较大的改变，则比值接近零。比值的预期值尤其取决于是否已经执行了步 骤156，如下述。(如果已经执行了步骤156，则如上文描述的，通知处理器。)

如果执行了步骤156(通常包括进行区域102的活检(图4A和图4B))，处理器 对此进行记录并且把比值的预期值设定得较低。在评估比较170时，针对已经执行了 步骤156的情况，本发明的实施方式把比值的预期值设定为通常10％的数量级或甚至 更低。如果对于两个区域的测得的比值小于或等于预期比值，则假定比较是有效的， 因为低的匹配比值证实了后续目标区域118在形态上不同于初始目标区域102。在采 集初始目标区域图像和后续目标区域图像的时间之间，如果已经在目标区域的位置上 执行活检或其它过程，则可以预期得到这样的不同形态以及与比较两个目标区域相对 应的低比值。如果比较170是有效的，则流程在最后步骤168继续。

如果比较170是无效的，则流程继续至比较172，在比较172中，处理器检验是 否已经执行了步骤156。如果已经执行了步骤156，流程经由返回步骤164(上文所 述)返回至步骤158。

图像110C(图5C)示出了已经执行了步骤156的情况。如图所示，目标区域102 的要素不存在，并在此位置中存在疤痕组织109。应当理解的是，如果在评估第二比 较时仅考虑目标区域102和疤痕组织109的要素，则测得的比值等于零，并且对应于 上文描述的实施方式，因为比值小于10％，所以比较是有效的。

在比较170中，如果还未执行步骤156，则在初始目标区域和后续目标区域中通 常存在共性的特征，并且比较两个区域的预期比值值通常较高。在一个实施方式中， 处理器将用在比较170(当还未执行步骤156时)中的预期比值设定为约50％，并且 如果测得的比值大于预期比值，则假定比较是有效的。

图像110A(图5A)示出了这样的情况，后续目标区域118的要素与初始目标区 域102的要素基本相同。这样的情况通常发生于在获取两个图像之间的时间在感兴趣 的目标区域中没有形态上的改变。在这种情况下，比较两个区域的测得的比值约为1， 测得的比值大于50％，使得比较170是有效的，并且流程继续至最后步骤168。

图像110B(图5B)示出了这样的情况，与初始目标区域102的要素相比后续目 标区域118的要素120已经改变。如图所示的实施例中，在获取两个图像之间的时间 在感兴趣的目标区域中存在形态上的改变。在这种情况下，假定比较两个区域的测得 的比值小于50％，因此比较170是无效的，并且流程继续至比较172。

在这种情况下，比较172是无效的，因为步骤156还没被执行，所以流程在通知 步骤174之后继续至最后步骤168。在通知步骤174中，处理器在屏幕22上向操作 者显示通知，即，感兴趣的目标区域可能存在改变(诸如形态上的改变)。

在最后步骤168中，处理器使用后续外围区域116识别出在后续图像110中对应 于初始目标区域102(由光标104在初始图像内划定)的区域。识别是可行的，因为 处理器知晓初始目标和外围区域之间的关系，并且因为已经将初始外围和后续外围区 域的位置建立对应(在步骤166中)。处理器在后续图像110中以标记122标记对应 区域，该标记向操作者指示初始目标区域在后续图像中的位置。图6示出了应用于图 像110C的标记122。(虽然标记122已经绘制为方形，但它可以为任何可行的形状。) 典型地，系统10操作者可以使用标记122来确认初始目标区域102的位置，和/或更 接近地向目标区域导航。

图7是根据本发明的替代的实施方式的内窥镜导航系统10的示意图。在以下描 述中，假定通过系统检查的体腔为患者的腹部，并且下文中腹部被称为腹部12。同 时还参照图8和图9。图8是根据本发明的实施方式的由系统10捕获的腹部12的初 始图像的示意图，并且图9是由系统捕获的腹部的后续图像的示意图。

除了下面描述的差异，系统10在检查腹部12时的操作总体上类似于上文描述的 系统在检查膀胱时的操作，并且在两者描述中由相同附图标记指示的要素在结构和操 作上总体上类似。为了清楚起见，在以下腹部的检查的描述中，通过具有附加至附图 标记的撇号'使一些类似的要素区分开。

图2的流程图应用于系统10在检查腹部12时的操作。

参照流程图的步骤150、152和154，并且参照图7，经由套管针200将内窥镜 24插入腹部12中，套管针200用于穿刺腹部的壁40'。内窥镜由手柄32操控，以检 查壁的区域44'的可疑实体42'。

图8示出了由内窥镜捕获的腹部12的示意性的初始图像210。如参考图4A和步 骤154的上文解释的，使用控制器28来移动光标104'以包围初始目标区域102'。处 理器16设定外边界108'，并且使用光标104'和外边界108'作为初始外围区域106'的 边界。同样如上文解释的，处理器表征了初始目标区域和外围区域。

在本实施例中，假定初始目标区域102'包括三个感兴趣的生物要素220，并且如 上文解释的，在步骤154中，处理器16在对初始目标区域102'的表征时使用该数量。

在腹部12的检查中，没有在初始目标区域102'上执行活检或其它过程，使得没 有实施流程图的步骤156，并且流程继续至步骤158、160和162。图9图示了在步骤 158中被捕获的后续图像230。如上文关于步骤160和162解释的，处理器划定出后 续外围区域116'的外边界112'和内边界114'，并且比较初始和后续外围区域。假定比 较是有效的，使得流程继续至步骤166。

假定系统10进行可选的比较170，使得流程图从步骤166继续至比较170，其中 比较了内边界114'内的初始目标区域102'和后续目标区域118'。在比较170中，因为 步骤156还没有被执行，将用于比较中的预期比值值设定得较高，并且在本实施例中 假定为50％。

如图9所示，三个要素220已经合并为一个要素240，并且在比较170中，比较 初始目标区域和后续目标区域的形态的测得的比值值小于预期比值。然后流程进入至 比较172，并且因为步骤156还没有被执行，流程进入至通知步骤174和最后步骤168。 在步骤174中，处理器可以在屏幕22上显示通知，即在感兴趣的目标区域中可能存 在形态改变。在步骤168中，处理器使用外围区域116'的位置(在步骤166中确定) 来定位后续图像230中的标记122'，以向操作者指示初始目标区域在后续图像中的位 置。

应当理解，上述实施例是通过举例的方式来说明的，但本发明并不局限于这里描 述和示出的实施例。相反，本发明的范围包括上述各种特征的组合和子组合，以及本 领域技术人员在阅读了前面的描述后能想到的并且在现有技术中未公开的变型和修 改。