用于图像引导外科手术的跟踪系统

摘要

本发明描述了装置和方法，其包括使用设置在包括显示器(30)的第一头戴式设备(28)上的第一跟踪设备(34)从第一视线跟踪工具部分(22)和患者标记(38)。使用第二跟踪设备(34'/60)从第二视线跟踪该工具部分和该患者标记。当患者标记的一部分和该工具部分都在第一视线内时，基于从第一跟踪设备接收的数据并且不使用来自第二跟踪设备的数据在第一显示器上生成增强现实图像。当至少该患者标记部分和该工具部分不都在第一视线内时，使用从第二跟踪设备接收的数据来生成工具和患者的解剖结构的虚拟图像。还描述了其他应用。

说明书

本发明的实施例的领域

本发明整体涉及增强现实系统，并且具体地讲，涉及用于执行图像引导外科手术的增强现实系统的跟踪系统。

背景

头戴式显示器有时用作增强现实系统的一部分。显示器用于生成增强现实场景，其中头戴式显示器的用户正在观看的场景通常通过被增强或补充而被改变。改变是计算机生成的，并且通常涉及在用户凝视场景时向用户呈现实时视频和/或非实时图像。

在一些情况下，增强现实系统用于执行图像引导外科手术，作为医疗规程(procedure)的一部分。例如，计算机生成的图像可被呈现给正在执行该规程的健康护理专业人员。图像可呈现在头戴式显示器上，使得图像与正在经历规程的患者的解剖部分对准。虽然图像与患者的身体的某种不对准可能是可接受的，但为了满意地呈现图像，不对准通常可能不超过约2-3mm。为了说明对患者解剖结构与所呈现的图像的不对准的这种限制，通常跟踪患者的身体或其一部分的位置。

在一些情况下，用于执行该规程的工具的图像被合并到头戴式显示器上显示的图像中。为了以准确反映工具相对于图像和/或患者解剖结构的位置的方式将工具的图像合并到图像中，通常跟踪工具或其一部分的位置。

三角测量技术通常用于跟踪患者的身体和/或工具的位置。在此类技术中，相对于彼此设置在已知定位(location)处的多个成像设备用于检测患者的身体上和/或工具上的特征(诸如标记)。然后使用成像设备的已知定位以及由每个成像设备检测到的特征的定位的组合来导出特征的定位。

实施例概述

根据本发明的一些应用，第一健康护理专业人员(例如，执行规程的外科医生)佩戴第一头戴式设备。通常，头戴式设备包括一个或更多个头戴式显示器。对于一些应用，头戴式显示器大体类似于Benishti的US9,928,629(其通过引用并入本文)中描述的那些。例如，头戴式显示器可包括由计算机处理器控制的组合器，以诸如向健康护理专业人员显示增强现实图像。对于一些应用，在头戴式显示器上呈现图像，使得(a)将计算机生成的图像投影到显示器的第一部分上，并且(b)计算机生成的图像与正在经历规程的患者的解剖部分对准，其中患者的解剖部分通过显示器的第二部分可见。通常，计算机生成的图像包括重叠在患者解剖结构的虚拟图像上的工具的虚拟图像。对于一些应用，在计算机生成的图像中包括以其他方式对健康护理专业人员不可见的工具的一部分(例如，由于被患者解剖结构隐藏)。

通常，头戴式设备包括跟踪设备，该跟踪设备被配置为有利于确定头戴式设备相对于患者的身体的一部分(例如，患者背部)的定位和取向，和/或工具相对于患者的身体的位置和取向。例如，跟踪设备可包括图像捕获设备(诸如相机)，该图像捕获设备被配置为对患者标记和/或工具标记进行成像。通常，患者标记被配置为提供足以使计算机处理器使用从设置在头戴式显示器上的单个跟踪设备收集的数据来确定头戴式设备相对于患者的身体部分的定位和取向的数据。例如，患者标记可包括元件阵列，该元件阵列对头戴式设备的跟踪设备是可见的，并且被配置为使得在头戴式设备相对于患者标记的任何定位和取向处，该元件阵列具有针对该定位和取向唯一的外观。以这种方式，计算机处理器能够确定头戴式设备相对于患者的身体部分的定位和取向，而不需要使用三角测量技术。通常，在头戴式设备的跟踪设备中使用单个相机。对于一些应用，相机是高速相机。例如，相机可每秒采集超过50帧。

通常，为了在头戴式显示器上生成增强现实图像，计算机处理器确定头戴式设备相对于患者的身体的一部分(例如，患者背部)的定位和取向，和/或工具相对于患者的身体的该部分的位置和取向。如本文以上所述，通常，患者标记被配置为提供足以使计算机处理器使用从设置在头戴式设备上的单个跟踪设备收集的数据来确定头戴式设备相对于患者的身体部分的定位和取向的数据。然而，对于一些应用，至少在某些条件下，计算机处理器被配置为合并从至少一个附加跟踪设备(即，除了包括在第一健康护理专业人员的头戴式设备中的跟踪设备之外的跟踪设备)接收的跟踪数据，以便在第一健康护理专业人员的头戴式显示器上生成图像。

对于一些此类应用，计算机处理器被配置为在包括在第一健康护理专业人员的头戴式设备中的第一跟踪设备丢失其相对于患者标记和/或工具标记和/或其部分的视线的情况下合并附加数据。例如，计算机处理器可被配置为从附加头戴式设备的跟踪设备接收数据，该附加头戴式设备被配置为由规程中存在的附加健康护理专业人员(例如，陪同的外科医生或护士)佩戴。通常，附加头戴式设备与第一头戴式设备大体类似，并且附加头戴式设备的跟踪设备与第一头戴式设备的跟踪设备大体类似。对于一些应用，当至少患者标记的一部分和工具的一部分(例如，工具标记)都在第一跟踪设备的视线内时，计算机处理器基于从第一跟踪设备接收的数据而不使用从附加跟踪设备接收的数据来在头戴式显示器上生成增强现实图像。当至少患者标记的该部分和工具的该部分不都在第一跟踪设备的视线内时，计算机处理器至少部分地基于从附加跟踪设备接收的数据在第一头戴式显示器上生成增强现实图像。

因此，根据本发明的一些应用，提供了一种用于与被配置为放置在患者的身体的一部分内的工具一起使用的方法，该方法包括：

使用设置在由第一人员佩戴的第一头戴式设备上的第一跟踪设备从第一视线跟踪至少工具的一部分和放置在患者的身体上的患者标记，该第一头戴式设备包括第一头戴式显示器；

使用第二跟踪设备从第二视线跟踪至少工具的该部分和患者标记；以及

使用至少一个计算机处理器：

当至少患者标记的一部分和工具的该部分都在第一视线内时，基于从第一跟踪设备接收的数据并且不使用来自第二跟踪设备的数据在第一头戴式显示器上生成增强现实图像，该增强现实图像包括(a)工具和患者的解剖结构的虚拟图像，其重叠在(b)患者的身体上；

以及

当至少患者标记的该部分和工具的该部分不都在第一视线内时，至少部分地基于从第二跟踪设备接收的数据，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像。

在一些应用中，跟踪工具的该部分包括跟踪工具标记。在一些应用中，使用第二跟踪设备从第二视线跟踪至少工具的该部分和患者标记包括使用设置在固定位置的第二跟踪设备从第二视线跟踪至少工具的该部分和患者标记。在一些应用中，使用第一跟踪设备来跟踪至少工具的该部分和患者标记包括使用第一相机来跟踪至少工具的该部分和患者标记，并且使用第二跟踪设备来跟踪至少工具的该部分和患者标记包括使用第二相机来跟踪至少工具的该部分和患者标记。

在一些应用中，至少部分地基于从第二跟踪设备接收的数据，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像包括：

响应于患者标记的该部分在第一视线内，并且工具的该部分不在第一视线内：

使用从第二跟踪设备接收的数据来确定工具相对于受试者的解剖结构的位置；

基于所确定的工具相对于受试者的解剖结构的位置，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像；

基于从第一跟踪设备接收的数据，确定患者的身体相对于第一头戴式设备的位置；以及

基于所确定的患者的身体相对于第一头戴式设备的位置，将虚拟图像重叠在患者的身体上。

在一些应用中，至少部分地基于从第二跟踪设备接收的数据，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像包括：

响应于工具的该部分在第一视线内，并且患者标记的该部分不在第一视线内：

使用从第二跟踪设备接收的数据来确定工具相对于受试者的解剖结构的位置；

基于所确定的工具相对于受试者的解剖结构的位置，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像。

在一些应用中，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像还包括基于患者的身体相对于第一头戴式设备的位置，将该虚拟图像重叠在患者的身体上，该位置是在患者标记的该部分在第一视线内时基于从第一跟踪设备接收的数据确定的。

在一些应用中，将虚拟图像重叠在患者的身体上包括使用设置在第一头戴式设备上的惯性测量单元来跟踪头戴式设备在患者标记的该部分在第一视线内的时间与患者标记的该部分不在第一视线内的时间之间的移动。

在一些应用中，至少部分地基于从第二跟踪设备接收的数据，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像包括：

响应于工具的该部分和患者标记的该部分都不在第一视线内：

使用从第二跟踪设备接收的数据来确定工具相对于受试者的解剖结构的位置；

基于所确定的工具相对于受试者的解剖结构的位置，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像。

在一些应用中，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像还包括基于患者的身体相对于第一头戴式设备的位置，将虚拟图像重叠在患者的身体上，该位置是在患者标记的该部分在第一视线内时基于从第一跟踪设备接收的数据确定的。在一些应用中，将虚拟图像重叠在患者的身体上包括使用设置在第一头戴式设备上的惯性测量单元来跟踪头戴式设备在患者标记的该部分在第一视线内的时间与患者标记的该部分不在第一视线内的时间之间的移动。

在一些应用中，使用第二跟踪设备从第二视线跟踪至少工具的该部分和患者标记包括使用设置在由第二人员佩戴的第二头戴式设备上的第二跟踪设备从第二视线跟踪至少工具的该部分和患者标记。在一些应用中，第二头戴式设备包括第二头戴式显示器，该方法还包括在第二头戴式显示器上生成另一增强现实图像。

根据本发明的一些应用，还提供了一种用于与被配置为放置在患者的身体的一部分内的工具一起使用的装置，该装置包括：

患者标记，该患者标记被配置为放置在患者的身体上；

第一头戴式设备，该第一头戴式设备包括第一头戴式显示器，以及被配置为从第一视线跟踪至少工具的一部分和患者标记的第一跟踪设备；

第二跟踪设备，该第二跟踪设备被配置为从第二视线跟踪至少工具的该部分和患者标记；以及

至少一个计算机处理器，该至少一个计算机处理器被配置为：

当至少患者标记的一部分和工具的该部分都在第一视线内时，基于从第一跟踪设备接收的数据并且不使用来自第二跟踪设备的数据在第一头戴式显示器上生成增强现实图像，该增强现实图像包括(a)工具和患者的解剖结构的虚拟图像，其重叠在(b)患者的身体上；以及

当至少患者标记的该部分和工具的该部分不都在第一视线内时，至少部分地基于从第二跟踪设备接收的数据，在第一头戴式显示器上生成工具和患者的解剖结构的虚拟图像。

根据本发明的一些应用，还提供了一种用于与被配置为放置在患者的身体的一部分内的工具一起使用的方法，该方法包括：

使用设置在由第一人员佩戴的第一头戴式设备上的第一跟踪设备从第一视线跟踪至少工具的一部分和放置在患者的身体上的患者标记，该第一头戴式设备包括第一头戴式显示器；

使用设置在由第二人员佩戴的第二头戴式设备上的第二跟踪设备从第二视线跟踪至少工具的该部分和患者标记；以及

使用至少一个计算机处理器，基于从第一跟踪设备接收的数据与从第二跟踪设备接收的数据的组合在第一头戴式显示器上生成增强现实图像，该增强现实图像包括(a)工具和患者的解剖结构的虚拟图像，其重叠在(b)患者的身体上。

在一些应用中，跟踪工具的该部分包括跟踪工具标记。在一些应用中，第二头戴式设备包括第二头戴式显示器，该方法还包括在第二头戴式显示器上生成另一增强现实图像。在一些应用中，使用第一跟踪设备来跟踪至少工具的该部分和患者标记包括使用第一相机来跟踪至少工具的该部分和患者标记，并且使用第二跟踪设备来跟踪至少工具的该部分和患者标记包括使用第二相机来跟踪至少工具的该部分和患者标记。

在一些应用中，在第一头戴式显示器上生成增强现实图像包括：

使用从第一跟踪设备接收的数据与从第二跟踪设备接收的数据的组合来确定工具相对于受试者的解剖结构的位置；

基于所确定的工具相对于受试者的解剖结构的位置，在第一头戴式显示器上生成工具和患者的解剖结构的所述虚拟图像；

基于从所述第一跟踪设备接收的数据，确定患者的身体相对于第一头戴式设备的位置；以及

基于所确定的患者的身体相对于第一头戴式设备的位置，将虚拟图像重叠在患者的身体上。

根据本发明的一些应用，还提供了一种用于与被配置为放置在患者的身体的一部分内的工具一起使用的装置，该装置包括：

患者标记，该患者标记被配置为放置在患者的身体上；

第一头戴式设备，该第一头戴式设备被配置为由第一人员佩戴，该第一头戴式设备包括第一头戴式显示器，以及被配置为从第一视线跟踪至少工具的一部分和患者标记的第一跟踪设备；

第二头戴式设备，该第二头戴式设备被配置为由第二人员佩戴，该第二头戴式设备包括被配置为从第二视线跟踪至少工具的一部分和患者标记的第二跟踪设备；以及

至少一个计算机处理器，该至少一个计算机处理器被配置为基于从第一跟踪设备接收的数据与从第二跟踪设备接收的数据的组合在第一头戴式显示器上生成增强现实图像，该增强现实图像包括(a)工具和患者的解剖结构的虚拟图像，其重叠在(b)患者的身体上。

通过下面结合附图对本发明的应用的详细描述，将更全面地理解本发明，在附图中：

附图说明

图1是根据本发明的一些应用的对患者执行的图像引导外科手术的示意图；

图2是根据本发明的一些应用的头戴式设备的示意图；

图3A和图3B是根据本发明的一些应用的由相应健康护理专业人员佩戴的头戴式设备的显示器的示例的示意图；

图4A和图4B是根据本发明的一些应用，当健康护理专业人员之一的跟踪设备相对于患者标记之间的视线被至少部分地阻挡时，由相应健康护理专业人员佩戴的头戴式设备的显示器的示例的示意图；

图5A和图5B是根据本发明的一些应用，当健康护理专业人员之一的跟踪设备相对于患者标记之间的视线被至少部分地阻挡时，由相应健康护理专业人员佩戴的头戴式设备的显示器的示例的示意图；

图6A和图6B是根据本发明的一些应用，当健康护理专业人员之一的跟踪设备相对于患者标记之间的视线被至少部分地阻挡时，由相应健康护理专业人员佩戴的头戴式设备的显示器的示例的示意图。

实施例的详细描述

现在参考图1，其是根据本发明的一些应用的合并对患者20执行的图像引导外科手术的医疗规程的示意图。在图1所示的医疗规程中，工具22用于相对于患者背部执行动作，该工具经由患者背部27上的切口24插入。然而，本文所述的装置和技术可在对患者的身体执行的任何外科手术规程中使用(经过必要的修改)。还参考图2，其是根据本发明的一些应用的头戴式设备28的示意图。

对于一些应用，第一健康护理专业人员26(例如，执行规程的外科医生)佩戴第一头戴式设备28。通常，头戴式设备包括一个或更多个头戴式显示器30。对于一些应用，头戴式显示器大体类似于Benishti的US9,928,629(其通过引用并入本文)中描述的那些。例如，头戴式显示器可包括由计算机处理器(例如，下文描述的计算机处理器32和/或计算机处理器45)控制的组合器，以诸如向健康护理专业人员显示增强现实图像。对于一些应用，在头戴式显示器30上呈现图像，使得(a)通过投影仪31将计算机生成的图像投影到显示器的第一部分33上，并且(b)计算机生成的图像与正在经历规程的患者的解剖部分对准，其中患者的解剖部分通过显示器的第二部分35可见。通常，计算机生成的图像包括重叠在患者解剖结构的虚拟图像上的工具的虚拟图像。对于一些应用，在计算机生成的图像中包括原本对健康护理专业人员不可见(例如，由于被患者解剖结构隐藏)的工具的一部分。

虽然图像与患者的身体的某种不对准可能是可接受的，但为了满意地呈现图像，不对准通常可能不超过约2-3mm。为了说明对患者解剖结构与所呈现的图像的不对准的这种限制，通常跟踪患者的身体或其一部分相对于头戴式设备的位置。在一些情况下，用于执行该规程的工具的图像被合并到头戴式显示器上显示的图像中。为了以准确反映工具相对于患者解剖结构的位置的方式将工具的图像合并到图像中，通常跟踪工具或其一部分(例如，工具标记)的位置。通常期望确定工具相对于患者的身体的定位，使得工具相对于患者的身体的所确定定位的误差小于2mm。

通常，头戴式设备28包括跟踪设备34，该跟踪设备34被配置为有利于确定头戴式设备28相对于患者的身体的一部分(例如，患者背部)和/或相对于工具22的定位和取向，和/或工具相对于患者的身体的该部分的位置和取向。例如，跟踪设备可包括图像捕获设备36(诸如相机)，图像捕获设备36被配置为对患者标记38和/或工具标记40进行成像。通常，在头戴式设备的跟踪设备中使用单个相机。对于一些应用，相机是高速相机。例如，相机可每秒采集超过50帧。

对于一些应用，跟踪设备34包括安装在头戴式设备上的光源42。光源通常被配置为照射患者标记和/或工具标记，使得光从标记朝向相机反射。对于一些应用，图像捕获设备36是包括滤光器的单色相机，该滤光器被配置为仅允许具有与光源所生成的光类似波长的光穿过。例如，光源可以是红外光源(例如，生成波长在700nm和1000nm之间(例如，在700nm和800nm之间)的光的光源)，并且相机可以包括对应的红外滤光器。对于一些应用，惯性测量单元44(例如，被配置为以6个自由度进行测量的惯性测量单元)被设置在头戴式设备上，如下文进一步详细描述的。对于一些应用，头戴式设备包括附加相机43，附加相机43被配置为在可见光谱中捕获场景的图像，如Benishti的US 9,928,629(其通过引用并入本文)中所描述的。对于一些应用，头戴式设备28包括附加部件，例如，如Benishti的US 9,928,629(其通过引用并入本文)中所描述的。

通常，为了在显示器30上生成增强现实图像，计算机处理器确定头戴式设备28相对于患者的身体的一部分(例如，患者背部)的定位和取向，和/或工具相对于患者的身体的位置和取向。例如，集成在头戴式设备内的计算机处理器45可执行前述功能。另选地或附加地，计算机处理器32可用于执行这些功能，该计算机处理器32设置在头戴式设备的外部并且通常与头戴式设备无线通信。计算机处理器32通常包括处理系统50的与头戴式设备一起使用的部分，以便有利于图像引导的外科手术。对于一些应用，处理系统另外包括用于向系统的操作者输出信息的输出设备52(例如，显示器，诸如监视器)和/或被配置为允许操作者向系统输入数据的输入设备54(诸如指向设备、键盘、鼠标等)。通常，在本申请的上下文中，当计算机处理器被描述为执行某些步骤时，这些步骤可由外部计算机处理器32和/或集成在头戴式设备内的计算机处理器45执行。

对于一些应用，患者标记和/或工具标记包括被配置为反射由光源42生成的光的反射元件。对于一些此类应用，通过将来自光源42的光朝向其中设置有患者标记的感兴趣区域引导来跟踪受试者身体的一部分(例如，受试者背部)相对于头戴式设备的定位和取向。另选地或附加地，通过将来自光源42的光朝向其中设置有患者标记和/或工具标记的感兴趣区域引导来跟踪工具相对于受试者身体部分的定位和取向。通常，图像捕获设备36设置在头戴式设备上且与光源非常接近，使得图像捕获设备被配置为捕获从患者标记和/或工具标记反向反射的光。如上所述，对于一些应用，图像捕获设备是包括滤光器的单色相机，该滤光器被配置为仅允许具有与光源所生成的光类似的波长的光穿过。对于此类应用，相机通常接收示出工具标记和/或患者标记的反射元件的灰度图像。通常，计算机处理器通过分析由图像捕获设备采集的图像来确定受试者身体的一部分(例如，受试者背部)相对于头戴式设备的定位。通常进一步地，计算机处理器通过分析由图像捕获设备采集的图像来确定工具相对于受试者身体部分的定位和取向。

应当注意的是，用于跟踪患者标记和/或工具标记的上述技术是以示例的方式呈现的，并且对于一些应用，替代技术用于跟踪患者标记和/或工具标记。例如，患者标记和/或工具标记可包括光吸收元件和/或光生成元件，并且图像捕获设备可被配置为通过检测这些元件来跟踪患者标记和/或工具标记。另选地或附加地，可使用不同类型的检测器来跟踪患者标记和/或工具标记。

通常，患者标记被配置为提供足以使计算机处理器使用从设置在头戴式显示器上的单个跟踪设备收集的数据来确定头戴式设备相对于患者的身体部分的定位和取向的数据。例如，患者标记可包括元件阵列，该元件阵列对头戴式设备的跟踪设备是可见的，并且被配置为使得在头戴式设备相对于患者标记的任何定位和取向处，该元件阵列具有针对该定位和取向唯一的外观。以这种方式，计算机处理器能够确定头戴式设备相对于患者的身体部分的定位和取向，而不需要使用三角测量技术。

如以上段落中所描述的，通常，患者标记被配置为提供足以使计算机处理器使用从设置在头戴式显示器上的单个跟踪设备收集的数据来确定头戴式设备相对于患者的身体部分的定位和取向的数据。然而，对于一些应用，至少在某些情况下，计算机处理器被配置为合并从附加跟踪设备(即，相对于第一跟踪设备34的附加跟踪设备)接收的跟踪数据，以便在第一健康护理专业人员26的第一头戴式设备28的头戴式显示器30上生成图像。

对于一些此类应用，计算机处理器被配置为在跟踪设备34丢失其相对于患者标记和/或工具标记和/或其部分的视线的情况下合并附加数据。在图1中示出了这方面的一个示例，其示出了第一健康护理专业人员26的右手阻挡了他/她的跟踪设备34相对于患者标记38的视线。对于一些应用，在此类情况下，计算机处理器被配置为从附加头戴式设备28'的跟踪设备34'接收数据，该附加头戴式设备28'被配置为由规程中存在的附加健康护理专业人员26'(例如，陪同的外科医生或护士)佩戴，例如，如图1所示。通常，附加头戴式设备28'与第一头戴式设备28大体类似，并且附加头戴式设备的跟踪设备34'与第一头戴式设备的跟踪设备大体类似。对于一些应用，当至少患者标记的一部分和工具的一部分(例如，工具标记)都在第一跟踪设备34的视线内时，计算机处理器基于从第一跟踪设备34接收的数据而不使用从跟踪设备34'接收的数据来在头戴式显示器30上生成增强现实图像。当至少患者标记的一部分和工具的一部分不都在第一跟踪设备34的视线内时，计算机处理器至少部分地基于从第二跟踪设备34'接收的数据在头戴式显示器30上生成增强现实图像。

另选地或附加地，未安装在头戴式设备上的跟踪设备60设置在手术室中。通常，跟踪设备60设置在手术室内的固定位置。例如，跟踪设备60可以是天花板安装的、壁挂式安装的和/或设置在支架上，诸如三脚架。对于一些应用，跟踪设备60包括光源62和图像捕获设备64，光源62和图像捕获设备64以与上文参考光源42和图像捕获设备36描述的方式大致类似的方式起作用。

现在参考图3A和3B，其是根据本发明的一些应用的由相应健康护理专业人员26'、26佩戴的头戴式设备28'、28的显示器30'、30的示例的示意图。图3A示出了在图1中患者右侧示出的第二健康护理专业人员26'的显示器30'的示例，并且图3B示出了在图1中患者左侧示出的第一健康护理专业人员26的显示器30的示例。通常，在头戴式显示器30和头戴式显示器30'中的每一个上生成的图像是增强现实视图，该增强现实视图示出与实际患者解剖结构对准的虚拟患者解剖结构以及与虚拟解剖结构对准的虚拟工具。如上所述，对于一些应用，虚拟工具和虚拟解剖结构显示在头戴式显示器30、30'的第一部分33上，并且实际患者解剖结构通过头戴式显示器30、30'的第二部分35可见。对于一些应用，计算机处理器被配置为以2D和3D两种方式生成这样的视图。为了生成这样的视图，通常需要跟踪头戴式设备相对于患者的定位和取向以便将虚拟解剖结构与实际患者解剖结构正确对准。图3A和图3B示出了当每个健康护理专业人员的跟踪设备34具有患者标记的清晰视线时，相应头戴式显示器通常如何显示。

现在参考图4A和图4B，其是根据本发明的一些应用，当第一健康护理专业人员26的跟踪设备34相对于患者标记38之间的视线至少部分地被阻挡时，由相应健康护理专业人员26'、26佩戴的头戴式设备28'、28的显示器30'、30的示例的示意图。图4A示出了在图1中患者右侧示出的第二健康护理专业人员26'的显示器30'的示例，并且图4B示出了在图1中患者左侧示出的第一健康护理专业人员26的显示器30的示例。

对于一些此类应用，计算机处理器在第一健康护理专业人员26的头戴式显示器30上生成虚拟图像，该虚拟图像示出根据从第二跟踪设备34'接收的数据确定的第二健康护理专业人员26'的虚拟视图(即，第二健康护理专业人员对虚拟解剖结构和虚拟工具的视图)。例如，第二健康护理专业人员的整体视图(包括他/她对虚拟解剖结构和虚拟工具的视图，以及他/她对实际患者解剖结构的视图)可显示在第一健康护理专业人员的头戴式显示器30上。图4A和图4B中示出了这种示例，其示出第一健康护理专业人员26的头戴式显示器30示出与第二健康护理专业人员26'的整体视图相同的整体视图。

现在参考图5A和图5B，其是根据本发明的一些应用，当第一健康护理专业人员26的跟踪设备34相对于患者标记38之间的视线至少部分地被阻挡时，由相应健康护理专业人员26'、26佩戴的头戴式设备28'、28的显示器30'、30的示例的示意图。图5A示出了在图1中患者右侧示出的第二健康护理专业人员26'的显示器30'的示例，并且图5B示出了在图1中患者左侧示出的第一健康护理专业人员26的显示器30的示例。对于一些应用，当第一健康护理专业人员26的跟踪设备34相对于患者标记38之间的视线至少部分被阻挡时，显示来自第二健康护理专业人员的视线的(工具和解剖结构的)虚拟图像，使得它基本上填充第一健康护理专业人员的整个头戴式显示器30，并且没有经由显示器的透明部分向第一健康护理专业人员示出任何实际患者解剖结构。在图5A和图5B中示出了这种实施例的示例，其示出来自头戴式显示器30'(图5A中所示)的虚拟图像被显示在第一健康护理专业人员的头戴式显示器30的部分33内，并且部分33基本上填充第一健康护理专业人员的整个头戴式显示器30(图5B中所示)。

现在参考图6A和图6B，其是根据本发明的一些应用，当第一健康护理专业人员26的跟踪设备34相对于患者标记38之间的视线至少部分地被阻挡时，由相应健康护理专业人员26'、26佩戴的头戴式设备28'、28的显示器30'、30的示例的示意图。图6A示出了在图1中患者右侧示出的第二健康护理专业人员26'的显示器30'的示例，并且图6B示出了在图1中患者左侧示出的第一健康护理专业人员26的显示器30的示例。对于一些应用，响应于检测到跟踪设备34已丢失其对患者标记的视线，使得头戴式设备相对于患者的定位和/或取向不能使用跟踪设备34来确定至给定准确度水平，计算机处理器在受试者的虚拟解剖结构内生成虚拟工具的图像，但不考虑将计算机生成的图像与实际患者解剖结构对准。对于一些此类应用，继续从第一健康护理专业人员的先前已知视线显示在第一健康护理专业人员的显示器30的部分33中生成的虚拟图像，但工具相对于解剖结构的位置基于从跟踪设备34'接收到的数据来更新。第一健康护理专业人员的显示器的第二部分35保持透明，使得第一健康护理专业人员从他/她自己的当前视线看到患者解剖结构。图6A和图6B示出了这种实施例的示例。如图6B所示，由于头戴式设备28相对于患者标记的定位的变化没有被跟踪和考虑，这可能导致虚拟图像(在部分33中示出)相对于患者的身体(在部分35中示出)的轻微不对准。在这方面，注意到，通常，第一健康护理专业人员使用重叠在患者解剖结构的虚拟图像上的工具的虚拟图像，以用于工具的导航。因此，健康护理专业人员通常能够继续导航工具，即使工具和患者解剖结构的虚拟图像与他/她对患者解剖结构的视图不对准。

对于一些应用，执行与上述段落中描述的技术大体类似的技术，但用于在头戴式显示器30上生成图像的附加跟踪数据是从跟踪设备60接收的，作为从第二头戴式设备28'的跟踪设备34'接收的替代或附加。

对于一些应用，响应于检测到跟踪设备34已丢失其对工具标记的视线，使得工具相对于患者的定位和/或取向不能被确定至给定准确度水平，计算机处理器使用从跟踪设备34'和/或跟踪设备60接收的数据来确定工具相对于患者的定位。通常，在头戴式设备28'的头戴式显示器30'上显示虚拟图像，该虚拟图像包括虚拟患者解剖结构和在其当前定位处示出的虚拟工具，其中工具相对于患者的当前定位已经基于从跟踪设备34'和/或跟踪设备60接收的数据被确定。

对于一些应用，计算机处理器被配置为合并从附加跟踪设备(即，除了跟踪设备34之外的跟踪设备)接收的跟踪数据，以便在第一头戴式设备28的头戴式显示器30上生成图像，即使当患者标记和工具标记在跟踪设备34的视线内时也是如此。对于一些应用，计算机处理器使用从跟踪设备34'接收的数据和从跟踪设备34接收的数据的组合，和/或使用从跟踪设备60接收的数据和从跟踪设备34接收的数据的组合来确定工具相对于患者的定位。例如，计算机处理器可使用接收数据的上述组合来确定工具相对于患者的平均(例如，均值)当前定位，并且计算机处理器可在头戴式显示器30上生成虚拟工具在虚拟解剖结构上的图像，其中工具被定位在所确定的当前位置处。

对于一些应用，即使患者标记上的跟踪元件的一部分变得模糊以使得它们不在跟踪设备34的视线内，计算机处理器也通过使用跟踪算法(例如，使用卡尔曼滤波器)跟踪标记来继续跟踪头戴式设备相对于患者的定位。通常，在此类情况下，至少当患者标记是部分模糊时，计算机处理器不继续主动地识别标记。相反，计算机处理器使用上述跟踪算法来继续跟踪已经识别的标记。对于一些应用，如果患者标记变得模糊(例如，部分模糊或完全模糊)以使得至少患者标记的一部分不在跟踪设备34的视线内，则计算机处理器继续使用惯性测量单元44，结合使用来自跟踪设备34的数据确定的患者标记的最后定位来确定患者相对于头戴式设备的定位。

本文描述的本发明的应用可采取从计算机可用或计算机可读介质(例如，非暂时性计算机可读介质)可访问的计算机程序产品的形式，该计算机程序产品提供用于由计算机或任何指令执行系统(诸如计算机处理器32和/或45)使用或与其结合使用的程序代码。为了本描述的目的，计算机可用或计算机可读介质可以是可包括、存储、传送、传播或传输程序以供指令执行系统、装置或设备使用或与其结合使用的任何装置。介质可以是电子、磁、光、电磁、红外或半导体系统(或装置或设备)或传播介质。典型地，计算机可用或计算机可读介质是非暂时性计算机可用或计算机可读介质。

计算机可读介质的示例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘和光盘。光盘的当前示例包括致密盘只读存储器(CD-ROM)、致密盘读/写(CD-R/W)和DVD。

适合于存储和/或执行程序代码的数据处理系统将包括通过系统总线直接或间接耦接到存储器元件的至少一个处理器(例如，计算机处理器32和/或45)。存储器元件可包括在程序代码的实际执行期间采用的本地存储器、大容量存储设备和高速缓冲存储器，该高速缓冲存储器提供至少一些程序代码的临时存储以便减少在执行期间必须从大容量存储设备检索代码的次数。系统可读取程序存储设备上的发明性指令，并且遵循这些指令以执行本发明的实施例的方法。

网络适配器可耦接到处理器以使得处理器能够通过介入的专用或公共网络耦接到其他处理器或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡只是几种目前可用类型的网络适配器。

用于执行本发明的操作的计算机程序代码可以一种或多种编程语言的任何组合来编写，该编程语言包括面向对象的编程语言诸如Java、Smalltalk、C++等，以及常规的过程性编程语言，诸如C编程语言或类似的编程语言。

将理解的是，本文描述的算法可通过计算机程序指令来实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机的处理器(例如，计算机处理器32和/或45)或其他可编程数据处理装置的处理器执行的指令产生用于实现在本申请中描述的算法中指定的功能/动作的装置。这些计算机程序指令还可存储在计算机可读介质(例如，非暂时性计算机可读介质)中，其可指导计算机或其他可编程数据处理装置以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现算法中指定的功能/动作的指令装置的制品。计算机程序指令还可被加载到计算机或其他可编程数据处理装置上，以致使将在计算机或其他可编程装置上执行的一系列操作步骤来产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现在本申请中描述的算法中指定的功能/动作的过程。

计算机处理器32和/或计算机处理器45通常是用计算机程序指令编程以产生专用计算机的硬件设备。例如，当被编程以执行参考附图描述的算法时，计算机处理器32和/或45通常充当专用图像生成计算机处理器。通常，本文描述的由计算机处理器32和/或45执行的操作根据所使用的存储器的技术将作为真实物理物品的存储器的物理状态变换为具有不同的磁极性、电荷等。对于一些应用，被描述为由计算机处理器执行的操作由多个计算机处理器彼此组合地执行。

本领域技术人员将理解，本发明不限于上文特别示出和描述的内容。相反，本发明的范围包括以上描述的各种特征的组合和子组合，以及本领域技术人员在阅读前述描述时会想到的不在现有技术中的变化和修改。