利用具有图形用户界面的手术工具器械的系统和方法

摘要

本披露提供了一种系统，所述系统：可以经由显示器来显示包括图标的图形用户界面(GUI)；可以接收来自图像传感器的第一图像；可以根据所述第一图像和手术工具器械的数字模型来确定在所述第一图像内所述手术工具器械的第一位置；可以显示所述GUI的在第二位置的光标；可以接收来自所述图像传感器的第二图像；可以根据所述第二图像和所述数字模型来确定在所述第二图像内所述手术工具器械的第三位置；可以显示所述GUI的在第四位置的光标；可以接收用户输入，当所述光标的坐标包含所述第四位置时所述用户输入指示了选择；并且可以确定当所述至少一个图标的坐标包含所述第四位置时，所述用户输入指示了选择。

说明书

背景

技术领域

本披露涉及医疗程序中的品质保证、并且更具体地涉及用于利用医疗程序或医疗程序的过程要素来验证患者信息的系统和方法。

背景技术

计算机系统可以辅助外科医生进行外科手术。计算机系统提供图形用户界面。然而，在无菌环境中，外科医生不能容易地触摸非无菌装置、比如与计算机系统的接口。目前，外科医生与计算机系统的接口进行交互存在不同可能性，比如脚踏板、外科手术助理(例如，医务人员)、以及用于在触摸屏和/或键盘上进行交互的一次性丢弃品(例如棉签)。这些解决方案可能容易出错、并且可能导致输入错误。例如，在与计算机系统交互期间，外科医生可能必须将他或她的手和/或头部从患者物理地移动到计算机系统接口，以确保他或她的计算机系统输入是正确的。这在外科手术期间可能是潜在的分心，这可能导致不可预见的和/或负面的外科手术结果。

发明内容

本披露提供了一种系统，所述系统能够：经由显示器来显示包括至少一个图标的图形用户界面；接收来自图像传感器的第一图像；并且根据所述第一图像和手术工具器械的数字模型来确定在所述第一图像内所述手术工具器械的第一位置。例如，所述将被用作指针的手术工具器械可以包括手术刀、棉签、镊子等。所述系统可以包括显示所述图形用户界面的显示器、或者可以联接至所述显示器上。所述系统可以包括含有所述显示器的显微镜集成显示器，所述显示器显示所述图形用户界面。所述系统可以进一步显示所述图形用户界面的在与所述第一位置相关联的第二位置的光标。所述系统可以进一步接收来自所述图像传感器的第二图像；根据所述第二图像和所述手术工具器械的数字模型来确定在所述第二图像内所述手术工具器械的第三位置；并且显示所述图形用户界面的在与所述第三位置相关联的第四位置的光标。所述系统可以进一步接收用户输入，当所述至少一个图标的坐标包含所述第四位置时所述用户输入指示了选择。例如，所述选择可以指示图标的选择。所述系统可以进一步确定当所述至少一个图标的坐标包含所述第四位置时，所述用户输入指示了选择；并且响应于确定所述用户输入指示了选择，来改变由所述图形用户界面显示的数据。例如，可以结合与外科医生相关联的工作流程的下一步骤来改变图形用户界面的图像数据。作为另一个示例，可以响应于确定用户输入指示了选择而存储第一图像、第二图像或第三图像的至少一部分。可以经由存储器介质来存在图像数据。

本披露可以进一步包括具有指令的非暂态计算机可读存储器装置，所述指令在被系统的处理器执行时使所述系统执行以上步骤。本披露进一步包括如上所述的系统或非暂态计算机可读存储器装置，其具有以下一个或多个额外特征，这些特征除非明显地相互排斥，否则可以彼此组合使用：i)当所述处理器执行所述指令时，所述系统可以进一步能够经由显示器来显示包括至少一个图标的图形用户界面；ii)当所述处理器执行所述指令时，所述系统可以进一步能够接收来自图像传感器的第一图像；iii)当所述处理器执行所述指令时，所述系统可以进一步能够根据所述第一图像和手术工具器械的数字模型来确定在所述第一图像内所述手术工具器械的第一位置；iv)当所述处理器执行所述指令时，所述系统可以进一步能够显示所述图形用户界面的、在与所述第一位置相关联的第二位置的光标；v)当所述处理器执行所述指令时，所述系统可以进一步能够接收来自所述图像传感器的第二图像；vi)当所述处理器执行所述指令时，所述系统可以进一步能够根据所述第二图像和所述手术工具器械的数字模型来确定在所述第二图像内所述手术工具器械的第三位置；vii)当所述处理器执行所述指令时，所述系统可以进一步能够显示所述图形用户界面的、在与所述第三位置相关联的第四位置的光标；viii)当所述处理器执行所述指令时，所述系统可以进一步能够接收用户输入，当所述至少一个图标的坐标包含所述第四位置时所述用户输入指示了选择；ix)当所述处理器执行所述指令时，所述系统可以进一步能够确定当所述至少一个图标的坐标包含所述第四位置时，所述用户输入指示了选择；x)当所述处理器执行所述指令时，所述系统可以进一步能够响应于确定所述用户输入指示了选择，来改变由所述图形用户界面显示的数据；xi)当所述系统接收指示了选择的用户输入时，所述系统可以进一步能够接收来自所述图像传感器的第三图像；xii)当所述系统确定所述用户输入指示了选择，所述系统可以进一步能够至少基于所述第二图像和第三图像以及所述数字模型来确定与所述手术工具器械相关联的像素数量变化，所述像素数量变化指示了所述手术工具器械至所述图像传感器的距离变化；xiii)当所述系统接收所述指示了选择的用户输入，所述系统可以进一步能够接收来自所述图像传感器的多个图像；xv)当确定所述用户输入指示了选择，所述系统可以进一步能够至少基于所述数字模型和所述多个图像来确定与所述手术工具器械的移动相关联的、指示了选择的移动模式；xvi)当所述处理器执行所述指令时，所述系统可以进一步能够至少基于所述多个图像来确定与所述手术工具器械的移动相关联的、指示了选择的移动模式；xvii)当所述处理器执行所述指令时，所述系统可以进一步能够响应于确定所述用户输入指示了选择而经由所述存储器介质来存储所述第一图像、第二图像或第三图像的至少一部分；xviii)当所述处理器执行所述指令时，所述系统可以进一步能够将与外科医生相关联的工作流程前进至所述工作流程的下一步骤。

上述任何系统都能够执行上述任何方法，并且上述任何非暂态计算机可读存储器装置都能够使系统执行上述任何方法。可以在上述任何系统上或使用上述任何非暂态计算机可读存储器装置来实现上述任何方法。

应理解的是，以上的一般性说明以及以下的详细说明在本质上都是示例性和解释性的，并且旨在提供对本披露的理解而不限制本披露的范围。就此而言，通过以下详细描述，本披露的附加方面、特征以及优点对于本领域技术人员而言将是明显的。

附图说明

为了更加完整地理解本披露及其特征和优点，现在参考结合附图进行的以下说明，这些附图并未按比例绘制，在这些附图中：

图1A展示了系统的示例；

图1B展示了显微镜集成显示器的示例以及手术工具器械的示例；

图2展示了计算机系统的示例；

图3A和图3B展示了图形用户界面的示例；

图4A和图4B展示了对准区域的示例；

图4C展示了对准移动模式的示例；

图4D展示了接收移动模式的示例；

图4E展示了接收移动模式的另一个示例；

图5展示了利用具有图形用户界面的手术工具器械的方法的示例；以及

图6展示了利用具有图形用户界面的手术工具器械的方法的另一个示例。

具体实施方式

在以下说明中，通过举例的方式阐述了细节以便于讨论所披露的主题。然而，对于本领域普通技术人员而言明显的是，所披露的实施例是示例性的并且不是对所有可能的实施例的穷举。

如本文所使用的，附图标记指代实体的类别或类型，并且在这样的附图标记之后的任何字母指代这个类别或类型的特定实体的具体示例。因此，例如，用‘12A’指代的假设实体可以指代特定类别/类型的特定示例，并且总体上，标记‘12’可以指代属于这个特定类别/类型的示例的集合、或这个特定类别/类型的任何一个示例。

外科医生可能处于无菌的外科手术环境中。外科医生可以使用他或她的手术工具器械来控制和/或引导图形用户界面(GUI)。GUI可以用于控制与外科手术相关联的工作流程。在利用手术工具器械来控制和/或引导GUI的过程中，一种装置可以确定手术工具器械的一种或多种形状。例如，一个或多个相机可以向所述装置提供一个或多个图像。所述装置可以根据来自所述一个或多个相机的所述一个或多个图像来确定手术工具器械。所述装置可以跟踪所述手术工具器械的一种或多种移动。例如，所述装置可以至少基于来自所述一个或多个相机的所述一个或多个图像来跟踪所述手术工具器械的一种或多种移动。

可以利用所跟踪的手术工具器械的一种或多种移动来与GUI交互。在一个示例中，GUI可以经由显微镜集成显示器(MID)被显示。在另一个示例中，GUI可以经由显示器被显示。外科医生可以经由MID来查看GUI和/或与之交互。外科医生和/或其他外科手术人员可以经由显示器与GUI交互。GUI可以叠加到外科医生的当前感兴趣区域。例如，GUI可以叠加在外科医生的当前感兴趣的区域上，使得外科医生可以可视化GUI而无需从外科医生的当前感兴趣区域看向别处。例如，GUI可以叠加在实况情景上。可以利用基于运动的对象跟踪来与GUI交互。例如，利用基于运动的对象跟踪和/或对象识别，手术工具器械可以用作与GUI交互的定点装置。定点装置的示例可以是或包括以下一个或多个：鼠标、触控板、以及轨迹球等。

手术工具器械可以与系统对准以便与GUI相关联地使用。例如，手术工具器械可以与所述系统对准，以用作与GUI相关联地使用的定点装置。对准手术工具器械以便与GUI相关联地使用可以包括：系统接收手术工具器械的一个或多个图像、并且确定所述手术工具器械的可以用于标识所述手术工具器械的一种或多种形状和/或一个或多个曲线。例如，可以使用一个或多个机器学习过程、和/或一种或多种机器学习方法来确定所述手术工具器械的可以用于标识所述手术工具器械的一种或多种形状和/或一个或多个曲线。所述一个或多个机器学习过程、和/或一种或多种机器学习方法可以产生和/或确定手术工具器械的数字模型。例如，可以利用所述数字模型来推断与GUI相关联利用的手术工具器械的一个或多个位置。

可以利用手术工具器械的一种或多种移动来确定指针“点击”。例如，可以将手术工具器械的一种或多种移动用作鼠标点击。指针“点击”可以指示选择经由GUI显示的一个或多个项目。在手术工具器械与系统对准之后，可以将手术工具器械的一种或多种移动确定和/或识别为指针“点击”。在一个示例中，可以将第一移动用作鼠标左键选择(例如，“点击”)。在第二示例中，可以将第二移动用作鼠标右键选择(例如，“点击”)。在第三示例中，可以将第三移动用作鼠标左键保持选择(例如，按住鼠标左键)。在另一个示例中，可以将第四移动用作鼠标左键释放选择(例如，释放鼠标左键)。可以利用一个或多个基于运动的对象跟踪过程和/或一种或多种基于运动的对象跟踪方法。例如，所述一个或多个基于运动的对象跟踪过程和/或一种或多种基于运动的对象跟踪方法可以利用背景减法、帧差法以及光流等中的一种或多种来跟踪手术工具器械。

现在转向图1A，展示了系统的示例。如图所示，外科医生110可以利用手术工具器械120。在一个示例中，外科医生110在涉及患者140的患者部分130的外科手术中可以利用手术工具器械120。例如，外科医生110可以利用与系统100交互的、和/或利用所述系统的手术工具器械120。例如，系统100可以是或包括眼科手术工具跟踪系统。如图所示，系统100可以包括计算装置150、显示器160、以及MID 170。

计算装置150可以接收由一个或多个图像传感器捕捉的图像帧。例如，计算装置150可以对所述一个或多个图像帧进行各种图像处理。计算装置150可以对所述一个或多个图像帧进行图像分析，以从所述一个或多个图像帧中标识和/或提取手术工具器械120的一个或多个图像。计算装置150可以生成可以叠加在所述一个或多个图像帧上的GUI。例如，GUI可以包括一个或多个指示符和/或一个或多个图标等。所述一个或多个指示符可以包括外科手术数据、比如一个或多个位置和/或一个或多个取向。GUI可以通过显示器160和/或MID 170被显示给外科医生110和/或其他医务人员。

计算装置150、显示器160、以及MID 170可以在彼此通信地联接的单独壳体中或在公共控制台或壳体内实施。用户界面可以与计算装置150、显示器160、以及MID 170等中的一者或多者相关联。例如，除了其他输入装置之外，用户界面还可以包括以下一个或多个：键盘、鼠标、操纵杆、触摸屏、眼睛跟踪装置、语音识别装置、手势控制模块、拨号盘、和/或按钮等。用户(例如，外科医生110和/或其他医务人员)可以经由用户界面来输入期望的指令和/或参数。例如，可以利用用户界面来控制计算装置150、显示器160、以及MID 170等中的一者或多者。

现在转向图1B，展示了显微镜集成显示器的示例以及手术工具器械的示例。如图所示，手术工具器械120A可以是或包括手术刀。如图所示，手术工具器械120B可以是或包括棉签。如图所示，手术工具器械120C可以是或包括镊子。未具体展示的其他手术工具器械可以与本文描述的一个或多个系统、一个或多个过程、和/或一种或多种方法一起使用。

作为示例，手术工具器械120可以用一个或多个图案来标记。所述一个或多个图案可以用于标识手术工具器械120。所述一个或多个图案可以包括散列图案、条纹图案、以及分形图案等中的一者或多者。作为另一个示例，手术工具器械120可以用染料和/或涂料来标记。所述染料和/或涂料可以反射可见光、红外光、以及紫外光等中的一种或多种。在一个示例中，照明器178可以提供紫外光，并且图像传感器172可以接收从手术工具器械120反射的紫外光。计算机系统150可以从图像传感器172接收至少基于从手术工具器械120反射的紫外光的图像数据；并且可以利用至少基于从手术工具器械120反射的紫外光的所述图像数据、根据图像传感器172所提供的其他图像数据来标识手术工具器械120。在另一个示例中，照明器178可以提供红外光，并且图像传感器172可以接收从手术工具器械120反射的红外光。计算机系统150可以从图像传感器172接收至少基于从手术工具器械120反射的红外光的图像数据；并且可以利用至少基于从手术工具器械120反射的红外光的所述图像数据、根据图像传感器172所提供的其他图像数据来标识手术工具器械120。

如图所示，MID 170可以包括显示器162A和162B。例如，外科医生110可以看向多个接目镜，并且显示器162A和162B可以向外科医生110显示信息。虽然MID 170被示为具有多个显示器，但是MID170可以包括单一显示器162。例如，MID 170可以被实施为具有一个或多个显示器162。如图所示，MID 170可以包括图像传感器172A和172B。在一个示例中，图像传感器172A和172B可以获取图像。在第二示例中，图像传感器172A和172B可以包括相机。在另一个示例中，图像传感器172可以经由可见光、红外光、以及紫外光等中的一种或多种来获取图像。一个或多个图像传感器172A和172B可以向计算装置150提供图像数据。虽然MID170被示为具有多个图像传感器，但是MID 170可以包括单一图像传感器172。例如，MID 170可以被实施为具有一个或多个图像传感器172。

如图所示，MID 170可以包括距离传感器174A和174。例如，距离传感器174可以确定距手术工具器械120的距离。距离传感器174可以确定与Z轴相关联的距离。虽然MID 170被示为具有多个图像传感器，但是MID 170可以包括单一距离传感器174。在一个示例中，MID 170可以被实施为具有一个或多个距离传感器174。在另一个示例中，MID 170可以被实施为没有距离传感器。如图所示，MID 170可以包括透镜176A和176B。虽然MID 170被示为具有多个透镜176A和176B，但是MID 170可以包括单一透镜176。例如，MID 170可以被实施为具有一个或多个透镜176。如图所示，MID 170可以包括照明器178A和178B。例如，照明器178可以提供和/或产生可见光、红外光、以及紫外光等中的一种或多种。虽然MID 170被示为具有多个照明器，但是MID 170可以包括单一照明器178。例如，MID 170可以被实施为具有一个或多个照明器178。

现在转向图2，展示了计算机系统的示例。如图所示，计算机系统150可以包括处理器210、易失性存储器介质220、非易失性存储器介质230、以及输入/输出(I/O)装置240。如图所示，易失性存储器介质220、非易失性存储器介质230、以及I/O装置240可以通信地联接至处理器210。

术语“存储器介质”可以意指“存储器”、“存储装置”、“存储器装置”、“计算机可读介质”、和/或“有形计算机可读存储介质”。例如，存储介质可以包括但不限于以下存储介质：例如直接存取存储装置(包括硬盘驱动器)、顺序存取存储装置(例如磁带磁盘驱动器)、光盘(CD)、随机存取存储器(RAM)、只读存储器(ROM)、CD-ROM、数字通用盘(DVD)、电可擦除可编程只读存储器(EEPROM)、闪存、非易失性介质、和/或以上介质的一个或多个组合。如图所示，非易失性存储器介质230可以包括处理器指令232。处理器指令232可以由处理器来执行。在一个示例中，处理器指令232中的一个或多个部分可以经由非易失性存储器介质230被执行。在另一个示例中，处理器指令232中的一个或多个部分可以经由易失性存储器介质220被执行。处理器指令232中的一个或多个部分可以被传送至易失性存储器介质220。

处理器210可以执行处理器指令232来实施本文描述的一个或多个系统、一个或多个流程图、一个或多个过程、和/或一种或多种方法。例如，处理器指令232可以被配置、译码、和/或编码成具有根据本文描述的一个或多个系统、一个或多个流程图、一种或多种方法、和/或一个或多个过程的指令。存储介质和存储器介质中的一者或多者可以是软件产品、程序产品、和/或制品。例如，软件产品、程序产品、和/或制品可以被配置、译码、和/或编码成具有根据本文描述的一个或多个流程图、一种或多种方法、和/或一个或多个过程的、可由处理器执行的指令。

处理器210可以包括可操作来解释并且执行存储在存储器介质中和/或经由网络接收的程序指令、过程数据、或二者的任何合适的系统、装置、或设备。处理器210进一步可以包括一个或多个微处理器、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、或被配置成用于解释并且执行程序指令、过程数据、或二者的其他电路系统。

I/O装置240可以包括任何一个或多个工具，所述工具通过促进用户输入和向用户输出而允许、准许、和/或使得用户能够与计算机系统150以及其相关联部件进行交互。促进用户输入可以允许用户操纵和/或控制计算机系统150，并且促进向用户输出可以允许计算机系统150指示用户的操纵和/或控制的效果。例如，I/O装置240可以允许用户向计算机系统150输入数据、指令、或二者并且以其他方式操纵和/或控制计算机系统150以及其相关联部件。I/O装置可以包括用户界面装置，例如键盘、鼠标、触摸屏、操纵杆、手持透镜、工具跟踪装置、坐标输入装置、或适合用于系统、比如系统100的任何其他I/O装置。

I/O装置240可以包括一个或多个总线、一个或多个串行装置、和/或一个或多个网络接口等，它们可以促进和/或准许处理器210实施本文描述的一个或多个系统、过程和/或方法。在一个示例中，I/O装置240可以包括可以促进和/或准许处理器210与外部存储器通信的存储接口。所述存储接口可以包括通用串行总线(USB)接口、SATA(串行ATA)接口、PATA(并行ATA)接口、以及小型计算机系统接口(SCSI)等中的一者或多者。在第二示例中，I/O装置240可以包括可以促进和/或准许处理器210与网络通信的网络接口。I/O装置240可以包括无线网络接口和有线网络接口中的一个或多个。在第三示例中，I/O装置240可以包括外围组件互连(PCI)接口、PCI Express(PCIe)接口、串行外围互连(SPI)接口、以及内部集成电路(I

如图所示，I/O装置240可以通信地联接至显示器160和MID 170。例如，计算机系统150可以经由I/O装置240通信地联接至显示器160和MID 170。I/O装置240可以促进和/或准许处理器210与MID 170的一个或多个元件进行数据通信。在一个示例中，I/O装置240可以促进和/或准许处理器210与图像传感器172、距离传感器174、以及显示器162等中的一者或多者进行数据通信。在另一个示例中，I/O装置240可以促进和/或准许处理器210控制图像传感器172、距离传感器174、照明器178、以及显示器162等中的一者或多者。

现在转向图3A和图3B，展示了图形用户界面的示例。如图所示，GUI 310可以包括图标320A-320C。例如，GUI 310和/或图标320A-320C可以叠加在经由图像传感器172获取的图像上。如图所示，GUI 310可以显示光标330。例如，系统100可以跟踪手术工具器械120的移动、并且基于手术工具器械120的一种或多种移动和/或一个或多个位置来显示光标330。系统100可以跟踪手术工具器械120的移动。例如，系统100可以跟踪手术工具器械120至图标320C的一种或多种移动和/或一个或多个位置。

GUI 310可以经由显示器被显示。例如，GUI 310可以经由显示器160、162A、和162B等中的一者或多者被显示。外科医生110可以选择图标320C。在一个示例中，外科医生110可以经由脚踏板来选择图标320C。可以将脚踏板的致动用作指针点击(例如，鼠标点击)。在另一个示例中，外科医生110可以经由手术工具器械120的一种或多种移动来选择图标320C。可以将手术工具器械120的所述一种或多种移动用作指针点击(例如，鼠标点击)。

现在转向图4A和图4B，展示了对准区域的示例。如图4A所示，手术工具器械120B可以经由对准区域410被对准。例如，对准区域410可以经由GUI 310被显示。如图4B所示，手术工具器械120A可以经由对准区域410被对准。例如，经由对准区域410可以叠加在所获取的图像上。所获取的图像可能是经由图像传感器172A和172B所获取的。

可以根据来自一个或多个图像传感器172的一个或多个图像来确定手术工具器械120的数字模型。手术工具器械120的数字模型可以包括手术工具器械120的模式。作为示例，数字模型可以用于将在经由图像传感器172A和172B中的一个或多个获取的图像内的手术工具器械120的图像数据进行关联。数字模型可以包括在经由图像传感器172A和172B中的一个或多个获取的图像内的手术工具器械的图像数据之间的可能关系。例如，数字模型可以包括可以确定所述可能关系的参数。学习过程和/或方法可以利用训练数据来拟合所述参数。在一个示例中，可以将一个或多个图像用作训练数据。在另一个示例中，可以使用对准区域410来将图像数据关联为训练数据。确定手术工具器械120的数字模型可以包括：至少基于所述一个或多个图像来训练数字模型。所述数字模型可以是判别式的。所述数字模型可以是产生式的。一个或多个推断过程、和/或一种或多种方法可以利用数字模型来确定在经由图像传感器172A和172B中的一个或多个获取的图像内的手术工具器械120的图像数据。

现在转向图5，展示了利用具有图形用户界面的手术工具器械的方法的示例。在510处，图形用户界面可以经由显示器被显示。在一个示例中，GUI 310可以经由显示器160被显示。在另一个示例中，GUI 310可以经由显示器162A和162B中的一个或多个被显示。在515处，可以接收第一用户输入，所述第一用户输入指示将使用手术工具器械作为与所述图形用户界面相关联的指针。在一个示例中，第一用户输入可以包括致动脚踏板。在第二示例中，第一用户输入可以包括语音输入。在另一个示例中，第一用户输入可以包括致动GUI图标。外科医生110或其他医务人员可以致动GUI图标。

在520处，可以接收来自至少一个传感器的第一多个图像。例如，可以接收来自图像传感器172A和172B中的一个或多个传感器的第一多个图像。第一多个图像可以包括将被用作与图形用户界面相关联的指针的手术工具器械的图像数据。在525处，根据第一多个图像可以确定手术工具器械的、包括手术工具器械的模式的数字模型。例如，数字模型可以用于将在经由图像传感器172A和172B中的一个或多个获取的图像内的手术工具器械的图像数据进行关联。数字模型可以包括在经由图像传感器172A和172B中的一个或多个获取的图像内的手术工具器械的图像数据之间的可能关系。例如，数字模型可以包括可以确定所述可能关系的参数。学习过程和/或方法可以利用训练数据来拟合所述参数。例如，可以将第一多个图像用作训练数据。确定手术工具器械的数字模型可以包括：至少基于第一多个图像来训练数字模型。所述数字模型可以是判别式的。所述数字模型可以是产生式的。推断过程和/或方法可以利用数字模型来确定在经由图像传感器172A和172B中的一个或多个获取的图像内的手术工具器械的图像数据。

在530处，可以经由所述至少一个图像传感器来接收第二多个图像。例如，可以接收来自图像传感器172A和172B中的一个或多个传感器的第二多个图像。所述第二多个图像可以包括手术工具器械的图像数据。在535处，可以根据第二多个图像和数字模型来确定手术工具器械的移动模式，所述移动模式可用于选择图形用户界面的图标。例如，可以根据第二多个图像和数字模型来确定图4C所展示的图案420。图案420可以用于选择图标320，如图4D所示。图案420可以用于选择图标320，如图4E所示。例如，图案420的至少一部分可以叠加在图标420上。

现在转向图6，展示了利用具有图形用户界面的手术工具器械的方法的另一个示例。在610处，包括至少一个图标的图形用户界面可以经由显示器被显示。在一个示例中，GUI 310可以经由显示器160被显示。在另一个示例中，GUI 310可以经由显示器162A和162B中的一个或多个被显示。在615处，可以接收来自图像传感器的第一图像。例如，可以接收来自图像传感器172的第一图像。在620处，可以根据第一图像和手术工具器械的数字模型来确定在所述第一图像内所述手术工具器械的第一位置。例如，可以根据第一图像和手术工具器械的数字模型来确定手术工具器械120的第一位置，如图3A所示。作为示例，数字模型可以是或包括经由图5的方法要素525确定的数字模型。作为另一个示例，数字模型可以从存储器介质中检索到。存储器介质可以存储手术工具器械的一个或多个数字模型。例如，存储器介质可以存储包括手术工具器械的一个或多个数字模型的库。

在625处，可以显示所述图形用户界面的在与第一位置相关联的第二位置的光标。例如，如图3A所示，GUI 310的光标330可以显示在与第一位置相关联的第二位置。在630处，可以接收来自所述图像传感器的第二图像。例如，可以接收来自图像传感器172的第二图像。在635处，可以根据第二图像和手术工具器械的数字模型来确定在所述第二图像内所述手术工具器械的第三位置。例如，可以根据第二图像和手术工具器械的数字模型来确定手术工具器械120的第二位置，如图3B所示。在640处，图形用户界面的光标可以显示在与所述第三位置相关联的第四位置。例如，如图3B所示，GUI 310的光标330可以显示在与第三位置相关联的第四位置。

在645处，可以接收用户输入，当所述至少一个图标的坐标包含第四位置时所述用户输入指示了选择。在一个示例中，用户输入可以包括致动脚踏板。当用户输入指示所述选择时，外科医生110可以致动脚踏板。在第二示例中，用户输入可以包括移动模式。用户输入可以包括如图4D和图4E所示的移动模式420。所述移动模式可以近似于图4D和图4E所示的移动模式420。可以配置和/或利用其他的移动模式。在第三示例中，用户输入可以包括与手术工具器械相关联的像素数量变化，所述像素数量变化指示了手术工具器械至图像传感器的距离变化。如果手术工具器械变得更靠近图像传感器，则与手术工具器械相关联的像素数量可以增大。作为示例，可以接收来自所述图像传感器的来自所述图像传感器的第三图像，并且可以至少基于第二图像和第三图像以及数字模型来确定指示手术工具器械至图像传感器的距离变化的、与手术工具器械相关联的像素数量变化。

在650处，可以确定当所述至少一个图标的坐标包含第四位置时，用户输入指示了选择。例如，可以确定用户输入指示了选择图标320。在655处，可以改变图形用户界面所显示的数据。例如，可以改变GUI310的图像数据。改变图形用户界面所显示的数据可以响应于确定用户输入指示了选择而进行。作为示例，与外科医生相关联的工作流程可以前进至所述工作流程的下一步骤。可以结合与外科医生相关联的工作流程的下一步骤来改变GUI310的图像数据。作为另一个示例，可以响应于确定用户输入指示了选择而存储第一图像、第二图像或第三图像的至少一部分。可以经由存储器介质来存在图像数据。

这些方法和/或过程要素中的一个或多个要素、和/或方法和/或过程要素的一个或多个部分可以以不同的顺序执行、可以重复、或者可以省略。此外，可以根据需要实现、例示和/或执行附加的、补充的和/或重现的方法和/或过程要素。此外，根据需要可以省略一个或多个系统要素，和/或可以添加附加的系统要素。

存储器介质可以是和/或可以包括制品。例如，制品可以包括和/或可以是软件产品和/或程序产品。存储器介质可以被译码和/或编码成具有根据本文描述的一个或多个流程图、系统、方法、和/或过程的指令，用于生产所述制品。

以上披露的主题应认为是说明性而非限制性的，并且所附权利要求旨在覆盖所有此类修改、增强、以及落入本披露的真实精神和范围内的其他实施方式。因此，在法律允许的最大程度上，本披露的范围将由对以下权利要求及其等效物的最宽允许解释来确定并且不应受限于或局限于上述详细说明。