用于模拟外科手术的触觉增强和虚拟现实系统

摘要

本发明涉及一种用于脑动脉瘤夹闭的触觉上可行的虚拟现实模拟的系统、方法和装置，其中在模拟期间用户使用两个物理台。第一台为触觉和增强现实台，而第二台为触觉和虚拟现实台。

说明书

优先权声明

本申请要求目前未决的于2012年9月27日递交的第13/628,841号美国申请的优先权。

技术领域

本发明涉及一种利用触觉增强和虚拟现实系统用于脑动脉瘤夹闭(clipping)的触觉上可行的模拟的方法、装置和系统，触觉增强和虚拟现实系统包括模拟开放性手术(opensurgery)步骤执行的开放性手术台和用于模拟显微手术步骤执行的显微手术台。

背景技术

脑动脉瘤(brainaneurysm)与非常显著的死亡率和发病率相关联，其涉及到先前健康的年轻患者以及较年长患者的中风。动脉瘤夹闭对于大而复杂的不能通过动脉瘤卷曲方法得到治疗的动脉瘤是重要的方法。此外，不管动脉瘤其本身多复杂，其通常花费医生长达六个月仅仅获知如何通过翼点穿颅术和大脑侧裂解剖用外科方法接近动脉瘤位置。而且，在学习动脉瘤夹闭的外科方法方面，还有手术判断的许多待学习要素，例如，最佳手术角度，从该最佳手术角度接近动脉瘤，其影响了动脉瘤的定位。

附图说明

为了说明和描述已经选择了具体示例，该具体示例在附图中示出，并形成说明书的一部分。

图1示出了已知的开放性手术台的一个示例的透视示意图，该开放性手术台可以用在本发明的触觉增强和虚拟现实系统中。

图2示出了用于图1的系统的已知的软件和硬件构架的框图。

图3示出了图1的开放性手术台的第二透视示意图。

图4示出了本发明的显微手术台的一个示例的透视示意图，该显微手术台可以用在本发明的触觉增强和虚拟现实系统中。

图5示出了利用本发明的触觉增强和虚拟现实系统执行模拟脑动脉瘤夹闭的方法的一个示例的框图。

图6示出了可以用在本发明的触觉增强和虚拟现实系统的触针(hapticstylus)的一个示例。

图7示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟动脉瘤夹钳的一个示例。

图8示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟动脉瘤夹钳保持器的一个示例。

图9示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟开颅器的一个示例。

图10示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟吸头69的一个示例。

图11示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟钻孔工具(burrtool)64的一个示例。

图12示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟烧灼器(cauterizer)的一个示例。

图13示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟双极电灼钳的一个示例。

图14示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟手术标记器的一个示例。

图15示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟螺钉的一个示例。

图16A示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟橡子(acorn)钻头的一个示例。

图16B示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟球形钻头的一个示例。

图17示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟往复锯的一个示例。

图18示出了在本发明的触觉增强和虚拟现实系统的仪器库中可提供的虚拟显微剪刀的一个示例。

具体实施方式

本发明包括用于执行模拟手术过程的触觉增强和虚拟现实的方法、系统和装置，该模拟手术过程包括开放性手术步骤和显微手术步骤，包括但不限于脑动脉瘤夹闭。

本发明的用于脑动脉瘤夹闭的本发明模拟方法可以包括动脉瘤手术过程的所有方面，包括例如穿颅术、硬脑膜切开、大脑侧裂解剖、大脑中动脉(middlecerebralartery，MCA)分叉部动脉瘤的夹闭、以及载瘤动脉(parentvessel)通畅率的流动检测。本发明的方法、装置和系统可以和综合性手术模拟系统一起使用，该综合性手术模拟系统使用开放性手术台和显微手术台以便模拟虚拟患者解剖的开放视角和虚拟患者解剖的显微视角。

如在此所使用的，术语“开放性手术台”应当理解为意味着设置的一种环境，在该环境中，提供给用户的可视显示包括叠加在真实现实上的虚拟现实方面，且在该环境中，在执行虚拟的开放性手术的步骤同时，除了叠加的虚拟现实方面之外，用户可以看到真实现实的方面。例如，在开放性手术台，用户可以与显示的虚拟患者解剖交互，且模拟的手术仪器可以被显示成使得它似乎被保持在用户(该用户持有作为该仪器的代表的触针)的实际手中。

如在文中使用的，术语“显微手术台”应当理解为意味着设置的一种环境，在该环境中提供给用户的可视显示由虚拟方面构成，该虚拟方面为计算机产生的图像，在用户执行模拟显微手术步骤的同时用户可以看到该图像。例如，在显微手术台，用户可以利用显示的虚拟手术仪器与显示的虚拟患者解剖交互，且虽然用户将触针用作该仪器的代表，但该用户不会看到真实现实的方面。

触觉增强和虚拟现实系统

如上所述，本发明的触觉增强和虚拟现实系统可以包括开放性手术台10和显微手术台11，开放性手术台10模拟开放性手术，该开放性手术的一个示例示出在图1和图3中，显微手术台11模拟显微手术，该显微手术的一个示例示出在图4中。台10和台11都可以包括一些同类的物理组件，为了参考的方便，对于图1至图5中的台10和台11，相同的物理组件标记为相同的附图标记。

可以用在本发明中的开放性手术台的一些示例描述在美国专利第7,812,815号中，其通过全文引用包含在文中。参考用于模拟开放性手术步骤的开放性手术台10，用户12可以坐或站在物理桌面工作空间14处，物理桌面工作空间14由在一侧上具有开口18的壳体16限定。开放性手术台10可以包括多感知计算机界面，该多感知计算机界面包括立体视觉界面20、至少一个触觉装置22、以及3D音响系统24。此外，头部跟踪装置26和以至少一个触觉机器人触针27形式的手部跟踪装置可以提供关于用户与该系统交互以及用户的关于开放性手术台10的用户可视角度的信息。

参考用于模拟显微手术步骤的显微手术台11，用户(未在图4中示出)可以坐或站在物理桌面工作空间14处，物理桌面工作空间14由在一侧具有开口18的壳体16限定。显微手术台11可以包括多感知计算机界面，该多感知计算机界面包括双筒手术显微镜目镜31、至少一个触觉装置22、和3D音响系统24。此外，以至少一个触觉机器人触针27形式的手部跟踪装置可以提供关于用户与该系统的交互以及用户的关于显微手术台11的用户可视角度的信息。

可以利用本发明的触觉增强和虚拟现实系统而模拟的手术过程可以包括利用单手技术、或需要利用多手的过程。因此，开放性手术台10和显微手术台11的每一个可以包括至少一个、或两个触觉装置22，触觉装置22可以跟踪用户的手部位置和取向，且将力反馈提供给用户。例如，由于动脉瘤夹闭过程的很多部分趋于需要两手技术，因此在此提供的动脉瘤夹闭模拟的方法可以包括同时使用两个触觉装置22。第一手术工具的3D图像可以搭配有第一触觉装置22，而第二手术工具的3D图像可以搭配有第二触觉装置22。例如，模拟方法可以包括用户将第一触觉装置22保持在第一只手中(例如右手)，且将第一手术工具(例如动脉瘤夹钳保持器或蛛网膜刀)的图像叠加在第一触觉装置22上。模拟方法还可以包括用户将第二触觉装置22保持在第二只手中(例如左手)，且将第二手术工具(例如吸头)的图像叠加在第二触觉装置22上。其他的手术工具也可以被模拟，例如双极电灼头、显微剪刀、和其他合适的仪器。

开放性手术台10和显微手术台11可以分别包括使得用户获得深度知觉(depthperception)的显示系统。每一显示系统可以由图形逻辑驱动，该图形逻辑可以控制和更新由显示系统显示的图像。开放性手术台10的显示系统可以使用可以为单一被动式立体监控器的显示屏幕28、用于反射显示屏幕28的图像的半镀银镜子30、以及用于显示动态的以观看者为中心的透视图的头部跟踪系统26。部分透明镜子30可以使得用户12看到虚拟现实显示和用户的手部，从而提供增强的现实环境。用户可以通过镜子30下方的触针27保持和操纵触觉装置22。显微手术台11的显示系统可以通过使用两个显示屏幕28(显示屏幕28可以为并排放置的非立体监控器)和双筒手术目镜31显示静态透视图，该双筒手术目镜31可以包括以一定角度定向的四个第一表面镜子，以此方式使得左监控器的图像仅可被左眼看到，右监控器的图像仅可被右眼看到。前表面镜子之间的定向和距离可以由用户调节以匹配他/她的两眼之间的距离。

在开放性手术台10中，虚拟突起表面可以精确地位于触觉工作空间的中心处且垂直于该线而定向，然而，在显微手术台11中，用户可以通过双筒手术显微镜目镜31观看到虚拟突起。在开放性手术台10中，优选地，部分透明镜子30可以足够宽以允许舒适的移动范围的同时，使得用户从不同的观看角度观看到虚拟对象(显示正确的以观看者为中心的透视图)。相比而言，在显微手术台11中，双筒手术显微镜目镜31可以手动或通过自动上下调节器而向上或向下调节，且两眼之间距离也可以调节以便舒适的三维观看。在一个示例中，双筒手术显微镜目镜31的高度可以通过调节目镜安装框架33来调节，目镜安装框架33可以通过驱动壳体16上的第一脚踏板34或手部开关35来向上或向下调节。在一些示例中，可以设置一个或多个额外的脚踏板34以激活某些模拟手术仪器，例如以下参考图5讨论的双极电灼钳68。

在图3中示出的计算机32能够可操作地连接至开放性手术台10和显微手术台11。可替选地，开放性手术台10和显微手术台11能够分别可操作地连接至单独的计算机32，在一个示例中，单独的计算机可以通过无线或有线网络连接而链接。一个或多个计算机可以为触觉增强和虚拟现实系统的组件，触觉增强和虚拟现实系统包括控制和操作开放性手术台10的开放性手术台逻辑，以及控制和操作显微手术台11的显微手术台逻辑。触觉增强和虚拟现实系统可以包括软件库(该软件库可以实时提供高级别层，该高级别层封装在任一个显示屏幕28上的场景图像的渲染(rendering))、立体视觉界面20、显示为触觉机器人触针27的手部跟踪装置的处理、具有触觉装置22的界面、以及在3D音响系统24上的3D空间音频的回放。

关于开放性手术台10，计算机32可以包括驱动开放性手术台10的每一触觉装置的触觉渲染逻辑，和驱动开放性手术台10的显示系统的图形逻辑。连接至开放性手术台10的计算机32还可以包括开放性手术台逻辑，该开放性手术台逻辑可以集成触觉渲染逻辑和图形逻辑且提供手术过程的开放性手术步骤的实时模拟，其包括响应通过开放性手术台10的触觉装置执行的用户操作而实时更新该开放性手术视图。开放性手术台逻辑还可以包括仪器库，该仪器库包括多个虚拟手术仪器，该多个虚拟手术仪器的每一个可以由用户选择且由开放性手术台10的显示系统显示。关于动脉瘤夹闭的方法论的开放性手术步骤，以下将讨论用于与开放性手术台10一起使用的可以包括在仪器库中的仪器的一些示例。

关于显微手术台11，计算机32可以包括驱动显微手术台11的每一触觉装置的触觉渲染逻辑，和驱动显微手术台11的显示系统的图形逻辑。连接至显微手术台11的计算机32还可以包括显微手术台逻辑，该显微手术台逻辑可以整合触觉渲染逻辑和图形逻辑且提供手术过程的开放性手术步骤的实时模拟，其包括响应通过显微手术台11的触觉装置执行的用户操作而实时更新该显微手术视图。显微手术台逻辑还可以包括仪器库，该仪器库包括多个虚拟手术仪器，该多个虚拟手术仪器的每一个可以由用户选择且由显微手术台11的显示系统显示。关于动脉瘤夹闭的方法论的显微手术步骤，以下将讨论用于与显微手术台11一起使用的可以包括在仪器库中的仪器的一些示例。

现在参考图2，示出了用于开放性手术台10的软件和硬件构架的一个示例。该构架包括互相连接的装置和软件模块，该装置和软件模块由3D应用程序界面(applicationprograminterface，API)39集成。

图2(示出开放性手术台10)和图5(示出开放性手术台10和显微手术台11)包括用于根据真实的人体解剖的扫描生成图像数据的软件和硬件。体数据(volumedata)处理40可以接收例如由输入数据源41(可以为医学扫描仪)生成的2D图像数据。体数据预处理40可以将3D模型提供给3D应用程序界面39。

可以用作输入数据源40用来区分物理对象特征的医学扫描仪的示例包括核磁共振成像(MRI)扫描仪或CT扫描仪，例如那些通常用于获取医学图像的仪器。体数据预处理40将2D图像分割并组合以产生被扫描的样本(例如人体头部)的虚拟3D体。在例如可以用于手术培训的医学图像的示例实施方式中，体数据预处理40建立详细的3D结构。各个3D结构的特征通过触觉装置22的界面将不同感觉特征呈现在虚拟现实环境中，例如皮肤将感觉到软和骨头会感觉到硬。触觉渲染软件44可以监控和控制包括每一触针27的每一触觉装置22。触觉渲染软件44可以读出每一触觉装置22(例如，触针27，或用于不同功能或由单独的手使用的多个触针27)的位置和取向，并计算出相应于触觉装置22的虚拟装置和在3D虚拟环境内的对象之间的冲突检测。触觉渲染软件44还可以从3D应用程序界面39接收3D模型。例如，可以计算出虚拟装置和输入的3D等值面(isosurface)的冲突，且触觉渲染软件可以指示触觉装置22产生相应的力反馈。在一些示例中，根据某些参数：硬度、黏度、静摩擦和动摩擦，以及例如密度、质量、厚度、阻尼、弯曲等不同的物理特性，每一等值面被分配不同触觉材料。因此，用户12可以感觉虚拟环境中对象和表面的不同表面和质地。

在手术模拟示例中，用户12当触摸到皮肤、骨头和内脏(例如大脑)时可以感受到不同感觉。在优选实施方式中，图像和触觉可以在两个分开的线上，其可以例如通过双处理器计算机实施。该触觉和图像可以有它们自己的更新计划，例如，触觉在1000Hz处，而图像在大约30Hz处。在该示例中，该系统可以在大约每30个触觉更新之后同步该两个连续图像更新，且本领域内的技术人员可以修改触觉和图像更新和同步的方式。

手部跟踪是很有利的，因为其使得用户使用两只手与虚拟场景交互。在用户可以通过保持触针27的手感受到触觉的同时，还可以使用跟踪的手去移动3D对象、操纵光线、或将平面限定在同一3D工作体中。图像渲染软件46从3D应用程序界面39接收3D模型。同样，图像渲染软件46从触觉渲染软件44接收虚拟工具信息。利用该模型和其他信息，图像渲染软件46软件实时生成和持续更新由显示屏幕28显示的立体3D显示。

API39可以提供摄影机节点，该摄影机节点计算虚拟投影面上的正确的以观看者为中心的透视图投影。根据由跟踪系统给出的用户的头部的位置和取向，其可以适当地渲染左手视图和右手视图。

声音渲染49还可以用来将音频模拟通过每一3D音响系统24添加至虚拟环境。声音渲染软件的一个示例是开放音频库(OpenAudioLibrary，OpenAL)，该开放音频库是免费使用的跨平台3D音频API，其充当音频硬件的软件界面。OpenAL在虚拟3D环境中可以产生围绕听者的声源的布置。它处理声源方向性和与距离相关的衰减以及多普勒效应，以及特别的效应，例如反射、阻挡、传输、以及回响。

动脉瘤夹闭的模拟

本发明的方法包括动脉瘤夹闭手术过程的虚拟现实模拟，且可以包括模拟该过程的一个或多个部分、或甚至整个过程。该方法可以包括例如过程(包括穿颅术、硬脑膜切开、沿着大脑侧裂的导航、动脉瘤夹闭、载瘤动脉的开放的流动检测)的模拟。在一些示例中，大脑侧裂可以呈现为预切开的，但可以具有弹性组织界限。此外，载瘤动脉的通畅率的流动测试可以由合适的虚拟仪器提供，例如定量的微血管超声流量计(例如，TransonicSystems的Charbel)，或看到用于诊断荧光造影的吲哚菁绿(ICG)花青染料的虚拟注射的虚拟伽马射线照相机。虚拟伽马射线照相机可以例如通过基于流动强度的血管的灰度渲染来模拟。

在图5中示出了可以利用本发明的触觉增强和虚拟现实系统执行的动脉瘤夹闭方法的一个示例。在示出的示例中，动脉瘤夹闭的开放性手术步骤可以由位于开放性手术台10上的用户执行，且可以包括钻孔84、穿颅术85和硬脑膜切开86。显微手术步骤可以由位于显微手术台11处的用户执行，且可以包括大脑侧裂解剖83、来自夹钳库71且保持在夹钳保持器72中的动脉瘤夹钳选择任务90、围绕动脉瘤和其载瘤动脉的组织解剖任务89、在动脉瘤颈部91上的动脉瘤夹钳放置和闭合、通过超声流动检测仪75的血液流动测试92、以及可选的动脉瘤破裂和修复74。

如上所讨论的，触觉增强和虚拟现实系统可以由来自输入数据源41的第一接收患者特定的医学图像输入数据执行数据预处理40。该数据可以以标准格式(例如医学数字影像和通讯(DigitalImagingandCommunicationsinMedicine，DICOM))提供并且接收。该DICOM或由该系统接收的其他输入数据可以原始地以患者解剖的二维(2D)切片的形式。在数据预处理40期间，部分解剖处理模块可以将2D数据转化为3D格式。

对于模拟大脑动脉瘤夹闭的情况，部分解剖模块130的3D输出可以包括虚拟患者头盖骨3D体131、硬脑膜3D网格132、大脑3D网格133、以及血管3D网格134，包括动脉瘤颈部和液囊以及载瘤动脉。大脑的这四个3D解剖输出(在图5中封闭在虚线内且共同标记为项140)组成一套预处理虚拟大脑元件且可以被称为虚拟病历。标记140表示可以被永久存储在系统中以包括病历库的单独的病历和任何其他病历。

用户可以如下开始执行模拟大脑动脉瘤夹闭：通过首先坐在开放性手术台10处并且熟悉输入和交互装置(包括触针27)，该输入和交互装置可以具有至少一个输入装置，该输入装置例如开/关拨动按钮25或挤压附接件29(如图6所示)。挤压附接件29可以测量用户的拇指和食指之间的角度以模拟虚拟手术仪器的不连续的或逐渐的打开和闭合。用于触针27的输入装置的另一示例可以为剪刀-抓握附接件。

1.选择病历和为手术的头部准备。

使用用户图形用户界面(GUI)43，该GUI可以显示在屏幕28上，且反射在部分透明镜子30上或显示在辅助平板电脑上，用户可以从病历库140中选择特定的案例。该用户可以被可视地呈现出虚拟患者头部，该用户通过使用触针27可以抓取并旋转到适当位置中。从仪器库120中，该用户可以执行选择仪器任务121，从而选择手术标记器55(图14)。该系统逻辑可以自动地将手术标记器的图像叠加在通过部分透明镜子30可视的真实触针27上。利用该虚拟标记器55，用户可以在虚拟患者头部的皮肤上绘出预期穿颅术的轮廓。可能的穿颅术位置的示例为翼点(额颞的)穿颅术。该用户可以通过系统输入装置(例如，GUI、脚踏板、辅助平板电脑等)告知系统完成了穿颅术标记任务。然后系统可以通过自动地移除预期颅骨切开区域中的皮肤来模拟头部外观。

2.颅骨钻孔(任务84)。

用户可以从仪器库120中选择钻孔工具64(图11)。该系统可以将工具图像叠加在通过部分透明镜子30可视的真实触针27上。用户通过操纵触针27来操作虚拟钻孔工具64，且可以通过激活例如脚踏板34或触针输入装置25的输入装置来打开虚拟钻孔工具。用户可以进行到用户任务形成钻孔84，且可以钻出穿过模拟颅骨的多个钻孔，避免穿透模拟硬脑膜。同时实时地，系统逻辑可以执行系统任务110和利用头盖骨3D体131继续更新头盖骨几何形状。该系统的体触觉渲染模块112计算用户施加在该工具上以渐进地移除骨体的力，且将该力结果输出至触针27。系统的体图形渲染模块113计算骨体的渐进的视觉消失，且将该结果输出至立体显示器28。用户可以告知系统任务完成，且在一些示例中，该系统可以计算且记录该任务的分数，该分数可以在任何时候被显示出来。

3.穿颅术(任务85)。

如图9所示，用户可以从仪器库120中选择虚拟开颅器73。系统逻辑将虚拟开颅器73的图像叠加在真实触针27上。在用户任务65处，用户通过操纵触针27来操作虚拟开颅器73，且通过激活例如脚踏板34或触针输入装置25的输入装置来开启虚拟开颅器73。在用户任务85处，用户通过执行穿颅术可以继续连接前面钻出的钻孔，其可以包括利用例如虚拟往复锯56来切割孔之间的颅骨骨体以产生穿颅术骨瓣(图17)。同时实时地，在系统任务110处，该系统逻辑利用头盖骨3D体131渐进地更新头盖骨几何形状。体触觉渲染模块112计算用户施加在该工具上以渐进地移除骨体的力，且将该力结果输出至触针27。体图形渲染模块113计算骨体的渐进的视觉消失，且将该结果输出至显示器28。用户可以告知系统任务完成，且在一些示例中，该系统可以计算且记录该任务的分数，该分数可以在任何时候被显示出来。

4.切开硬脑膜(任务86)。

如图18所示，用户可以从仪器库120中选择显微剪刀57。系统逻辑将虚拟显微剪刀57的图像叠加在真实触针27上。在用户任务66处，用户操作显微剪刀且可以通过触针输入装置25来打开和闭合虚拟显微剪刀57。在用户任务86处，用户可以根据规定的手术方案继续在模拟硬脑膜中切开开口。同时实时地，在系统任务111，系统逻辑通过利用系统的基于位置的动力学计算模块116渐进地更新用于出现的硬脑膜切开的硬脑膜3D网格132。根据基于位置的动态，该系统的多边形触觉渲染模块44计算用户施加在该工具上以渐进地切开硬脑膜的力，且将该力结果输出至触针27。该系统的多边形图形渲染模块46计算硬脑膜的渐进的虚拟切开，且将该结果输出至显示器28。用户可以告知系统任务完成，且在一些示例中，该系统可以计算且记录该任务的分数，该分数可以在任何时候被显示出来。

在完成硬脑膜切开时，进行穿颅术和硬脑膜切开的虚拟患者头部的显示可以从开放性手术台10传输至显微手术台11。在不同计算机用于开放性手术台10和显微手术台11的示例中，虚拟患者头部的数据可以从开放性手术台10处的计算机传输至显微手术台11处的计算机。该传输可以被设定成在硬脑膜切开的发出完成的信号时即自动地发生，或其可以单独地被用户请求。用户还可以从开放性手术台10物理性移动至显微手术台11。

5.利用血管外的人工血流模型的大脑侧裂解剖(任务83)。

将大脑的额叶与颞叶划分的大脑侧裂(外侧沟)为重要的解剖结构，该结构必须被打开以接近前循环的许多动脉瘤，例如在大脑中动脉上。如上所述，所述裂缝可以通过翼点(额颞)穿颅术接近，但是在此的描述和权利要求适用于穿颅术(例如，乙状窦)和任何开放性手术接近方法的任何布置以到达脑动脉瘤。

如图4所示，用户为了开始虚拟大脑侧裂解剖(用户任务83)，用户可以坐在显微手术台11处，显微手术台11可以包括双筒手术目镜31、脚踏板34、以及两个用于双手手术技术的两个触觉装置，每一装置具有触针27。用户通常将从仪器库120中选择两个或多个虚拟手术工具。这些虚拟手术工具可以例如包括用于左手的虚拟吸头69(图10中示出)和用于右手或优势手的虚拟解剖工具，例如虚拟蛛网膜刀70、显微剪刀57(图18中示出)、或双极电灼钳68(图13中示出)、电灼器(图12)，可以在任何时候改变仪器。系统逻辑将虚拟吸头69(图10)和虚拟解剖工具的图像分别叠加在左手触针和右手触针上。仪器的动作可以由脚踏板34或由触针输入装置25激活。用户利用右手或优势手，用户操作例如双极电灼钳的虚拟解剖工具(用户任务68)且切割在大脑侧裂内的粘附或连接大脑额叶和颞叶的组织，以便打开大脑侧裂(用户任务83)。用户利用左手用户操作吸头(用户任务69)，用户并激活该抽吸以便吸收血管外的裂缝中的任何模拟血流(用户任务123)，其源自虚拟裂缝组织的解剖且还未开始被虚拟双极钳凝结。同时实时地，该系统的人工(非基于物理学)血流渲染模块137渐进地更新血管外模拟血流的表现和量以及通过抽吸工具的血流的吸收(系统任务123)，且将该结果输出至显示器28。而且，系统逻辑通过利用该系统的基于位置的动力学计算模块116渐进地更新大脑3D网格133以便使用于出现的大脑侧裂开口的大脑变形(系统任务114)。根据基于位置的动力学，系统的多边形触觉渲染模块44计算用户施加在该解剖工具上以切开连接大脑额叶和颞叶的组织的力，且将该力结果输出至触针27。该系统的多边形图形渲染模块46计算大脑侧裂中的组织的渐进的可视化的切割，且将该结果输出至显示器28。当所关注的动脉瘤在裂缝底部变得可见和可接近时，大脑侧裂的解剖任务被认为完成。用户可以告知系统任务完成，且在一些示例中，该系统可以计算且记录该任务的分数，该分数可以在任何时候被显示出来。

6.大脑牵拉(任务87)。

在过去的医学实践中，机械大脑牵拉通常在打开大脑侧裂的早期阶段中执行，且这也可以由触觉和虚拟现实系统利用如上所述的触觉和虚拟现实站10模拟。然而，多个当前医学指南推荐通过排出脑脊液和组织解剖形成大脑侧裂的宽开口，而无需机械大脑牵拉。在裂缝已经被打开以后，可延展的金属脑压板可以被应用以保持(而非牵拉)大脑的一个脑叶(例如，大脑额叶和颞叶)，以提供动脉瘤的较好的视图。用户从仪器库120中选择以虚拟脑压板67形式的牵开器。系统逻辑将工具图像叠加在真实触针27上。用户操作虚拟大脑牵开器(用户任务67)且继续该牵开器放置抵在虚拟大脑的一个暴露的脑叶上，以便固定保持用于解剖围绕动脉瘤的组织且夹闭所述动脉瘤的进入口的解剖手术线。同时实时地，系统逻辑通过利用该系统的基于位置的动力学计算模块116渐进地更新用于牵拉大脑的大脑3D网格133(系统任务114)。根据基于位置的动态，该系统的多边形触觉渲染模块44计算用户施加在该牵开器上以将大脑保持在合适位置中的力，且将该力结果输出至触针27。该系统的多边形图形渲染模块46计算渐进的大脑的可视化运动或变形，且将该结果输出至显示器28。用户告知系统任务完成且接收分数。

7.利用血管外的人工血流模型的大脑侧裂解剖(任务83)。

将大脑的额叶与颞叶划分的大脑侧裂(外侧沟)为重要的解剖结构，该结构必须被打开以接近前循环的许多动脉瘤，例如在大脑中动脉上。如上所述，所述裂缝可以通过翼点(额颞)穿颅术接近，但是在此的描述和以下的权利要求适用于穿颅术(例如，乙状窦)和任何开放性手术接近方法的任何布置以到达脑动脉瘤。

8.围绕动脉瘤的解剖(任务89)。

当已经形成通向载瘤动脉和动脉瘤的足够宽的开口和通道时，大脑侧裂解剖任务83结束。下一个手术步骤是围绕动脉瘤载瘤动脉、颈部、和头或液囊进行认真地解剖，不必牺牲附近的微血管，以便准备打开空间，动脉瘤夹钳可以放置在该打开空间中，而不会疏忽地夹闭其他的血管或不会过度地使载瘤动脉变窄。在现场手术中，该任务与大脑侧裂解剖是连续的，且外科医生使用同样的工具，通常为吸头(用户任务69)、和刀、显微剪刀、或双极钳(用户任务68)。类似地，该系统功能与大脑侧裂解剖中相同。系统逻辑渐进地更新大脑3D网格133以显示由于围绕动脉瘤的解剖引起的血管的变形(系统任务115)。根据基于位置的动力学，该系统的多边形触觉渲染模块44计算用户施加在该解剖工具上以切开或操纵组织和血管的力，且将该力结果输出至触针27。该系统的多边形图形渲染模块46计算围绕动脉瘤的渐进的可视化解剖，且将该结果输出至显示器28。

9.选择动脉瘤夹钳和在动脉瘤颈部上闭合夹钳(任务90和任务91)。

动脉瘤夹闭选择是手术的至关重要的部分，因为动脉瘤存在很多不同的形状、尺寸和位置，从而相应的一系列不同尺寸、形状(直的、弯的)和设计(例如，围绕一个血管进行以夹闭另一血管的有孔夹钳)的夹钳。基于模拟器上虚拟动脉瘤的直线视线，以及基于存储在病历库140中患者特异的脑动脉瘤，用户执行动脉瘤夹钳选择(用户任务90)以从夹钳库71中选择适当的虚拟动脉瘤夹钳100。系统逻辑将动脉瘤夹钳保持器72(见图72)和夹钳100(见图7)的图像一起叠加在真实触针27上。用户操作夹钳保持器(用户任务72)且将不同的指压施加至例如开/关拨动按钮25或挤压附接件29(如图6所示)的触针输入装置以保持住该夹钳或闭合和松开该夹钳。在通过虚拟血管周流传感器(见下面)进行载瘤动脉中血流的初始测量之后，用户继续将夹钳紧密地围绕虚拟动脉瘤颈部放置且将其在颈部上闭合以便于将从载瘤动脉到动脉瘤液囊中的脉动血流封闭，由此使得该动脉瘤临床上无害。同时实时地，该系统逻辑渐进地更新大脑3D网格133以显示由于将夹钳围绕动脉瘤颈部放置引起的血管变形(系统任务115)。根据基于位置的动力学，该系统的多边形触觉渲染模块44计算用户施加在虚拟夹钳保持器72(图8)上以使血管和动脉瘤变形的力，且将该力结果输出至触针27。该系统的多边形图形渲染模块46计算围绕动脉瘤的夹钳的渐进的可视化闭合，且将该结果输出至显示器28。用户告知系统任务完成，且该动脉瘤夹闭的分数由下一个步骤(载瘤动脉血流的测试)确定。

10.在动脉瘤夹钳布置之前和之后的载瘤动脉的流量检测(任务92)。

通过以下步骤来成功地实现动脉瘤夹闭：(a)完全夹闭动脉瘤颈部以使得无剩余脉动血流经过该颈部进入到动脉瘤液囊中；(b)避免将其他附近的小穿孔动脉截留在夹钳抓取范围内；以及(c)避免将夹钳太接近于载瘤动脉放置，这可能减小载瘤动脉的内径并由此减少其血流。尽管前两个任务的成功可视地确定，而第三个任务(在载瘤动脉中保持血流)的成功由在夹钳放置之前和之后检测载瘤动脉中的血流量来确定。标准真实方法是使用围绕载瘤动脉放置的超声血管周流量传感器，其依赖于时差法超声体积流量测量原理且输出血流量(以mL/min为单位)，但是也包括了其他的定量流量测量的方法。本发明的触觉增强和虚拟现实系统在动脉瘤夹钳放置之后，基于夹钳的最终位置和血管直径的预计算表、血压、流量值模拟虚拟载瘤动脉血流量的变化并且通过虚拟流量探针测量该变化(系统任务144)，而非通过血流和虚拟超声探针的操作的完全现实的计算流体动力学模拟。

为了在动脉瘤夹闭之前和之后进行载瘤动脉中虚拟血流量的定量体测量，用户从仪器库120中选择超声血管周流量传感器75。系统逻辑将虚拟流量传感器叠加在真实触针27上。用户任务67，用户操作流量传感器且继续将该传感器的C形头部围绕最接近的载瘤动脉的一个或多个部分和/或其远枝放置。同时实时地，系统逻辑渐进地更新大脑3D网格133(其包括血管和动脉瘤)，以通过使用系统的基于位置的动力学计算模块116来反映该载瘤动脉上的传感器压力和动脉的由此变形(系统任务115)。根据基于位置的动力学，该系统的多边形触觉渲染模块44在测量血流量的同时计算用户施加在传感器上的力，且将该力结果输出至触针27。该系统的多边形图形渲染模块46计算载瘤动脉的渐进的可视变形，且将该结果输出至显示器28。在夹闭其动脉瘤之前和之后，用户执行载瘤动脉上的流量测量。该系统计算这两个体积流量值(以mL/min为单位)(系统任务144),且将这些值以及差值输出至显示器28。如果载瘤动脉血流量未减少超过其预夹闭值的预定百分比(例如，25％的最大减少值)，则用户或者接受该结果，在该情况下完成了模拟操作且用户接收动脉瘤夹闭分数和综合分数。否则，用户可以再放置该夹钳且再次检测血液流动，或可以从库71中选择新的夹钳(任务90)并重复该操作。

作为虚拟血流量检测的额外手段，该系统可以模拟用于诊断荧光造影的吲哚菁绿(ICG)对比剂的动脉内注射，其中血管内侧的对比剂的流动通过虚拟射线照相机而可见。该模拟器用户通过该系统的图形用户界面请求注入ICG，其视为用户执行夹钳放置之后载瘤动脉的流动检测(任务92)用户。该系统之后执行任务117，通过平滑粒子液体力学绘制血流，其为实时(交互的)基于物理学的近似方法，但非完全准确的(且耗时)计算的流体动态模拟。任务117的可视对比剂注入被输出至图形显示器28。虚拟ICG注入使得来自动脉瘤颈部和夹钳下游的载瘤动脉的远枝中的血液流动可视，但是其还可以使得靠近载瘤动脉的较小穿孔动脉中血液流动可视以确保它们尚未被偶然地包括在虚拟动脉瘤夹钳的抓取范围中。低于当前医学成像装置(即，输入源44)的分辨率的穿孔动脉可以手动模型化且增加至血管3D网格134中。

11.可选的动脉瘤破裂模拟(任务74)。

在任何时候但特别是在围绕动脉瘤的解剖期间(用户任务89)，或放置动脉瘤夹钳期间(任务91)，动脉瘤可以破裂。该系统可以程序化以模拟作为随机事件的动脉瘤破裂以检测用户紧急响应，或模拟响应于用户手术失误的破裂。当模拟破裂时(系统任务74)，该系统使得动脉瘤液囊变形(任务115)，然后利用基于位置的动力学(系统任务116)、和多边形图形渲染(系统任务46)，以将可视结果输出至显示器28。当动脉瘤破裂时，该系统还渲染进入到蛛网膜下腔的人工血流(系统任务137)，且将可视结果输出至显示器28。

该模拟方法可以包括评价用户的表现。用户可以基于以下对用户打分：患者头部位置、穿颅术定位以及切割、硬脑膜切开、动脉瘤夹钳选择、左手和右手夹钳操作、误放置的夹钳的再定位、吸头和双极电灼器的使用、在夹钳放置时的总尝试、和对错误(包括动脉瘤破裂、未完全夹闭、夹钳距离载瘤动脉太远、由流量检测确定的载瘤动脉的不可接受的变窄等)的响应。该模拟器可以记录有关每一手术步骤或错误恢复策略的分数，通过适当权衡以得到总的综合分数。

综上所述，可以理解，尽管出于说明的目的而描绘了具体示例，但是可以在不偏离本发明的精神和范围的情况下进行各种修改。因此，应该理解，上述详细描述应被视为示例性而非限制性，可以理解的是，包括所有变形的权利要求书旨在特别地指出和明显地要求所要求保护的主题。