基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块

摘要

一种基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块，系统手术器械分别连接实体模型和位姿捕捉系统，位姿捕捉系统的输出连接计算机，计算机连接显示器。方法：读入手术器械碰撞模型新的位姿信息并存储；与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有进入下一阶段，无回第1阶段；判断手术器械是否与实体模型接触，有记录与实体模型的碰撞点和时间，无回第1阶段；重置手术器械碰撞模型。模块有依次进行的渲染过程、应用过程和场景图显示，渲染过程有手术器械设定部分和实体模型设定部分；应用过程有手术器械的选择及人体实体的确定。本发明实时采集手术器械在空间运动的位姿信息，并及时反馈给虚拟环境，具有精度高、反应快的特点。

说明书

技术领域

本发明涉及一种虚拟手术仿真系统。特别是涉及一种用于医学教学和实践培训练习的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块。

背景技术

现代科学技术的进步，特别是计算机技术的发展和广发应用，为医学技能训练领域带来了新的契机。传统的医学技能培训中，医生要经过长时间的系统的学习和训练才能熟练掌握，通常情况下是在尸体和活体动物上进行。这种传统的方法存在很多弊端也不符合国际人道主义的惯例。一方面，在尸体上进行训练时由于尸体经过防腐处理，尸体组织器官都有组织结构和位置上的变化，医生也无法获得病人语言或是肢体反应；在活体上进行时，由于活体组织结构与人体的差别较大，医生也无法得到好的训练；另一方面，传统培训中的尸体或活体大都只能用一次，无法重复使用，训练成本很高。

目前医学培训领域应用较多的是美国3DImmersion公司的VIV以及Sensible公司的PHANTOM，这些公司的力反馈系统价格昂贵、结构复杂、不易维修，而且在操作上与实际手术过程有较大区别，因而难以达到训练效果。

发明内容

本发明所要解决的技术问题是，提供一种通过位姿捕捉系统将实体模型和虚拟环境联系起来，实时采集手术器械在空间运动的位姿信息，并及时反馈给虚拟环境，具有精度高、反应快的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块。

本发明所采用的技术方案是：一种基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块，基于实时位姿捕捉技术的虚拟手术仿真系统，包括有实体模型，手术器械，位姿捕捉系统，计算机以及显示器，其中，所述的手术器械分别连接实体模型和位姿捕捉系统，位姿捕捉系统的输出连接计算机，计算机连接显示器。

所述的手术器械包括针形的手术器械用针、插管。

所述的实体模型包括有：骨骼模型、肌肉组织模型、神经模型和人体模型。

一种用于基于实时位姿捕捉技术的虚拟手术仿真系统的方法，包括如下阶段：

1)读入手术器械碰撞模型新的位姿信息并存储；

2)与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有变化进入下一阶段，否则返回第1阶段；

3)判断手术器械是否与实体模型接触，有接触记录与实体模型的碰撞点和时间，否则返回第1阶段；

4)重置手术器械碰撞模型。

第3阶段所述的判断手术器械是否与实体模型接触，有接触记录与实体模型的碰撞点和时间，否则返回第1阶段包括如下步骤：

1)判断手术器械是否与人体模型接触，有接触进入第2步骤，否则返回第1阶段；

2)记录与人体模型的碰撞点和时间，然后分别进入第3、5步骤；

3)判断是否与肌肉模型接触，有接触进入第4步骤，否则返回第1阶段；

4)记录与肌肉模型的碰撞点和时间，然后进入第7步骤；

5)判断是否与神经模型接触，有接触进入第6步骤，同时播放音频，否则返回第1阶段；

6)记录与神经模型的碰撞点和时间，然后进入第7步骤；

7)判断是否与骨骼模型接触，有接触进入第8步骤，否则返回第1阶段；

8)记录与骨骼模型的碰撞点和时间，然后进入第4阶段。

一种采用上述方法的数据制成的图形渲染模块，包括有依次进行的渲染过程、应用过程和场景图显示，其中，所述的渲染过程有手术器械设定部分和实体模型设定部分；所述的应用过程有手术器械的选择及人体实体的确定。

所述的实体模型设定部分包括有：依次进行的设定人体外形可渲染对象和设定人体外形子实体、依次进行的设定肌肉可渲染对象和设定肌肉子实体、依次进行的设定神经可渲染对象和设定神经子实体、依次进行的设定骨骼可渲染对象和设定骨骼子实体以及对人体外形及人体外形子实体的可见性的设定；所述的手术器械设定部分包括有依次进行的设定手术器械可渲染对象和设定手术器械子实体。

所述的手术器械的选择设定包括有，依次进行的选择手术器械实体，以及手术器械场景节点的确定。

所述的手术器械场景节点的确定是设定手术器械移动的具体位置，是根据计算机中记录的手术器械与实体模型的碰撞点和时间进行设定。

所述的人体实体的确定，包括有依次进行的对人体实体静止对象的确定、以及场景节点的确定。

本发明的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块，通过位姿捕捉系统将实体模型和虚拟环境联系起来，实时采集手术器械在空间运动的位姿信息，并及时反馈给虚拟环境，具有精度高、反应快的特点。将三维模型和材质导入图形渲染模块，建立了手术的虚拟环境，具有友好的人机接口，互动性强。这种基于实时位姿捕捉技术的虚实手术仿真系统为操作者真实地再现了手术现场，操作者在这样的虚拟环境中进行手术训练，能获得很好的触觉、视觉和听觉上的训练。

附图说明

图1是本发明的结构构成框图；

图2是本发明的物理碰撞检测系统流程图；

图3是图形渲染系统结构框图

具体实施方式

下面结合附图和实施例对本发明的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块做出详细说明。

如图1所示，本发明的基于实时位姿捕捉技术的虚拟手术仿真系统，包括有实体模型1，手术器械2，位姿捕捉系统3，计算机4以及显示器5，其中，所述的手术器械2分别对应实体模型1和位姿捕捉系统3，位姿捕捉系统3的输出连接计算机4，计算机4连接显示器5。

所述的手术器械2包括针形的手术器械用针、插管。

所述的实体模型1包括有：骨骼模型、肌肉组织模型、神经模型和人体模型。实体骨骼模型通过CT扫描得到真人的骨骼三维模型，再通过快速成型激光三维打印技术得到，使得骨骼的实体模型精度高。实体肌肉模型和实体皮肤由特种硅胶高分子材料制作，其结构性能和人体肌肉类似；实体人体模型符合真人比例。实体人体模型上留有放置骨骼模型、肌肉模型和皮肤的空间位置。分别将骨骼模型、肌肉模型和皮肤模型固定在人体模型相应的位置上，模型固定在工作台上，操作过程中模型的位置不能有变动。

所述的位姿捕捉系统3采用Ascension Technology Corporation公司生产的3D Guidance trakSTAR^TM。包括磁场发生器6、位姿传感器7、由信号调理电路、数据采集卡和位姿转换模块构成的位姿捕捉器8。位姿捕捉系统的磁场发生器有三个相互垂直的线圈，接通交流电后在实体模型所在的空间产生稳定的磁场，传感器上的磁感应元件根据磁场强度和空间位置不同发出不同的信号，信号通过调理电路进入数据采集卡，从而将信号转化为空间位置和姿态信息。位姿转换模块将数据采集卡输出的实体空间的位置和姿态信息通过空间变换原理变换为虚拟空间中的位置和姿态信息，使手术器械和手术器械模型分别保持与实体模型和虚拟环境中三维模型一致的空间运动关系。

如图2所示，本发明的用于基于实时位姿捕捉技术的虚拟手术仿真系统的方法：

首先在人体实体模型预设三个点，并记录三维模型上相应三点在虚拟环境空间中的位姿信息，将传感器依次放在人体实体模型上预设的三个点上，这样系统检测的这三个点在实体空间的位姿信息，通过空间位姿变换原理得到一个位姿变换矩阵。然后进行如下所包括阶段：

1)读入手术器械碰撞模型新的位姿信息并存储；

2)与前一次读入的手术器械碰撞模型的位姿进行比较，判断是否有变化，有变化进入下一阶段，否则返回第1阶段；

3)判断手术器械是否与实体模型接触，有接触记录并显示与实体模型的碰撞点和时间，否则返回第1阶段；具体包括如下步骤：

(1)判断手术器械是否与人体模型接触，有接触进入第2步骤，否则返回第1阶段；

(2)记录与人体模型的碰撞点和时间，然后分别进入第3、5步骤；

(3)判断是否与肌肉模型接触，有接触进入第4步骤，否则返回第1阶段；

(4)记录与肌肉模型的碰撞点和时间，然后进入第7步骤；

(5)判断是否与神经模型接触，有接触进入第6步骤，同时通过音频进行播放，否则返回第1阶段；

(6)记录与神经模型的碰撞点和时间，然后进入第7步骤；

(7)判断是否与骨骼模型接触，有接触进入第8步骤，否则返回第1阶段；

(8)记录与骨骼模型的碰撞点和时间，然后进入第4阶段。

(4)重置手术器械碰撞模型。

如图3所示，本发明的图形渲染模块，是将三维模型和材质导入计算机虚拟系统，并设定个模型之间的相对位置关系、分别将材质附着在模型上、控制材质的透明性、控制视窗口的位置。包括有依次进行的渲染过程、应用过程和场景图显示，其中，所述的渲染过程有手术器械设定部分和实体模型设定部分；所述的应用过程有手术器械的选择及人体实体的确定。

所述的实体模型设定部分包括有：依次进行的设定人体外形可渲染对象和设定人体外形子实体、依次进行的设定肌肉可渲染对象和设定肌肉子实体、依次进行的设定神经可渲染对象和设定神经子实体、依次进行的设定骨骼可渲染对象和设定骨骼子实体以及对人体外形及人体外形子实体的可见性的设定；所述的手术器械设定部分包括有依次进行的设定手术器械可渲染对象和设定手术器械子实体。

所述的手术器械的选择包括有，依次进行的选择手术器械实体，以及手术器械场景节点的确定。所述的手术器械场景节点的确定是设定手术器械移动的具体位置，是根据计算机中记录的手术器械与实体模型的碰撞点和时间进行设定。

所述的人体实体的确定，包括有依次进行的对人体实体静止对象的确定、以及场景节点的确定。

本发明的基于实时位姿捕捉的手术仿真系统和方法及图形渲染模块，操作者在进行手术训练时，操作者手持末端带有位姿传感器的针形器械在实体模型上进行操作，获得来自实体模型与针形手术器械相互作用的手感；位姿捕捉模块将针形手术器械的空间位置和姿态传给虚拟环境，再经过位置变换模块得出三维针模型的在虚拟环境中的位置和姿态；物理碰撞检测系统检测和记录操作过程中三维针模型与其它各模型的空间位置关系，当针模型进入或接触到非神经模型的其他模型时，记录其空间位置、时间以及接触次数等相关信息，当接触到神经模型时，根据接触到的次数和位置，系统给出相应的提示信息，如系统通过扩音设备发出声响，从而能使操作者获得听觉上得训练。