基于数据手套的虚拟手术训练系统交互技术的研究

摘要

本论文是以虚拟助产手术训练为研究目的，解决虚拟手人机交互的关键问题，并提供系统的实现方案。虚拟助产手术训练是利用数据手套作为人机交互的接口，使用户可以在虚拟手术场景实时地操作虚拟手，进行助产手术训练。 本文对虚拟手和虚拟手术场景的创建、虚拟手的交互和控制技术进行了详细的分析和深入的研究，并完成了原型系统交互部分的初步开发，为今后虚拟手术训练的实现提供良好的基础。具体研究工作如下： (1)对虚拟手的静态建模、动态控制和人机交互进行了分析和研究，提出了具体的实现方案。根据人手的形状和外观特点，采用3dsMax网格建模的方法，快速地建立逼真的人手三维模型。在分析人手骨骼结构的基础之上，采取分割模型的方法，把人手的三维模型分块分层，并按照逐层控制的方法建立虚拟手的层次和关联。通过图形转换矩阵对模型进行一系列的变换，实现虚拟手的运动。同时，分析了数据手套的使用方法，并创建接收数据手套信息的模块。最后建立了数据手套与虚拟手的映射关系，实现了人机交互。 (2)针对虚拟助产手术训练，研究了虚拟手术场景的构建和管理方法。还研究了虚拟手和其它模型的碰撞检测理论，并初步制定了手术训练虚拟手的操作规则。对虚拟手术场景中医学三维模型的建模等进行了分析，并提出构建的方法。 (3)根据医学理论和手术训练的要求，提出了虚拟手术交互训练的基本框架，并提供实现虚拟手术人机交互功能的方案。在windows操作系统和VC++的编程环境下，以Eon Studio作为虚拟现实平台、3dsMax作为建模工具，结合Eon SDK和5DT SDK，利用5DT Data-glove5作为人机交互的工具，完成了虚拟手术训练系统交互部分的开发工作。利用3dsMax、Eon等工具，构建了逼真的虚拟手和手术场景。使用Eon SDK开发虚拟手的控制节点，并利用5DT SDK在VC++中开发数据手套信息的接收模块，目的是为了实现实时地操作虚拟手。最后用VC++编程实现了虚拟助产手术训练系统的各部分功能的集成。

目录

文摘

英文文摘

声明

第一章绪论

1.1引言

1.2人机交互和虚拟现实

1.2.1人机交互技术

1.2.2虚拟现实技术

1.3虚拟手术训练

1.3.1虚拟手术训练

1.3.2国内外研究现状

1.4本文的主要研究内容

1.5课题来源

1.6本文章节安排

第二章 虚拟手及手术场景的静态构建

2.1引言

2.2人手几何建模及手术场景构建

2.2.1虚拟手的几何建模

2.2.3虚拟手术场景的构建

2.3三维建模技术和虚拟手建模

2.3.1 OpenGL建模

2.3.2 3dsMax软件建模

2.3.3虚拟手的三维建模

2.4模型和场景的管理

2.4.1坐标系的定义

2.4.2模型和场景的管理

2.5虚拟手术的立体显示方案

2.5.1硬件系统

2.5.2运行环境

2.6本章小结

第三章 虚拟手的动态控制

3.1引言

3.2人手骨骼特点和关节自由度

3.2.1人手的骨骼特点

3.2.2人手的关节自由度

3.3虚拟手层次和关联

3.3.1虚拟手的层次结构

3.3.2虚拟手模型的关联

3.4虚拟手的动态控制原理

3.5虚拟手动态控制的实现

3.5.1虚拟手的运动分析

3.5.2模型变换的数学原理

3.5.3虚拟手动作的生成

3.6本章小结

第四章数据手套与虚拟手的交互

4.1引言

4.2数据手套的使用

4.2.1数据手套概述

4.2.2 5DT Data-glove 5的使用

4.2.3 5DT Data-glove 5的校准

4.3数据手套与虚拟手的映射

4.3.1建立映射的过程

4.3.2手势信息的获取和应用

4.3.2数据手套与虚拟手的映射

4.4模型的碰撞检测

4.4.1碰撞检测理论

4.4.2 EON碰撞检测节点

4.5虚拟手的操作过程

4.6本章小结

第五章 虚拟手术原型系统交互部分的开发

5.1引言

5.2虚拟手术的交互框架

5.3 VR仿真平台概述

5.3.1 EON Studio概述

5.3.2 EON Studio的优势和特点

5.4接收外部信息的程序开发

5.5基于Eon SDK的Hand节点开发

5.5.1 EON SDK开发环境的建立

5.5.2 Hand节点的程序开发

5.6 VC与EON之间的相互通信

5.6.1 EONX控件的创建方法

5.6.2 VC与EON之间的相互通信

5.7虚拟手术的交互训练

5.8本章小结

总结与展望

全文总结

工作展望

参考文献

作者在攻读硕士学位期间发表的论文

致谢