增强现实手术导航系统的设计与应用研究

摘要

医学影像对疾病的检查与诊断起着重要作用。临床上常使用医学影像进行检查或诊断，实际临床治疗过程中，手术医生经常要在手术场景与图像显示屏之间来回切换视线，这在实际手术过程中会影响医生的正常操作。增强现实技术有解决这个问题的潜在能力，因此我们以乳腺癌病人的前哨淋巴结定位和整形手术为临床需求，以增强现实眼镜为基础，开发出两套增强现实手术导航系统，并分析其参数，实验验证其可行性。论文的主要研究内容如下:搭建一套基于谷歌眼镜的增强现实双模态影像导航系统，本系统包括一个CCD荧光相机、一个超声检测仪、一个LED激发光源、一个谷歌眼镜及一个数据处理电脑。电脑在获得荧光图像信息或超声信息后，根据谷歌眼镜的反馈，选择一种处理好的影像以WIFI传输的方式传输到谷歌眼镜。谷歌眼镜可以根据需要显示超声或荧光信息，实现双模态图像实时融合现实显示。通过琼脂仿体、离体乳腺组织、在体乳腺癌病人等的试验，说明本系统能通过荧光与超声两个模态的影像协助定位前哨淋巴结，为医生定位、切除乳腺癌病人前哨淋巴结提供精确导航。
　　搭建一套基于HoloLens的增强现实影像导航系统，本系统包括一个Kinect、一个信息处理电脑和一个HoloLens。Kinect扫描获得的三维点云信息，通过电脑处理这些图像信息，获得模型各种参数。再将模型传输到HoloLens端，佩戴HoloLens后通过手势与语音控制实现三维模型在空间中的移动与配准。通过本系统模拟指导橡皮泥乳房的整形过程验证其导航效果。
　　通过仿体实验与临床实验，我们初步验证了两套手术导航系统对乳腺癌病人前哨淋巴结定位与整形手术方面的指导作用，进一步说明这两套系统可以对乳腺癌病人手术提供精确指导。

目录

声明

摘要

第一章 绪论

1．1 临床背景与需求

1．1．1 乳腺癌治疗方案

1．1．2 乳腺癌病人乳房整形与再造手术

1．2 现有临床需求的解决方案

1．2．1 近红外荧光成像定位前哨淋巴结

1．2．2 乳房再造手术相关评估方案

1．2．3 增强现实技术及其临床应用

1．3 本课题研究思路与主要工作

第二章 基于谷歌眼镜的增强现实双模态影像导航系统

2．1 引言

2．2 多模态影像的理论

2．3 系统基本结构与搭建

2．3．1 硬件结构设计

2．3．2 算法分析与软件控制结构

2．4 实验分析

2．4．1 谷歌眼镜CMOS相机的畸变分析

2．4．2 双模态仿体制作与穿剌实验

2．4．3 离体乳房组织前哨淋巴结三维定位实验

2．4．4 离体乳房组织前哨淋巴结穿刺实验

2．4．5 离体乳腺组织前哨淋巴结定位与切除实验

2．4．6 人体前哨淋巴结的定位与切除实验

2．5 本章小结

第三章 基于HoloLens的增强现实导航系统

3．1 引言

3．2 系统结构与搭建

3．2．1 HoloLens

3．2．2 Kinect

3．3 系统实现方法

3．3．1 乳房体积计算方法

3．3．2 三维模型的空间定位与移动方法

3．3．3 工作流程

3．3 基于HoloLens的增强现实导航系统的实验研究

3．3．1 Kinect三维建模精度分析

3．3．2 HoloLens增强现实导航系统指导泥塑乳房重建分析

3．4 本章小结

第四章 总结与展望

4．1 全文总结

4．4．1 论文主要研究成果

4．1．2 论文创新点

4．2 研究展望

参考文献

致谢

在读期间发表的学术论文