基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质

摘要

本发明公开了一种基于增强现实和深度学习的内窥镜手术导航方法、系统和可读存储介质，所述方法包括以下步骤：采集手术现场图像并实时获取手术中内窥镜的位置；术前对病人的第一手术目标部位进行CT或MRI扫描，获取其医学数字图像数据；将医学数字图像数据输入训练好的深度卷积网络，得到精确的第二手术目标部位；对第二手术目标部位进行三维重建，获得三维模型；通过内窥镜获取实时术中图像并与三维模型进行配准；采集手术器械在手术场景坐标系中的姿态和位置，与三维模型位置关系进行配准；通过增强现实显示设备实时输出增强现实手术导航图像。本发明通过利用增强现实和深度学习，实现内窥镜增强现实手术导航图像，有助于提高手术的效率和安全性。