基于HoloLens的增强现实手术导航系统精准融合显示方法

摘要

传统手术导航系统中医生需要频繁切换视野,存在手眼协同问题,且无法实时获取患者病灶区域的全局视野。近年来Holo-Lens被逐步应用于新兴的增强现实手术导航系统中,但是现有的HoloLens全息空间标定方法多数依赖于用户的主观感受,显示过程中也没有考虑用户行为和周围环境变化带来的误差。对此,提出了一种基于HoloLens的增强现实手术导航系统精准融合显示方法。使用双目相机和视觉标记物完成对现实空间中目标物体的实时追踪。基于手眼标定原理提出了一种稳定的HoloLens离线标定方法,通过多次采集HoloLens全息空间和现实空间中的坐标系转换关系,可以准确求解全息空间与现实空间之间的映射关系。建立融合显示过程的位姿矩阵传递关系后,用户可以快速地进行在线校正,实现虚拟影像与患者病灶区域的精准融合显示。Holo-Lens离线标定过程的平均耗时为4 min,用户在线校正的平均耗时为6.0 s。多个志愿者穿戴HoloLens设备进行融合显示精度验证实验,实验结果表明,校正前HoloLens融合显示的平均角度误差和平均距离误差分别为1.01°和3.95 mm,校正后融合显示的平均距离误差为1.46 mm。所提出的增强现实手术导航系统精准融合显示方法可以准确地标定HoloLens全息空间,经过用户在线校正后可以将虚拟影像与患者病灶区域融合显示,为医生提供准确完整的手术指导信息。实验结果表明该融合显示方法基本满足手术导航系统的精度和时间要求,具有临床应用的潜力。