一种AR荧光远程医疗手术导航系统及其控制方法

摘要

本发明公开了一种AR荧光远程医疗手术导航系统及其控制方法，通过将荧光导航系统中的荧光图像信号投影至目标区域，将肉眼不可见的解剖结构或特殊组织检测信息转化为手术视野中可见的真实图像，为手术操作提供指导；利用远程医疗技术，实时共享手术现场状况和患者信息等，便于医学交流和专家会诊，而且可以实时以AR形式将远程端反馈的带有指导标记的荧光合成图像显示在目标区域中；通过采用投影的技术手段，使得无需在显示屏幕与目标区域频繁转换视线，带来更人性化的体验和更安全高效的手术效果。

说明书

技术领域

本发明涉及荧光导航系统技术领域，尤其涉及的是一种AR荧光远程医疗手术导航系统及其控制方法。

背景技术

现代医学影像在临床的应用日益广泛，为疾病的诊断、治疗和预后（预后是一个医学术语，分为自然预后和干预预后）提供大量生物组织特性相关的重要依据。其中，外科手术中的医学影像技术，可在手术过程中提供病灶相关结构和功能信息，辅助医生实现术前规划、术中的实时引导和术后评估预后，提高了手术安全性和精准度。但现今外科手术医学影像多通过屏幕显示传递，使用者需在屏幕与手术区域频繁转换视线，影响手术位置判断的效率和精度。

随着通信技术的飞速发展，传统的工作体验和流程可能都将发生巨变，例如在医学领域，远程医疗系统成为了一个热点。目前远程医疗多用于会议和教学，且在手术应用中本地医生也需在手术区域和监视器间切换视线以遵循专家指示，费神费力，易产生差错。

因此，现有的技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种AR荧光远程医疗手术导航系统及其控制方法，旨在解决现有的医学影像通过屏幕显示传递，使用者需在屏幕与手术区域频繁转换视线，影响手术位置判断效率和精度的问题。

本发明的技术方案如下：一种AR荧光远程医疗手术导航系统，其中，包括：

照明模块，用于产生近红外激发光照射目标区域，激发目标区域上所聚集的荧光造影剂，使荧光造影剂发射近红外荧光；

摄像模块，对目标区域发射的近红外荧光进行荧光成像，得到荧光图像信号；

图像处理模块，对所述荧光图像信号进行处理，得到荧光合成图像；

投影模块，用于将所述荧光合成图像投射至目标区域，实现荧光合成图像信息与实际场景的累加。

所述的AR荧光远程医疗手术导航系统，其中，还包括终端显示模块，用于显示所述荧光合成图像。

所述的AR荧光远程医疗手术导航系统，其中，还包括远程交互模块，与远程端进行实时交流；将所述荧光合成图像传输至远程端，接收远程端反馈的带有指导标记的荧光合成图像。

所述的AR荧光远程医疗手术导航系统，其中，所述远程交互模块包括本地工作站和用于存储各种后台信息的系统中心，远程端包括专家工作站和用于增强现实感的AR可穿戴设备，所述本地工作站、专家工作站和系统中心构成远程医疗系统；所述本地工作站与专家工作站通讯连接，专家工作站与AR可穿戴设备连接，本地工作站和专家工作站均与系统中心连接。

所述的AR荧光远程医疗手术导航系统，其中，所述照明模块产生峰值为780nm的近红外激发光照射目标区域。

所述的AR荧光远程医疗手术导航系统，其中，所述摄像模块包括消色差镜头、陷波滤波片和相机，目标区域发射的近红外荧光进入摄像模块内，被消色差镜头收集，并经陷波滤波片过滤掉激发光，留下荧光成像于相机。

一种如上述任一所述的AR荧光远程医疗手术导航系统的控制方法，其中，具体包括以下步骤：

S1：照明模块产生近红外激发光照射目标区域，激发目标区域上所聚集的荧光造影剂，使荧光造影剂发射近红外荧光；

S2：摄像模块对目标区域发射的近红外荧光进行荧光成像，得到荧光图像信号；

S3：图像处理模块对所述荧光图像信号进行处理，得到荧光合成图像；

S4：投影模块将所述荧光合成图像投射至目标区域，实现荧光合成图像信息与实际场景的累加。

所述的AR荧光远程医疗手术导航系统的控制方法，其中，所述步骤S4中，所述投影模块还将远程交互模块接收的远程端反馈的带有指导标记的荧光合成图像投射至目标区域，实现荧光合成图像信息与实际场景的累加。

所述的AR荧光远程医疗手术导航系统的控制方法，其中，还包括以下过程：终端显示模块显示所述荧光合成图像。

本发明的有益效果：本发明通过提供一种AR荧光远程医疗手术导航系统及其控制方法，通过将荧光导航系统中的荧光图像信号投影至目标区域，将肉眼不可见的解剖结构或特殊组织检测信息转化为手术视野中可见的真实图像，为手术操作提供指导；利用远程医疗技术，实时共享手术现场状况和患者信息等，便于医学交流和专家会诊，而且可以实时以AR形式将远程端反馈的带有指导标记的荧光合成图像显示在目标区域中；通过采用投影的技术手段，使得无需在显示屏幕与目标区域频繁转换视线，带来更人性化的体验和更安全高效的手术效果。

附图说明

图1是本发明中AR荧光远程医疗手术导航系统的工作流程示意图。

图2是本发明中远程医疗系统的示意图。

图3是本发明中AR荧光远程医疗手术导航系统的控制方法的步骤流程图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

如图1所示，一种AR荧光远程医疗手术导航系统，包括：

照明模块1，用于产生近红外激发光照射目标区域7，激发目标区域7上所聚集的荧光造影剂，使荧光造影剂发射近红外荧光；

摄像模块2，对目标区域7发射的近红外荧光进行荧光成像，得到荧光图像信号；

图像处理模块3，对所述荧光图像信号进行处理，得到荧光合成图像；

终端显示模块4，用于显示所述荧光合成图像；

投影模块5，用于将所述荧光合成图像投射至目标区域7，实现荧光合成图像信息与实际场景的累加。

在某些具体实施例中，所述AR荧光远程医疗手术导航系统还包括远程交互模块6，与远程端进行实时交流；将所述荧光合成图像传输至远程端，接收远程端反馈的带有指导标记的荧光合成图像。

其中，利用超高清、低延时、高宽带的视频传输技术，图像处理模块3将荧光合成图像传送至远程交互模块6，远程交互模块6将所述荧光合成图像传输至远程端；远程端的专家通过AR技术，可如身临其境地进入手术室，对手术进行指导和标记；带有指导标记的荧光合成图像通过远程交互模块6传送回图像处理模块3，与肉眼不见的荧光信息一样，经投影模块5投射累加至目标区域7。

其中，所述远程交互模块6包括本地工作站和系统中心，远程端包括专家工作站和AR可穿戴设备，所述本地工作站、专家工作站和系统中心构成远程医疗系统（如图2所示）；手术医生通过本地工作站登录远程医疗系统开启手术远程功能，会诊专家登录专家工作站通过密钥连接上远程手术；本地工作站和专家工作站通信建立后，会诊专家可借助AR可穿戴设备增强现实的能力，如临实境般看到手术现场情况，实时与主刀医生沟通，指引操作；同时会诊专家可以调出存储在系统中心的后台信息，如患者病历信息、检查报告、历史会诊记录、手术设备实时监控信息等，透过AR增强技术立体呈现于眼前，方便专家进行会诊判断和指导。

在某些具体实施例中，所述本地工作站包括但不限于视频直播模块、用户注册模块、用户登录模块、通讯建立模块、文件上传模块、设备信息接入模块、操作指引传递模块和系统帮助模块，等等，其中各个模块的功能如下：

视频直播模块：利用5G等高宽带低延时的视频传输技术，将荧光合成图像实时传递给已匹配连接的专家工作站，同时实现远程视频会议功能。

用户注册模块：实现用户信息注册功能，包含用户的基本个人信息、单位信息、厂家提供的机器ID信息等，便于系统管理和维护。

用户登录模块：实现用户登录功能，提供密码、指纹和人脸识别等多种登录方式，便于系统安全管理。

通讯建立模块：通过密钥确认，实现本地工作站与专家工作站的一对一连接功能，便于建立高效实时的专家会诊和技术下沉基层。

文件上传模块：实现本地医生上传患者病历信息、检查报告和历史会诊记录等文件。

设备信息接入模块：实现手术室中其他监护设备的信息接入，传送至远程专家工作站显示。

操作指引传递模块：提取远程专家工作站传送过来的手术指导标记信息，将其传递给图像处理单元叠加处理，后经投影模块投射累加至实际场景。

系统帮助模块：帮助用户快速获取常见问题的答案、疑难解答提示以及操作执行说明，设备售后维护信息等。

在某些具体实施例中，所述专家工作站包括但不限于视频直播模块、用户注册模块、用户登录模块、通讯建立模块、文件下载模块、设备信息读取模块、操作指引输入模块和系统帮助模块，等等，其中各个模块的功能如下：

视频直播模块：利用5G等高宽带低延时的视频传输技术，实时接收显示已匹配本地工作站传送过来的荧光合成图像，同时实现远程视频会议功能。

用户注册模块：实现用户信息注册功能，包含用户的基本个人信息、单位信息、厂家提供的机器ID信息等，便于系统管理和维护。

用户登录模块：实现用户登录功能，提供密码、指纹和人脸识别等多种登录方式，便于系统安全管理。

通讯建立模块：通过密钥确认，实现本地工作站与专家工作站的一对一连接功能，便于建立高效实时的专家会诊和技术下沉基层。

文件下载模块：实现远程专家医生下载患者病历信息、检查报告和历史会诊记录等文件。

设备信息读取模块：读取本地工作站传递过来的手术室中其他监护设备的信息，在专家工作站上显示，便于专家会诊判断。

操作指引输入模块：实现会诊专家对手术进行指导和标记，将指导信号传递至本地工作站投射。

系统帮助模块：帮助用户快速获取常见问题的答案、疑难解答提示以及操作执行说明，设备售后维护信息等。

在某些具体实施例中，所述系统中心包括但不限于基本信息管理模块、用户信息管理模块、专家信息管理模块、病例信息管理模块、通讯建立管理模块、设备信息监控模块、文件管理模块、系统管理模块、权限管理模块、日志管理模块、版本管理模块、系统备份模块和系统恢复模块，等等，其中各个模块的功能如下：

基本信息管理模块：管理各手术导航系统的设备机器ID信息，销售信息，售后维护信息和最高系统管理员信息等基本信息。

用户信息管理模块：管理已注册的普通医生用户信息或其他设备试用者信息。

专家信息管理模块：管理已注册的VIP大专家信息。

病历信息管理模块：管理已上传的所有患者的病历信息、检查报告和历史会诊记录等信息。

通讯建立管理模块：管理各投影设备本地工作站与专家工作站的通讯建立，保证通讯顺畅建立，防止出现一对多或多对一等情况。

设备信息监控模块：通讯建立时，监控备份各本地工作站传递过来的手术室设备监护信息，便于医疗事故等的历史回溯。

文件管理模块：管理患者病历信息、检查报告和历史会诊记录等文件的上传和下载。

系统管理包含以下各管理模块：

权限管理模块：管理各普通用户和VIP大专家的使用权限。

日志管理模块：管理系统日志，记录系统产生的所有行为信息，便于系统排错，优化系统性能。

版本管理模块：管理系统的历史版本信息。

系统备份模块：备份各历史系统版本，便于应对突发情况，增强系统的鲁棒性。

系统恢复模块：恢复系统至指定历史版本的系统，增强系统安全性。

在某些具体实施例中，所述照明模块1产生峰值为780nm的近红外激发光照射目标区域7，激发目标区域7上所聚集的荧光造影剂，使荧光造影剂发射峰值为835nm的近红外荧光。

在某些具体实施例中，所述摄像模块2包括消色差镜头、陷波滤波片和相机，目标区域7发射的近红外荧光进入摄像模块2内，被消色差镜头收集，并经陷波滤波片过滤掉激发光，留下荧光成像于相机。

其中，所述相机将荧光图像信号传输到图像处理模块3，图像处理模块3把提取的荧光图像信号进行算法处理，一边实时输出血管、淋巴等目标组织的ICG荧光合成图像到终端显示模块4显示，一边将荧光合成图像传输到投影模块5，投影模块5将荧光合成图像投射至观察组织（即目标区域7），实现影像信息与实际场景的累加。

如图3所示，一种如上述所述的AR荧光远程医疗手术导航系统的控制方法，具体包括以下步骤：

S1：照明模块1产生近红外激发光照射目标区域7，激发目标区域7上所聚集的荧光造影剂，使荧光造影剂发射近红外荧光；

S2：摄像模块2对目标区域7发射的近红外荧光进行荧光成像，得到荧光图像信号；

S3：图像处理模块3对所述荧光图像信号进行处理，得到荧光合成图像；

S4：投影模块5将所述荧光合成图像投射至目标区域7，实现荧光合成图像信息与实际场景的累加。

在某些具体实施例中，所述步骤S4中，所述投影模块5还将远程交互模块6接收的远程端反馈的带有指导标记的荧光合成图像投射至目标区域7，实现荧光合成图像信息与实际场景的累加。

在某些具体实施例中，所述AR荧光远程医疗手术导航系统的控制方法还包括以下过程：终端显示模块4显示所述荧光合成图像。

在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

附图标号：

照明模块1；摄像模块2；图像处理模块3；终端显示模块4；投影模块5；远程交互模块6；目标区域7。