一种基于创新教具的AR医学影像学辅助学习系统

摘要

本发明公开了一种基于创新教具的AR医学影像学辅助学习系统，包括：AR设备终端：用于接受、分析以及展示云端数据库反馈的最终结果；云端数据库：用于储存图像识别模块所需调用的模型数据以及物体识别所需调用的模型数据和相关详细信息，并且实现AR设备终端和云端数据库之间的数据互通；图像识别模块。该基于创新教具的AR医学影像学辅助学习系统，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，采用全新的教学方式，可以实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果。

说明书

技术领域

本发明涉及智慧医疗学习AR技术领域，具体为一种基于创新教具的AR医学影像学辅助学习系统。

背景技术

增强现实（Augmented Reality，简称AR）的广泛发展，对许多行业都带来了新的突破点，相较于虚拟现实技术（Vitual Reality，简称VR），增强现实不仅仅是计算机的产物，它能够将计算机生成的虚拟场景与真实场景相结合，使用户与现实世界产生更强的互动性。随着技术的发展，医学教育也在不断创新，探索新的方法。过去的虚拟现实技术让难以理解的人体结构实现可视化，在三维空间中与虚拟物体进行交互探索出新的学习方式。增强现实的出现同样给医学教育带来了新的突破点，不仅仅拘泥于虚拟世界，将真实世界与虚拟世界的结合，更有利于医学生们的学习效率，同时增强了学习主动性和兴趣性。

医学影像学主要是借助影像资料诊断病情进行初次研判的学科，对于医学影像的学生来说这是十分复杂且基础的内容。由于脑部结构相较于其他器官较复杂，对于医学生来说脑部肿瘤的诊断以及病灶位置的确定比较困难。

现今课堂教学主要以书本作为教学工具，并配合一些三维视频图像作为辅助学习。对于空间感较差的学生而言，由于器官不可透视的特点，无法将脑肿瘤与所在脑区及对应的脑区功能联系起来，不利于学生对知识点的学习和理解，学习效果不好；另外，随着医学生的增加和遗体捐赠者的减少，更加需要探索新的教学策略。

因此，本申请提供一种基于创新教具的AR医学影像学辅助学习系统，用以解决上述问题。

发明内容

本发明要解决的技术问题是克服现有的缺陷，提供一种基于创新教具的AR医学影像学辅助学习系统，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，采用全新的教学方式，可以实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果，可以有效解决背景技术中的问题。

为实现上述目的，本发明提供如下技术方案：一种基于创新教具的AR医学影像学辅助学习系统，包括：

AR设备终端：用于接受、分析以及展示云端数据库反馈的最终结果；

云端数据库：用于储存图像识别模块所需调用的模型数据以及物体识别所需调用的模型数据和相关详细信息，并且实现AR设备终端和云端数据库之间的数据互通；

图像识别模块：设置在AR设备终端上，用户通过AR识别功能，使用AR设备终端扫描书本上的影像资料，相应的病灶模型和对应的资料通过AR设备终端展现在影像资料上方；

物体识别模块：设置在AR设备终端上，用户通过AR识别功能，使用AR设备终端扫描打印出来的3D真实模型，相应的病灶模型通过AR设备终端与真实模型配准并展现在用户面前。

作为本发明的一种优选技术方案，所述云端数据库的模型数据分别通过提取书本上的影像资料的点云特征获得以及三维重建的病灶模型的轮廓特征获得。

作为本发明的一种优选技术方案，所述云端数据库中的相关详细信息包括肿瘤类型，肿瘤所在脑区，脑区对应的功能，在诊断过程中的影像资料特点等。

作为本发明的一种优选技术方案，所述病灶模型获得方式为：通过筛选书本中的脑肿瘤典型案例，并在医院数据库中寻找相匹配的数据；然后将医院所给的原始数据进行处理，三维重建出病灶模型。

作为本发明的一种优选技术方案，所述病灶模型包括头颅、耳朵、肿瘤、以及肿瘤周边血管，其中任意两种器官所用的材质均不相同，且头颅使用透明的玻璃材质，能够透过头颅准确定位其他部分的位置关系；耳朵、肿瘤以及肿瘤周边血管都通过不同的颜色进行渲染，便于用户区分。

作为本发明的一种优选技术方案，所述3D真实模型获取方式为：将三维重建得到的模型缩放至百分之六十，然后通过HALOT-SKY打印机打印出3D真实模型。

作为本发明的一种优选技术方案，通过HALOT-SKY打印机打印时，需要对其进行如下设置：

初始曝光：40s，初始曝光强度过短会导致材料黏性降低或硬度减弱，影响产品质量；初始曝光强度过长会导致物体表面出现裂纹等；

打印曝光：3s；

电机速度：8mm/s；

底层曝光层数：10层，底层曝光层数使用的曝光时间为初始曝光时间。

模型设置：将模型等比缩小至百分之六十；为模型增加底部支撑，底部支撑的长度为10mm。

一种基于创新教具的AR医学影像学辅助学习系统的学习方法，包括如下步骤：

S1、提取书本影像资料的点云特征、3D打印模型的轮廓特征。

S2、使用AR设备终端扫描书本影像资料或者3D打印模型。

S3、通过AR设备终端提取书本影像资料的点云特征或者3D打印模型的轮廓特征并上传至云端数据库。

S4、将上传的特征与云端数据库的储存的特征进行检索、匹配，并把最终结果反馈至AR设备终端。

S5、AR设备终端将得到的结果进行处理。

S6、如果扫描的是书本影像资料，则会在书本上方出现相应的病灶模型和详细信息；如果扫描的是3D打印出来的模型，则会与模型配准，病灶模型会叠加在3D打印模型并显示详细信息。

S7、用户使用手势识别对病灶模型进行交互。

作为本发明的一种优选技术方案，在书本上方出现的详细信息主要为病灶的类型、临床表现、以及影像学特点。

作为本发明的一种优选技术方案，所述手势识别包括：

模型缩放：使用AR设备终端摄像头装置进行识别，当双手的大拇指和食指分别捏合，手势识别启动，通过双手移动对模型进行缩放；

模型拖动：使用AR设备终端摄像头装置进行识别，当单手的大拇指与食指捏合，手势识别启动，通过手部位置的移动对模型进行拖动。

与现有技术相比，本发明的有益效果是：

本发明示例的基于创新教具的AR医学影像学辅助学习系统，能够通过AR设备终端直接进行学习，同时连接到电脑上时可以实时看到AR设备终端的画面，能够使用一个设备进行多人学习；且采用虚拟与现实相结合的AR技术，在AR设备终端中显示的虚拟模型通过CT数据进行三维重建，能够做到与真实头颅完全还原，使人机交互方面更加丰富，可以增强学生的自主学习能力和学习兴趣；且该教学学习方法，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，并且实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果。

附图说明

图1为本发明使用方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于创新教具的AR医学影像学辅助学习系统，包括：

AR设备终端：用于接受、分析以及展示云端数据库反馈的最终结果；具体为：利用摄像头识别书本的影像图像或者3D打印模型，并搜集其特征上传至云端数据库进行检索相应内容。

特征提取和信息展示模块，用于提取真实环境中物体的特征将其传送至云端数据库，同时将云端数据库反馈的结果加以解析并将其与真实物体进行配准；

云端数据库：用于储存图像识别模块所需调用的模型数据以及物体识别所需调用的模型数据和相关详细信息，并且实现AR设备终端和云端数据库之间的数据互通；

图像识别模块：设置在AR设备终端上，用户通过AR识别功能，使用AR设备终端扫描书本上的影像资料，识别出书本上影响图像的特征点，上传至云端数据库进行检索，相应的病灶模型和对应的资料通过AR设备终端展现在影像资料上方；

图像识别并不是单一的识别一个图像，云端数据库中上传的所有图像都能识别出对应的虚拟模型；通过增强现实技术，影像医学生不仅仅依靠书本上的影像资料图片和文字进行学习，结合3D模型更直观地了解，加深对知识的理解和记忆。

物体识别模块：设置在AR设备终端上，用户通过AR识别功能，使用AR设备终端扫描打印出来的3D真实模型，具体为：对3D打印模型的轮廓特征进行识别，上传至云端数据库进行检索，相应的病灶模型通过AR设备终端与真实模型配准并展现在用户面前。

进一步的，所述云端数据库的模型数据分别通过提取书本上的影像资料的点云特征获得以及三维重建的病灶模型的轮廓特征获得。

进一步的，所述云端数据库中的相关详细信息包括肿瘤类型，肿瘤所在脑区，脑区对应的功能，在诊断过程中的影像资料特点等。

进一步的，所述病灶模型获得方式为：通过筛选书本中的脑肿瘤典型案例，并在医院数据库中寻找相匹配的数据；然后将医院所给的原始数据进行处理，三维重建出病灶模型。

进一步的，所述病灶模型包括头颅、耳朵、肿瘤、以及肿瘤周边血管，其中任意两种器官所用的材质均不相同，且头颅使用透明的玻璃材质，能够透过头颅准确定位其他部分的位置关系；耳朵、肿瘤以及肿瘤周边血管都通过不同的颜色进行渲染，便于用户区分。

进一步的，所述3D真实模型获取方式为：将三维重建得到的模型缩放至百分之六十，然后通过HALOT-SKY打印机打印出3D真实模型。

进一步的，通过HALOT-SKY打印机打印时，需要对其进行如下设置：

初始曝光：40s，初始曝光强度过短会导致材料黏性降低或硬度减弱，影响产品质量；初始曝光强度过长会导致物体表面出现裂纹等；

打印曝光：3s；

电机速度：8mm/s；

底层曝光层数：10层，底层曝光层数使用的曝光时间为初始曝光时间。

模型设置：将模型等比缩小至百分之六十；为模型增加底部支撑，底部支撑的长度为10mm。

3D模型数据获取方式：通过医院得到的dicom原始数据，并进行处理，三维重建出真实的人体头颅；再通过3D打印机生成真实模型，使用AR学习终端设备对3D打印模型进行扫描，上传至云端数据库进行检索，将相关内容反馈给AR设备终端，从而对用户进行展示。

本系统能够直接部署在AR设备终端，拥有AR设备终端就能够直接进行学习；同时，电脑都能够通过局域网或数据线与AR设备终端连接，通过电脑可以实时看到AR设备终端的画面，能够使用一个设备进行多人学习。

此系统是虚拟与现实相结合的，在AR设备终端中显示的虚拟模型通过CT数据进行三维重建，能够做到与真实头颅完全还原，使人机交互方面更加丰富，可以增强学生的自主学习能力和学习兴趣。

一种基于创新教具的AR医学影像学辅助学习系统的学习方法，包括如下步骤：

S1、提取书本影像资料的点云特征、3D打印模型的轮廓特征。

S2、使用AR设备终端扫描书本影像资料或者3D打印模型。

S3、通过AR设备终端提取书本影像资料的点云特征或者3D打印模型的轮廓特征并上传至云端数据库。

S4、将上传的特征与云端数据库的储存的特征进行检索、匹配，并把最终结果反馈至AR设备终端。

S5、AR设备终端将得到的结果进行处理。

S6、如果扫描的是书本影像资料，则会在书本上方出现相应的病灶模型和详细信息；如果扫描的是3D打印出来的模型，则会与模型配准，病灶模型会叠加在3D打印模型并显示详细信息。

S7、用户使用手势识别对病灶模型进行交互。

进一步的，在书本上方出现的详细信息主要为病灶的类型、临床表现、以及影像学特点。

进一步的，所述手势识别包括：

模型缩放：使用AR设备终端摄像头装置进行识别，当双手的大拇指和食指分别捏合，手势识别启动，通过双手移动对模型进行缩放；

模型拖动：使用AR设备终端摄像头装置进行识别，当单手的大拇指与食指捏合，手势识别启动，通过手部位置的移动对模型进行拖动。

使用时：

根据书本上的肿瘤类型在医院数据库中进行筛选；将医院所得到的数据进行三维重建获得虚拟模型，使用3D打印机得到模型实物；同时提取虚拟模型的轮廓特征上传至云端数据库。

体验者通过佩戴AR设备终端对模型实物进行识别，提取模型实物的轮廓特征上传至云端数据库，云端数据库根据模型实物的轮廓特征进行筛选，匹配相应的虚拟模型和详细信息发送给AR设备终端，AR设备终端再准确配准到相应的模型实物上。

用户扫描不同的头颅模型实物都能够在模型实物上看到对应肿瘤所在脑区，肿瘤与周围血管位置关系，同时利用耳朵更好地判断肿瘤与真实头颅的相对位置；其中，肿瘤、血管和耳朵都采用不同颜色的材质渲染，方便用户区分不同部位；同时能够使用手势识别对物体进行缩放，移动，通过丰富的人机交互和增强现实技术让医学影像专业的学生将脑肿瘤与所在脑区及对应的脑区功能联系起来。

3D打印模型由医院所给数据处理后，三维重建后通过HALOT-SKY打印机打印成真实模型，所用的材料为天然树脂，由于打印机对模型大小的要求，所以将三维重建的模型缩小至百分之六十，相对于真实的病人头颅要小一些。为了能够将虚拟模型与真实的打印模型进行准确定位，所以上述虚拟模型也需要进行等比缩小。

本方法探索了一种新的教学方式，不仅能够实现人体器官可视化，还可以与课堂上传统教学工具相结合，让二维和三维模型结合，从而增强现实，并且实现三维模型与真实器官的匹配，可以加深学生对知识点的记忆，促进长期记忆能力，从而提高学习效果。

本发明中未公开部分均为现有技术，其具体结构、材料及工作原理不再详述。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。