基于MR的航空医学救援培训效果评价系统和方法

摘要

本发明涉及航空医学救援领域，公开一种基于MR的航空医学救援培训效果评价系统和方法，系统包括航空医学救援培训平台、评价获取模块、评价模块和评价报告模块，航空医学救援培训平台通过MR技术进行飞行视景仿真和救援环境仿真，培训人员在航空医学救援培训平台中实施医学救援；评价获取模块实时获取培训人员的救援数据并传送给评价模块，评价模块从救援数据中提取多模态特征进行评价；评价报告模块将评价模块的评价结果与培训人员信息关联，生成评价报告。本发明可以实现航空救援人员培训的定量系统性评估、提高救援培训效果。

说明书

技术领域

本发明涉及航空医学救援领域，尤其是指一种基于MR的航空医学救援培训效果评价系统和方法。

背景技术

当发生危重急症、意外灾害等情况时，及时组织救护力量，在现场对个体或群体实施及时有效的救援、进行必要的医学处理，可以挽救生命、减轻伤残和痛苦。航空医学救援是指行动中使用直升机或固定翼飞机等航空器进行伤员、医护人员、急救设备等运输或投送。航空医学救援因响应速度快、机动能力强、活动范围广、受地域空间限制少等特点，比地面救护平均快3-5倍，可以有效降低事故死亡率40％左右，是“最高效的救援方式”，可以凭借其机动性和快速性在难以通达的灾害现场快速开辟新的生命通道。

航空医学应急救援的运行环境不同于普通的地面救援，尤其是直升机救援不可避免地具有振动、噪声、飞行姿态变化、协同度高及飞行风险与医疗风险交叉的特点，所以突发情况也较普通地面救援更为常见与复杂，对飞行机组、医务人员、辅助人员在心理素质、环境适应、设备使用、专业技术技能等方面均存在特殊要求。因此，进行专业医护人员培训、研制新型地面培训设备，完善培训体系对保障航空医学应急救援的全流程医疗质量和患者安全，提升抢救效率，降低致残率具有重大意义。

现有技术中，有针对VR模拟飞行器训练的评价方法(专利号：201910587040.3)，该方法将所有的操作动作都分解成基础动作元，并将每个训练科目分解成若干个评价节点，采用机器学习的方式得到评价节点的节点评价网络，再采用深度学习的方法得到整个训练科目的综合评价结果。但是，该方法只是通过建立科目模式库的方法记录飞行姿态数据，并未对航空医学救援培训队员培训效果进行评价。有专科护士培训效果评价的方法(专利号：201811324898.2)，该方法包括信息管理模块、测评处理模块、数据统计模块、存储模块和显示/输入模块；显示/输入模块为触摸显示屏，测评处理模块上有数据传输模块，测评处理模块生成评测表通过显示/输入模块或移动PC端进行评测并导入数据统计模块和存储模块，存储模块上设置USB接口；运用此系统分两个时间段从反应层、学习层、迁移层和结果层对专科护士培训效果进行多角度动态评价，评价结果客观、真实，弥补了以往评价方法的设计不足。但是，该方法只是护士基本技能培训效果的评价，并未涉及航空医学救援环境下医护人员培训效果的评价。有基于虚拟环境的运动训练评价的方法(专利号：201810062199.9)，该方法包括以下步骤：

步骤一、构建虚拟教学平台；步骤二、运动轨迹的计算；步骤三、运动训练评价；通过Unity3D设计虚拟的教学平台，以Kinect V2采集的骨骼点为基础，保持每秒30帧采集标准动作的各标准向量和脊柱点的坐标，并计算标准动作人员的身高；通过比较参与训练人员与标准动作人员身高确定脊柱点的偏移坐标，再根据参与训练人员的骨骼长度计算出标准动作的空间运动曲线，从而对连续运动进行识别和评分。但是，该方法属于体感交互领域，并未涉及航空医学救援培训。有适用于航空应急救援的训练评价平台的方法(专利号：202210902368.1)，该方法通过任务决策设计单元、训练决策交互单元和数据运算单元设计，将复杂救援场景信息和救援设备功能信息整合，能更直观地管理平台发布的训练任务和飞行装备。将真实复杂救援场景数据和真实飞行器运行成本相结合，让训练人员设计设置救援体系，部署设备，对整个救援体系内的设备资源进行调度。但是，该方法只是让培训人员熟悉掌握基本的救援流程，并未涉及航空医学救援培训及效果评价。有基于虚拟现实技术的护理教学实训的方法(专利号：202210572420.1)，该方法包括佩戴在学习人员头部的虚拟现实模块、用于对学习人员提供真实触感的触感式实践模块，触感式实践模块上安装有模拟置入型管路的置入管外延伸模块，所述触感式实践模块包括骨骼单元以及由内至外仿人体设置的肌肉模拟单元、皮下模拟单元、表皮模拟单元；随着表层压力感应单元、皮下区压力感应单元、肌肉区压力感应单元压力增加，通过痛觉使学习人员感受，进而使学习人员对错误动作以及错误区的记忆更加准确，使学习人员可以将操作位置与疼痛之间形成联合记忆，针对性的改变没有临床经验的护理人员能够有更加深刻的认知，使护理人员的护理动作会更加的标准化。但是，该方法只是地面静态的医学护理教学实训，并未开展航空医学救援培训研究。

综上所述，现阶段缺少航空医学救援培训研究，没有建立航空医学救援培训评价体系，缺少可以定量开展航空医学救援培训效果的方法与手段，无法对航空医学救援的培训效果进行实时评价和验证，也没有实现根据培训效果进行培训方案的及时优化，从而影响实际救援的效果。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种基于MR的航空医学救援培训效果评价系统和方法，可以实现航空救援人员培训的定量系统性评估、提高救援培训效果。

为解决上述技术问题，本发明提供了一种基于MR的航空医学救援培训效果评价系统，包括航空医学救援培训平台、评价获取模块、评价模块和评价报告模块，

所述航空医学救援培训平台通过MR技术进行飞行视景仿真和救援环境仿真，培训人员在所述航空医学救援培训平台中实施医学救援；

所述评价获取模块实时获取培训人员的救援数据并传送给所述评价模块，所述评价模块从所述救援数据中提取多模态特征进行评价；

所述评价报告模块将所述评价模块的评价结果与培训人员信息关联，生成评价报告。

在本发明的一个实施例中，所述航空医学救援培训平台包括六自由度的飞行状态仿真平台、直升机模拟舱段、六自由度的平台地笼和承台，

所述六自由度的飞行状态仿真平台用于模拟俯仰、滚转、偏航、垂直升降、纵向位移、侧向位移六种飞行姿态；

所述六自由度的飞行状态仿真平台、直升机模拟舱段、六自由度的平台地笼和承台、飞行视景仿真、救援环境仿真共同实现航空环境的模拟。

在本发明的一个实施例中，所述评价获取模块包括微型低功耗传感器、模拟人模型、摄像装置和文字识别系统，所述模拟人模型上设有多个不同类型的传感器；

培训人员在所述模拟人模型上实施医学救援，所述微型低功耗传感器获取培训人员的生理参数，所述摄像装置获取培训人员的面部图像和救援动作图像，所述多个不同类型的传感器获取培训人员的救援动作数据，所述文字识别系统获取培训人员书写的医疗文书的质量的数据。

在本发明的一个实施例中，所述模拟人模型上内置压力传感器、流量传感器和霍尔传感器，

所述压力传感器获取培训人员进行心肺复苏救援培训时按压位置与按压力度的数据，所述流量传感器获取培训人员进行人工呼吸操作时的数据，所述霍尔传感器获取培训人员进行气管插管操作时的数据。

在本发明的一个实施例中，所述评价模块包括注意力紧张程度评价模块、救治操作规范性评价模块和医疗设备操作能力评价模块，

所述注意力紧张程度评价模块根据所述培训人员的生理参数、培训人员的面部图像，对培训人员在实施医学救援时的注意力和紧张程度进行评价；

所述救治操作规范性评价模块根据所述培训人员的救援动作数据、培训人员书写的医疗文书的质量的数据，对培训人员在实施医学救援时的救治操作规范性进行评价；

医疗设备操作能力评价模块根据所述救援动作图像得到培训人员设备操作规范性与设备数据解读能力的数据，对培训人员在实施医学救援时的医疗设备操作能力进行评价。

在本发明的一个实施例中，从所述救援数据中提取多模态特征进行评价，具体为：

构建包括特征提取器、注意力机制和输出层的卷积神经网络，

将所述救援数据分为图像、生理信号和数值三个模态，使用所述特征提取器提取图像、生理信号和数值的特征并降维得到图像特征矩阵P、生理信号特征矩阵S和数值特征矩阵N；

使用注意力机制将图像特征矩阵P、生理信号特征矩阵S、数值特征矩阵N进行级联融合得到融合特征矩阵F，

将所述融合特征矩阵F输入输出层得到评价结果。

在本发明的一个实施例中，所述使用注意力机制将图像特征矩阵P、生理信号特征矩阵S、数值特征矩阵N进行级联融合得到融合特征矩阵F，具体为：

将所述图像特征矩阵P、生理信号特征矩阵S、数值特征矩阵N分别作为注意力机制中的Key进行输入，将Query作为根据所述融合特征矩阵F进行识别后的输出向量；

计算所述Query和Key的相似度，对权重系数进行加权求和计算得到图像注意力系数w1、生理信号注意力系数w2和数值注意力系数w3；

得到最终的融合特征矩阵F为：F＝[w1×P，w2×S，w3×N]。

在本发明的一个实施例中，所述卷积神经网络包括输入层、3个卷积层、3个最大池化层、1个全连接层、1个Softmax分类层，

所述救援数据通过所述输入层后分别经过3层卷积和3层池化得到三个模态的数据，三个模态的数据经过所述全连接层提取得到特征矩阵，特征矩阵经过Softmax分类层得到评价结果。

在本发明的一个实施例中，所述评价报告包括培训人员基本信息、培训评价表和培训优化方法。

本发明还提供了一种基于MR的航空医学救援培训效果评价方法，包括：通过MR技术构建包括飞行视景仿真和救援环境仿真的航空医学救援培训平台，培训人员在所述航空医学救援培训平台中实施医学救援；

实时获取培训人员的救援数据，从所述救援数据中提取多模态特征进行评价；

将评价结果与培训人员信息关联，生成评价报告。

本发明的上述技术方案相比现有技术具有以下优点：

本发明通过MR技术构建航空医学救援培训平台并在平台中展开航空医学救援培训，通过多模态数据感知融合对实时获取的培训人员救援数据进行评价，实现了航空救援人员培训的定量系统性评估，有助于对人员的救援培训效果进行及时改进，提高救援培训效果。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1是本发明的结构示意图，

图2是本发明中培训效果评价方法的结构示意图，

图3是本发明实施例中六自由度训练平台的示意图，

图4是本发明实施例中模拟人模型的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

混合现实技术(Mixed Reality,MR)是虚拟现实技术的进一步发展，MR通过模拟虚拟场景信息而给用户在现实世界和虚拟世界间搭建交互反馈的信息回路，从而增强用户体验的真实感。因此，本发明将MR技术融入航空医学救援培训中，如图1所示，公开了一种基于MR的航空医学救援培训效果评价系统，包括航空医学救援培训平台、评价获取模块、评价模块和评价报告模块。所述航空医学救援培训平台通过MR技术进行飞行视景仿真和救援环境仿真，培训人员在所述航空医学救援培训平台中实施医学救援；所述评价获取模块实时获取培训人员的救援数据并传送给所述评价模块，所述评价模块从所述救援数据中提取多模态特征进行评价；所述评价报告模块将所述评价模块的评价结果与培训人员信息关联，生成评价报告，根据评价报告可以实时得到培训人员的当前操作是否规范的结论，方便对培训人员的救援操作进行针对性优化。

航空救援培训平台是开展航空救援培训的基础和基本条件，所述航空医学救援培训平台包括六自由度的飞行状态仿真平台、直升机模拟舱段、六自由度的平台地笼和承台。如图3所示，所述六自由度的飞行状态仿真平台用于模拟俯仰、滚转、偏航、垂直升降、纵向位移、侧向位移六种飞行姿态；直升机模拟舱段，基于AC313A直升机的航空医学应急救援模拟训练舱总体设计要求，使用截取除尾段、螺旋桨部分外的AC313A真机1:1模拟舱段，机体结构包括前机身、中机身、过渡段、动力舱和舱门；所述六自由度的飞行状态仿真平台、直升机模拟舱段、六自由度的平台地笼和承台、飞行视景仿真、救援环境仿真共同实现航空环境的模拟。

如图2所示，所述评价获取模块包括微型低功耗传感器、如图4所示的模拟人模型、摄像装置和文字识别系统，所述模拟人模型上设有多个不同类型的传感器。培训人员在所述模拟人模型上实施医学救援，所述微型低功耗传感器获取培训人员的心电、呼吸等生理参数，所述摄像装置获取培训人员的面部图像和救援动作图像，所述多个不同类型的传感器获取培训人员的救援动作数据，所述文字识别系统获取培训人员书写的医疗文书的质量的数据，本实施例中的文字识别系统为OCR识别系统，可以实现对航空医疗文书的质量控制。医疗文书是航空救援过程中培训人员写的伤病员病例，该病例以勾选为主、包括伤病员关键信息的描述；医疗文书的质量即是指培训人员在航空救援过程中书写的病例的质量，这是本发明在评价培训效果时的一个评价维度。医疗文书的质量的数据通过OCR识别和打分两种方式得到，OCR针对的是医疗文书的文字部分，通过自然语言处理模型等算法来识别培训人员的书写质量；打分针对的是医疗文书的勾选选择部分，通过对勾选选择进行打分来判断培训人员的书写质量。

本实施例中，所述模拟人模型上内置压力传感器、流量传感器和霍尔传感器，所述压力传感器获取培训人员进行心肺复苏救援培训时按压位置与按压力度的数据，所述流量传感器获取培训人员进行人工呼吸操作时的数据，所述霍尔传感器获取培训人员进行气管插管操作时的数据。

构建融合航空救援培训人员面部图像、心电、呼吸、按压位置、按压力度、人工呼吸、气管插管、医疗文书书写质量、设备操作规范性及设备数据解读能力的多模态数据集合，从注意力紧张程度、救治操作规范、医疗设备的操作能力三个维度进行全要素的系统性评价。通过多模态数据处理、特征提取构建基于决策层的救援队员评价方法。

所述评价模块包括注意力紧张程度评价模块、救治操作规范性评价模块和医疗设备操作能力评价模块。所述注意力紧张程度评价模块根据所述培训人员的生理参数、培训人员的面部图像，对培训人员在实施医学救援时的注意力和紧张程度进行评价。所述救治操作规范性评价模块根据所述培训人员的救援动作数据(即压力传感器、流量传感器和霍尔传感器获取的数据)、培训人员书写的医疗文书的质量的数据，对培训人员在实施医学救援时的救治操作规范性进行评价。医疗设备操作能力评价模块根据所述救援动作图像得到培训人员设备操作规范性与设备数据解读能力的数据，对培训人员在实施医学救援时的医疗设备操作能力进行评价。设备操作规范性通过判断摄像头抓取的救援动作图像中培训人员的救援动作是否规范得出。数据解读能力也是通过判断摄像头抓取的救援动作图像中培训人员的救援动作是否规范得出，比如通过监护仪发现伤病员的血压、心率有较大波动时，如果培训人员有相应的紧急处理措施来稳定伤病员的生命体征，那么此时培训人员的数据解读能力符合要求。

本实施例中，从所述救援数据中提取多模态特征进行评价，具体为：

S1：构建包括特征提取器、注意力机制和输出层的卷积神经网络，所述卷积神经网络包括输入层、3个卷积层、3个最大池化层、1个全连接层、1个Softmax分类层。

S2：将所述救援数据分为图像(即摄像装置采集的数据)、生理信号(即微型低功耗传感器采集的数据)和数值(即多个不同类型的传感器和文字识别系统采集的数据)三个模态，使用所述特征提取器提取图像、生理信号和数值的特征并各保留7维主特征，降维得到图像特征矩阵P、生理信号特征矩阵S和数值特征矩阵N。所述救援数据通过所述输入层后分别经过3层卷积和3层池化得到三个模态的数据，三个模态的数据经过所述全连接层提取得到特征矩阵。

S3：使用注意力机制将图像特征矩阵P、生理信号特征矩阵S、数值特征矩阵N进行级联融合得到融合特征矩阵F：

S3-1：将所述图像特征矩阵P、生理信号特征矩阵S、数值特征矩阵N分别作为注意力机制中的Key进行输入，将Query作为根据所述融合特征矩阵F进行识别后的输出向量；

S3-2：计算所述Query和Key的相似度，对权重系数进行加权求和计算得到图像注意力系数w1、生理信号注意力系数w2和数值注意力系数w3；

S3-3：得到最终的融合特征矩阵F为：F＝[w1×P，w2×S，w3×N]。

S4：将所述融合特征矩阵F输入输出层得到评价结果。特征矩阵经过Softmax分类层得到评价结果。本实施例中激活函数采用ReLU函数，为使网络具有更好的泛化性能，对第1个卷积层和第2个卷积层应用ReLU后的卷积输出加入局部响应归一化。

为便于航空培训人员及时了解本人的技能培训情况及改进方法，构建的所述评价报告包括培训人员基本信息、培训评价表(主要包括直升机上失血性休克、心脏骤停、急性呼吸窘迫综合症救治操作评价)和培训优化方法，结合所述评价模块的评价结果对培训人员的技能提升提出优化方案。

本发明还公开了一种基于MR的航空医学救援培训效果评价方法，包括以下流程：

通过MR技术构建包括飞行视景仿真和救援环境仿真的航空医学救援培训平台，参加培训人员佩戴好心电等可穿戴设备后进入飞行舱；

培训人员在所述航空医学救援培训平台中，按照培训要求进行救治流程操作；心电等可穿戴设备、摄像头(动作捕获)、硅胶模拟人模型上的传感器实时采集数据；

使用卷积神经网络从所述救援数据中提取多模态特征进行评价，将评价结果与培训人员信息关联，生成评价报告并打印输出。

本发明的上述技术方案相比现有技术具有以下优点：

1、本发明通过MR技术构建航空医学救援培训平台并在平台中展开航空医学救援培训，通过多模态数据感知融合对实时获取的培训人员救援数据进行评价，构建了基于决策层融合的航空医学救援培训效果评价方法，实现了航空救援人员培训的定量系统性评估，有助于对人员的救援培训效果进行及时改进，提高救援培训效果。

2、本发明通过设置压力传感器结合数据分析进行培训评价和优化，从培训人员的注意力紧张程度、救治操作规范及医疗设备操作能力的三个维度对培训效果进行定量系统性评估，评价全面科学。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。