腰椎穿刺术考核评估方法、装置及存储介质

摘要

本申请涉及腰椎穿刺术考核评估方法、装置及存储介质，属于医学考核技术领域。本申请包括：获取考核现场考生的语音信息、考核现场场景信息以及考生肢体动作信息；将考核现场考生的语音信息输入预构建的语音算法模型中，输出考生语音考核结果；将考核现场场景信息输入预构建的场景监控模型中，输出场景监控考核结果；将考生肢体动作信息输入预构建的动作评估算法模型中，输出肢体动作考核结果，用于解决现有的腰椎穿刺考核中，由于考官没有观察到考生的某项操作，或不同考官关注的侧重点不同，导致人工评分有差异的问题。

说明书

技术领域

本申请属于医学考核技术领域，具体涉及腰椎穿刺术考核评估方法、装置及存储介质。

背景技术

在高等医学教育的教学、考核过程中涉及到大量的临床场景与模拟考核练习，AI技术可以将智能教学带进课堂与考场。智能技术的推广必将带动教学模式、教学方法的改革。目前神经病学专业硕士研究生临床技能采用的考核方式是两位考官对同一考生的操作进行评分，考核的评判力求客观、公平、公正。但在历次的考核过程中都存在考官间评分差异大的情况，即使对考官进行了评分细则的培训，两位考官对同一考生的评分仍有可能存在较大差异。例如腰椎穿刺术是目前神经病学临床技能考核的一项重要内容，虽然有较为详细的评分细则，但每位考官关注考生操作的侧重点不同，有可能会造成评分差异。有的考官在评估考生操作中没有观察到考生进行的某项操作，容易造成误判。这些都是人为因素影响考核评估的客观公正。

发明内容

为此，本申请提供腰椎穿刺术考核评估方法、装置及存储介质，本申请中，通过AI智能评估，对考生的腰椎穿刺考核进行全方位评估，用于解决现有的人为评分中，考官没有观察到考生的某项操作，或不同考官关注的侧重点不同，导致评分有差异的问题，能够对考生客观、公正、公平的进行全方位的评价，并且可以提高评判的效率，大大减少了人力资源成本。

为实现以上目的，本申请采用如下技术方案：

腰椎穿刺术考核评估方法，所述方法包括：

获取考核现场考生的语音信息、考核现场场景信息以及考生肢体动作信息；

将考核现场考生的语音信息输入预构建的语音算法模型中，所述语音算法模型通过提取考生的语音考核内容信息中的关键词，根据关键词进行评分，输出语音考核结果；

将考核现场场景信息输入预构建的场景监控模型中，所述场景监控模型根据考生考核过程中考核器具的位置信息判断各考核器具是否出现在不应出现的位置；所述场景监控模型还用于根据考核区域内监控无菌范围判断考生无菌操作过程中考核区域内是否被污染，输出场景监控考核结果；

将考生肢体动作信息输入预构建的动作评估算法模型中，所述动作评估算法模型基于机器视觉对考生进行运动感知，通过感知到的考生肢体动作评估考核过程中动作是否符合操作标准，输出肢体动作考核结果。

进一步的：

所述考核现场考生的语音信息通过考核现场的语音信息获取模块进行获取；

所述考核现场场景信息通过考核现场的场景信息获取模块进行获取；

所述考生肢体动作信息通过考核现场的肢体动作信息获取模块进行获取。

进一步的，所述语音算法模型的构建包括：

通过语音信息获取模块获取一定数量的考生的语音考核内容，通过语音识别算法将考生的语音考核内容转化为文字信息，通过分词算法提取文字信息中的考核关键词，将考官对于考生的评分进行拆分获取评分关键词；

将考核关键词以及评分关键词组成特征向量，通过特征向量使用SVM传统机器学习方法以及LSTM深度学习方法建立语音算法模型。

进一步的，所述场景监控模型的构建包括：

在考场特定位置上设置摄像头，摄像头监控区域包括准备区以及操作区；

通过物体识别算法进行考场相关物品的识别，基于LSTM深度学习方法建立场景监控模型；

获取摄像头拍摄到的视频信息，将视频中的无菌区域划分为若干块，并对视频每一帧的无菌区域各块是否有物体进行编码处理，并建立时序特征信号；

获取考官对于考生标注的扣分时间及扣分区域信息；

通过时序特征信号以及考官标注的扣分时间及扣分区域信息对场景监控模型进行训练。

进一步的，所述动作评估算法模型的构建包括：

获取考生在操作区域的视频画面，在预训练的人体关节点模型的基础上进行训练，得到更能适配考核动作的动作评估算法模型，并计算出考生在操作区域的视频画面的每一帧动作的关键点；

基于关键点位置，使用姿态以及速度信息建立动作姿态编码，将每一帧动作姿态编码组合为动作姿态的时间序列信号；

获取考官对于考生操作手法的分段标注标签，所述分段标注标签包括标准动作的起止帧及不标准动作的起止帧；

通过时间序列与分段标注标签建立训练样本，通过训练样本对所述动作评估算法模型进行训练。

进一步的：

所述语音算法模型、场景监控模型以及动作评估算法模型构建完成后，选取一定数量的考生作为测试集；

通过语音算法模型、场景监控模型以及动作评估算法模型对测试集中的考生进行腰椎穿刺术评分；

将评分结果和考官对于测试集中的考生评分结果进行对比，使得语音算法模型、场景监控模型以及动作评估算法模型学习与考官的评分差异部分，迭代优化所述语音算法模型、场景监控模型以及动作评估算法模型对于腰椎穿刺操作的评分性能。

腰椎穿刺术考核评估装置，所述装置包括：

现场考核信息获取模块：用于获取考核现场考生的语音信息、考核现场场景信息以及考生肢体动作信息；

模型处理模块：

将考核现场考生的语音信息输入预构建的语音算法模型中，所述语音算法模型通过提取考生的语音考核内容信息中的关键词，根据关键词进行评分，输出语音考核结果；

将考核现场场景信息输入预构建的场景监控模型中，所述场景监控模型根据考生考核过程中考核器具的位置信息判断各考核器具是否出现在不应出现的位置；

所述场景监控模型还用于根据考核区域内监控无菌范围判断考生无菌操作过程中考核区域内是否被污染，输出场景监控考核结果；

将考生肢体动作信息输入预构建的动作评估算法模型中，所述动作评估算法模型基于机器视觉对考生进行运动感知，通过感知到的考生肢体动作评估考核过程中动作是否符合操作标准，输出肢体动作考核结果。

一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的腰椎穿刺术考核评估方法中的各个步骤。

本申请采用以上技术方案，至少具备以下有益效果：

本申请通过获取考生考核现场的语音信息、考核现场场景信息以及考生肢体动作信息，通过预构建的模型对考生的语音考核内容、场景考核以及操作考核进行智能化AI评分，不需要考官人工进行评分，避免了人工评分中，不同考官观察的侧重点不同，忽略了考生某一操作导致评分结果不精准的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的腰椎穿刺术考核评估方法的流程图；

图2是根据一示例性实施例示出的语音算法模型的构建流程图；

图3是根据一示例性实施例示出的场景监控模型的构建流程图；

图4是根据一示例性实施例示出的动作评估算法模型的构建流程图；

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将对本申请的技术方案进行详细的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本申请所保护的范围。

请参阅图1，图1是根据一示例性实施例示出的腰椎穿刺术考核评估方法的流程图，该考核评估方法应用于医学考核技术领域，该考核评估方法包括：

S1，获取考核现场考生的语音信息、考核现场场景信息以及考生肢体动作信息；

S2，将考核现场考生的语音信息输入预构建的语音算法模型中，所述语音算法模型通过提取考生的语音考核内容信息中的关键词，根据关键词进行评分，输出语音考核结果；

S3，将考核现场场景信息输入预构建的场景监控模型中，所述场景监控模型根据考生考核过程中考核器具的位置信息判断各考核器具是否出现在不应出现的位置；所述场景监控模型还用于根据考核区域内监控无菌范围判断考生无菌操作过程中考核区域内是否被污染，输出场景监控考核结果；

S4，将考生肢体动作信息输入预构建的动作评估算法模型中，所述动作评估算法模型基于机器视觉对考生进行运动感知，通过感知到的考生肢体动作评估考核过程中动作是否符合操作标准，输出肢体动作考核结果；

具体的，本申请通过获取考生在腰椎穿刺术考核过程中的语音考核内容信息、考核现场的场景信息以及考生的肢体动作，根据获取的信息通过预设的语音算法模型、场景监控模型以及动作评估算法模型，自动对考生的腰椎穿刺术进行评分，输出评分结果，这个过程中，不需要考官的参与，自动完成评分，可以同时对多个考生进行评分，节省人力，考核通过预设的模型完成，避免了不同考官观察考生的侧重点不同，可能忽略了考生的某一操作，导致评分有差异的问题。

进一步的：

所述考核现场考生的语音信息通过考核现场的语音信息获取模块进行获取；

所述考核现场场景信息通过考核现场的场景信息获取模块进行获取；

所述考生肢体动作信息通过考核现场的肢体动作信息获取模块进行获取；

具体的，腰椎穿刺术考核过程中，包括基础知识考核和实际操作的考核，在以前中，基础知识考核通常是考生通过口述回答考官的考题，所以需要通过语音信息获取模块获取考生的语音内容信息，对于实际操作考核，主要是通过肢体动作获取模块获取考生的肢体动作信息，从而方便模型处理模块对考生的肢体操作进行评分，同时，在考生实际操作考核过程中，考核的器具应该出现在应该出现的位置上，对于无菌操作，无菌区域内还不能有有菌物品，所以需要通过场景信息获取模块获取考生在考核过程中，各考核器具的位置，以及无菌区域内是否出现有菌物品。

进一步的，所述语音算法模型的构建包括：

S101,通过语音信息获取模块获取一定数量的考生的语音考核内容，通过语音识别算法将考生的语音考核内容转化为文字信息，通过分词算法提取文字信息中的考核关键词，将考官对于考生的评分进行拆分获取评分关键词；

S102,将考核关键词以及评分关键词组成特征向量，通过特征向量使用SVM传统机器学习方法以及LSTM深度学习方法建立语音算法模型；

具体的，如附图2所示，对于语音算法模型的建立，在考核过程中通过音频输入设备采集考生的语音信号，并通过语音识别算法获取考生答题的文字内容，然后通过分词算法将完整的文字内容分为不同的关键词，同时将考官的评分进行拆分，例如在身份识别医患沟通项目中，了解病史、确认适应症评分项，需拆解为“了解病史”和“确认适应症”2项，每项的评分为0分或1分，通过这样分解的方式，让机器学习模型更能“理解”评分项，此时将关键词组成特征向量，并尝试以SVM为代表的传统机器学习和以LSTM为代表的深度学习方法来建立言语类评分模型，考虑到考核为专业考试，关键词的表述会更加术语化，相较于自由场景关键词的多样性较低，更容易达到较好的评分准确性

进一步的，所述场景监控模型的构建包括：

S201,在考场特定位置上设置摄像头，摄像头监控区域包括准备区以及操作区；

S202,通过物体识别算法进行考场相关物品的识别，基于LSTM深度学习方法建立场景监控模型；

S203,获取摄像头拍摄到的视频信息，将视频中的无菌区域划分为若干块，并对视频每一帧的无菌区域各块是否有物体进行编码处理，并建立时序特征信号；

S204,获取考官对于考生标注的扣分时间及扣分区域信息；

S205,通过时序特征信号以及考官标注的扣分时间及扣分区域信息对场景监控模型进行训练；

具体的，如附图3所示，对于场景监控模型的建立，本申请通过在考场中特定的位置布置摄像头，主要覆盖准备区和操作区，使用深度学习物体识别算法进行考场相关物品的识别模型，并在此基础上建立跟踪模型，在整个考核的过程中，识别相关物品或者其他物品有无出现在无菌区域，并以此评估是否进行扣分，将视频中的无菌区域划分为若干块，并对每一帧的无菌区域是否有物体进行编码处理，并建立时序特征信号，同时，评委评分时，需基于视频标注出扣分的时间及对应的扣分区域(超出扣分最大值的扣分点也需要标注)。通过时序特征信号及评委标注的扣分时间及扣分区域信息，可以训练基于LSTM的监控算法模块的扣分算法，在实际应用时，也需要基于评分规则考虑扣分不能超过最大值。

进一步的，所述动作评估算法模型的构建包括：

S301，获取考生在操作区域的视频画面，在预训练的人体关节点模型的基础上进行训练，得到更能适配考核动作的动作评估算法模型，并计算出考生在操作区域的视频画面的每一帧动作的关键点；

S302，基于关键点位置，使用姿态以及速度信息建立动作姿态编码，将每一帧动作姿态编码组合为动作姿态的时间序列信号；

S303，获取考官对于考生操作手法的分段标注标签，所述分段标注标签包括标准动作的起止帧及不标准动作的起止帧；

S304，通过时间序列与分段标注标签建立训练样本，通过训练样本对所述动作评估算法模型进行训练；

具体的，如附图4所示，对于动作评估算法模型的建立，本申请通过在考场中，对着考生操作的区域进行多角度的视频拍摄，并在预训练的人体关节点模型的基础上进行训练，得到更能适配考核动作的关节点识别模型并计算出每一帧动作的关键点，对于每一帧的动作，基于关键点位置，姿态，速度等信息建立动作姿态编码，并通过将每一帧编码组合为动作姿态的时间序列信号，同时，评委对视频拍摄到的操作手法进行分段标注，标注出标准动作的起止帧及不标准动作的起止帧，通过时间序列与分段标注的标签建立训练样本，并训练LSTM模型进行动作规范性评分；

具体的，本申请在语音算法模型、场景监控模型以及动作评估算法模型建立过程中，考官的考生评分项标注及评分规则如下表所示：

进一步的：

所述语音算法模型、场景监控模型以及动作评估算法模型构建完成后，选取一定数量的考生作为测试集；

通过语音算法模型、场景监控模型以及动作评估算法模型对测试集中的考生进行腰椎穿刺术评分；

将评分结果和考官对于测试集中的考生评分结果进行对比，使得语音算法模型、场景监控模型以及动作评估算法模型学习与考官的评分差异部分，迭代优化所述语音算法模型、场景监控模型以及动作评估算法模型对于腰椎穿刺操作的评分性能；

具体的，语音算法模型、场景监控模型以及动作评估算法模型构建好后，还需要对模型进行迭代更新，选取50个考生的腰椎穿刺考核做模型的测试集，并进行机器AI考核评分和人工医生评分，并通过对比机器AI考核评分的准确率判断该模型的评分性能，以判断是否可以进行临床应用，将系统给出的考生评分和考官评分进行比对，让计算机学习考官的评分差异部分，并通过这样的过程，逐渐迭代优化机器AI考核评分系统对于腰椎穿刺操作的评分性能。

腰椎穿刺术考核评估装置，所述装置包括：

现场考核信息获取模块：用于获取考核现场考生的语音信息、考核现场场景信息以及考生肢体动作信息；

模型处理模块：

将考核现场考生的语音信息输入预构建的语音算法模型中，所述语音算法模型通过提取考生的语音考核内容信息中的关键词，根据关键词进行评分，输出语音考核结果；

将考核现场场景信息输入预构建的场景监控模型中，所述场景监控模型根据考生考核过程中考核器具的位置信息判断各考核器具是否出现在不应出现的位置；

根据考核区域内监控无菌范围判断考生无菌操作过程中考核区域内是否被污染，输出场景监控考核结果；

将考生肢体动作信息输入预构建的动作评估算法模型中，所述动作评估算法模型基于机器视觉对考生进行运动感知，通过感知到的考生肢体动作评估考核过程中动作是否符合操作标准，输出肢体动作考核结果。

一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的腰椎穿刺术考核评估方法中的各个步骤；

具体的，所述存储介质可以是只读存储器，磁盘或光盘等，或其任意的组合。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”、“多”的含义是指至少两个。

应该理解，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者可能同时存在居中元件；当一个元件被称为“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件,此外，这里使用的“连接”可以包括无线连接；使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为：表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。