一种基于人工智能的手卫生自动监测方法及系统

摘要

本发明公开了一种基于人工智能的手卫生自动监测方法及系统，其中方法包括：在左、上、右三个方向获取洗手者姿势的视频数据，拍摄帧率为M帧/秒；识别出每只手的若干骨节点，提取每N帧视频的骨节点的三维坐标作为子判别空间模型的输入，实现每秒M/N次的洗手姿势的判断和洗手步骤的判别，其中M≥N；采用平滑算法从视频数据中截取出每个洗手步骤的视频段；使用重复动作计算模块计算出所述视频段中洗手揉搓次数；根据洗手揉搓的次数和对应视频段洗手步骤判别结果的平均概率值两种指标得分联合计算出某一洗手步骤的评分来监测洗手者的手卫生。本发明还公开了一种基于人工智能的手卫生自动监测系统。本发明实现手卫生监控，同时极大减少算力。

说明书

技术领域

本发明涉及医疗卫生技术领域，尤其涉及一种基于人工智能的手卫生自动评分方法及系统。

背景技术

手卫生是防控医院感染最有效的措施，特别是ICU院内感染比普通病房高，其感染环节复杂，医护人员包括护工的手在诊疗护理过程中与危重病人接触的机率最高。然而目前医务人员手卫生依从率并不理想，仅有33.17％。医护人员接触患者或污染后未洗手，其细菌总数超标率为100％，1/3的医院感染可通过严格的手卫生来得到有效控制。如何评判医生是否执行严格的手卫生是医院防控院内感染事件发生所面临的考验。

现有的技术主要分为两种技术类型，一种基于可穿戴设备，另一种基于视频。

基于可穿戴设备的方法，通常需要洗手者穿戴可穿戴设备来进行洗手，通过臂带中陀螺仪和加速器的数据采集，然后使用机器学习的方法对数据进行分析，最终实现洗手姿势的识别与分类。首先这种方法对洗手者洗手会造成很大的不方便，首先需要洗手者卷起袖子至胳膊处，并佩戴臂带进行洗手，这极大增加了洗手者的洗手负担，且在冬天无法使用，难以大规模应用。

目前的基于视频的洗手方式直接将视频输入，并使用深度学习的方法识别洗手姿势。这种方法难以实现洗手姿势的实时监控，且识别准确率较低。该方法最大的问题还在于无法实现真正的应用，非训练集参与者洗手识别效果差，准确率低于60％。且该方法需要的设备具备较大的算力，由于直接使用视频作为判断依据，视频流产生的数据量过大，导致系统运行需依托大算力机器。

再者，在真实医疗环境中，洗手者往往会因为自身洗手姿势不规范、时间仓促等原因，无法标准的按照七步洗手法按时按量完成洗手。医院院感科对手卫生监测只能以抽查的形式来检查医生是否有严格按照该方式来洗手，用AI对医生的洗手动作自动评分在防控院内感染中变得尤为关键。现有的真实医疗场景下的精确且实时的洗手姿势的识别，对环境的依赖太高，更换洗手环境，模型往往难以奏效，无法形成有效的洗手评分。

发明内容

本发明提供一种基于人工智能的手卫生自动监测方法及系统，实现手卫监控，避免了将整个视频作为分类器的输入，极大减少了输入的参数量。

本发明采用以下技术方案：

一方面，本发明一种基于人工智能的手卫生自动监测方法，包括：

在洗手位置的左、上、右三个方向获取洗手者姿势的视频数据，视频帧率为每秒M帧；

从所述视频数据中识别出每只手的若干关键骨节点，获得每个关键骨节点的三维坐标；

提取出每N帧视频的所述关键骨节点的三维坐标，作为子判别空间模型的输入，实现每秒钟M/N次的洗手者在洗手法中洗手姿势的判断，再判断该洗手姿势所属的洗手步骤，其中M≥N；

采用平滑算法从所述视频数据中提取每个洗手步骤中连续相同的洗手步骤的判断结果序列，每个洗手姿势的判断结果代表N帧的视频，从而截取出对应每个洗手步骤的视频段；

使用重复动作计算模块计算出所述每个洗手步骤的视频段中洗手揉搓的次数；

根据所述洗手揉搓的次数和对应视频段洗手步骤判别结果的平均概率值两种指标得分，联合计算出洗手者以某一洗手步骤的评分，从而监测洗手者的手卫生执行。

另一方面，本发明基于人工智能的手卫生自动监测系统，包括：

视频获取模块，用于在洗手位置的左、上、右三个方向获取洗手者姿势的视频数据，视频帧率为每秒M帧；

骨节点提取模块，由于从所述视频数据中识别出每只手的若干关键骨节点，获得每个关键骨节点的三维坐标；

洗手姿势判断模块，用于提取出每N帧视频的所述关键骨节点的三维坐标，作为子判别空间模型的输入，实现每秒钟M/N次的洗手者在洗手法中洗手姿势的判断，再判断该洗手姿势所属的洗手步骤，其中M≥N；

洗手姿势信心度判断模块，用于采用平滑算法从所述视频数据中提取每个洗手步骤中连续相同的洗手步骤的判断结果序列，每个洗手姿势的判断结果代表N帧的视频，从而截取出对应每个洗手步骤的视频段，计算对应视频段洗手步骤判别结果的平均概率值；

揉搓次数计算模块，用于使用重复动作计算模块计算出所述每个洗手步骤的视频段中洗手揉搓的次数；

评分模块，用于联合所述揉搓次数和对应视频段洗手步骤判别结果的平均概率值两种指标得分，计算出洗手者以某一洗手步骤的评分，从而监测洗手者的手卫生执行。

有益效果

本发明方法与系统使用了深度学习骨骼提取技术将洗手者的手骨骼从三个方向分别提取，从每只手提取若干个关键骨骼点坐标信息，这样避免了将整个视频作为分类器的输入，极大的减少了输入的参数量。同时本发明的强大分析能力能够精准的判别出医生的洗手姿势，并给与每个姿势的评分，为促进院感防控具有重大意义。

本发明方法与系统，具有很强的推广性，可大幅提升医院、社区的洗手质量。特别针对医院，系统可以统计每一位医生每一次洗手是否按照“七步洗手法”完成洗手，以及每一步骤的洗手质量，并可实时反馈每次洗手的监测情况。通过互联网，医生端，可得到及时的提醒，及时反馈；医院端，可精准监测每位医生的洗手情况，并统筹管理。

附图说明

图1是本发明各实施例提供的骨骼提取技术提取关键骨骼点的示意图；

图2是本发明实施例1提供的一种基于人工智能的手卫生自动监测方法的流程示意图；

图3是本发明实施例2提供的具体的一种基于人工智能的手卫生自动监测方法的流程示意图；

图4是本发明实施例3提供的具体的一种基于人工智能的手卫生自动监测系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

世界卫生组织推荐使用的“六步洗手法”，医院科室通常增加“洗手腕”环节后作为手卫生洗手标准，这种洗手方式被称为“七步洗手法”。七步洗手法是医务人员进行操作前的洗手方法，该方法要求医务人员使用7种姿势进行洗手。本发明一种基于人工智能的手卫生自动监测方法，对洗手者的姿势判断主要依据七步洗手法的7种姿势为判断洗手姿势正确与否。

参见图2，是本发明实施例1提供的一种基于人工智能的手卫生自动监测方法的流程示意图。该方法包括：

步骤S101：在洗手位置的左、上、右三个方向获取洗手者姿势的视频数据，视频帧率为每秒M帧。

本步骤中，具体地，在洗手盆左、上、右三个方向部署摄像头，提供洗手者洗手姿势的视频数据。

步骤S102：从所述视频数据中识别出每只手的若干关键骨节点，获得每个关键骨节点的三维坐标。

本步骤中，使用人工智能手骨骼提取技术提取出视频的每一帧中手的骨骼点，其中左边摄像头提取左手骨骼点，右边摄像头提取右手骨骼点，上边的摄像头提取左右手骨骼点，实现每只手的建模。

步骤S103：创建过滤算法，过滤算法通过所述关键骨节点之间的间距将处于姿势转换和/或冲水非七步洗手法的动作过滤掉，其中过滤算法为

其中，S代表两个骨骼点之间的距离的平方，n代表每只手手指关键骨节点的数量，X

优选地，设定非洗手者的过滤阈值S为0.391～0.693。

本步骤中，由于路过等其他原因入镜的手会影响到真正洗手者在视频数据中的手部识别，因而需要过滤非洗手人员。非洗手人员较洗手人员与摄像头之间的距离更远，故相对摄像头而言则非洗手人员的手更小。该算法通过计算所识别的手骨骼点之间的距离，过滤距离近的手，即可过滤非洗手人员的手。

步骤S104：提取出每N帧视频的所述关键骨节点的三维坐标，作为子判别空间模型的输入，实现每秒钟M/N次的洗手者在洗手法中洗手姿势的判断，再判断该洗手姿势所属的洗手步骤，其中M≥N。

本步骤通过对视频中手的关键骨节点提取，避免了拍摄视频的场景不同导致对识别的影响，起到降噪的功能。

洗手姿势的判断是判断当前识别的洗手姿势是否为洗手法中洗手姿势训练集中的洗手姿势。洗手步骤的判断是对上述识别的洗手姿势判断是洗手法中哪一步的洗手步骤。

步骤S105：采用平滑算法从所述视频数据中提取每个洗手步骤中连续相同的洗手步骤的判断结果序列，每个洗手姿势判断结果代表N帧的视频，从而截取出对应每个洗手步骤的视频段。

本步骤中，具体地，针对所述洗手姿势的判断结果，采用平滑算法从所述视频数据中提取每个洗手姿势所对应的连续相同的判断结果序列的步骤中，当连续的序列中出现一次不同，则忽略不计。

步骤S106：使用重复动作计算模块计算出所述每个洗手步骤的视频段中洗手揉搓的次数。

步骤S107：根据所述洗手揉搓的次数和对应视频段洗手步骤判别结果的平均概率值两种指标得分，联合计算出洗手者以某一洗手步骤的评分，从而监测洗手者的手卫生执行。

本步骤中，洗手揉搓的次数与对应视频段洗手步骤判别结果的平均概率值两种指标得分之和来得出终洗手者以某一洗手步骤的评分。

综上所述，本发明实施例使用了深度学习骨骼提取技术将洗手者的手骨骼从三个方向分别提取，从每只手提取若干个关键骨骼点坐标信息，这样避免了将整个视频作为分类器的输入，极大的减少了输入的参数量，减轻视频流算力，洗手姿势识别模型不依赖环境，识别率高达99％。本方法可以统计每一位医生每一次洗手是否按照“七步洗手法”完成洗手，以及每一步骤的洗手质量，并可实时反馈每次洗手的监测情况。通过互联网，医生端，可得到及时的提醒，及时反馈；医院端，可精准监测每位医生的洗手情况，并统筹管理。

为了识别精确，七步洗手法中的7种姿势可以精分至19种姿势，或者更多。

七步洗手法：洗手掌、洗手背侧指缝、洗掌侧指缝、洗手指背、洗拇指、洗指尖、洗手腕。其中，第二步、第四步、第五步、第六步以及第七步这5个步骤都需要双手交替进行，所以在七步洗手法的判别中，实际上需要判别12种不同的步骤，分别为：洗手掌、洗左手背侧指缝、洗右手背侧指缝、洗掌侧指缝、洗左手指背、洗右手指背、洗左手拇指、洗右手拇指、洗左手指尖、洗右手指尖、洗左手腕手臂、洗右手腕手臂。然而在任何一个洗手步骤种，医生洗手通常不会以同一种方式洗手，所以即使洗手者使用不同的受认可的洗手姿势或者是不同的手摆放角度，模型均要能够识别出该方式属于哪一种洗手姿势。由于洗手者的洗手姿势很多，我们无法穷尽所有的洗手姿势，所以根据洗手方式的不同或者不同的手摆放角度的，12个洗手步骤均具有1到2种不同的洗手姿势，所以一共拥有19种不同的洗手姿势，这要求判别模型能够具有对这19种姿势的精确分类能力，12个洗手步骤包含19种洗手姿势详见下表1：

参见图3，是本发明实施例2提供的具体的一种基于人工智能的手卫生自动监测方法的流程示意图。该方法包括：

步骤S201：在洗手位置的左、上、右三个方向部署摄像头，获取洗手者姿势的视频数据，视频帧率为每秒30帧。

步骤S202：从所述视频数据中使用骨骼提取技术提取每一帧图像识别手的位置。部署于左右摄像头均只提取一只手的骨骼，部署于上摄像头提取两只手的骨骼，故每一帧视频会提取4只手。

步骤S203：手的位置定位后，使用骨骼提取技术识别出每只手的21个关键骨节点，获得每个关键骨节点的三维坐标(x，y，z)，实现手的建模。

步骤S204：创建过滤算法，过滤算法通过所述关键骨节点之间的间距将处于姿势转换和/或冲水非七步洗手法的动作过滤掉；其中过滤算法为

其中，S代表两个骨骼点之间的距离的平方，n代表每只手手指关键骨节点的数量20，即n＝20，X

当洗手者洗手过程中，非洗手者从洗手池旁边走过时，非洗手者的手容易被部署于洗手池左右两边的摄像头拍到，从而影响洗手者洗手姿势的判别。为了避免这种情况造成的影响，创建了过滤算法来过滤非洗手者的手，设定非洗手者的过滤阈值S为0.5。

步骤S205：提取出每10帧视频的所述关键骨节点的三维坐标，作为子判别空间模型的输入，实现每秒钟3次的洗手者在洗手法中洗手姿势的判断，再判断该洗手姿势所属的洗手步骤。

本步骤中，每10帧视频作为输入，则每个输入有10帧视频*4只手*21个关键骨节点*3次判断＝2520个变量。

也可以理解为：将需要评分的洗手者洗手视频以每10帧为一个输入，输入到上述训练好的洗手姿势判别模型中，由于视频为每秒30帧，则模型将每秒钟产生3次洗手步骤的判断。

在七步洗手法的洗手步骤当中，为了精确分类，可以根据洗手不同方式或者手摆放角度的不同，进一步将其细分至19种姿势，或者更多。本实施例优选19种洗手姿势，参见表1，即为洗手姿势判别模型的训练集。以每10帧视频所产生的2520个变量作为输入，判断这10帧视频中洗手者以19种洗手姿势中的哪一种洗手姿势洗手。模型训练后，采用10折交叉验证方式验证模型的准确率，模型判别19种洗手姿势的准确率可达97.5％。然后将19种判别转换为12种洗手步骤，即由于第一种洗手方式和第二种洗手方式均属于第一步骤，当模型判别为第一种洗手方式或者第二种洗手方式，认为是同一种判断，则模型的准确率可达99％。

步骤S206：采用平滑算法从所述视频数据中提取每个洗手步骤中连续相同的洗手步骤的判断结果序列，每个洗手姿势的判断结果代表10帧的视频，从而截取出对应每个洗手步骤的视频段。例如模型输出：1，3，4，5，1，2，4，1，1，1，1，1，1，3，1，1，4，1，1，1，1，5，6，7，4，其中模型输出的结果为1，代表12个洗手步骤中的第一步；通过平滑算法提取连续相同的判断结果，当序列中出现一次不同，则忽略不计，提取第一步骤的洗手视频段为：1，1，1，1，1，1，3，1，1，4，1，1，1，1。

步骤S207：使用重复动作计算模块计算出所述每个洗手步骤的视频段中洗手揉搓的次数。

步骤S208：根据所述洗手揉搓的次数和对应视频段洗手步骤判别结果的平均概率值两种指标得分之和，联合计算出洗手者以某一洗手步骤的评分，从而监测洗手者的手卫生执行。

具体地，洗手揉搓次数，如果次数超过6次(院感要求每个姿势不能少于3秒，平均一秒揉搓两次，则洗手揉搓次数不能少于6次)则该指标获得满分50分，如果不超过6次，则得分为50*(次数/6)。

模型输出的平均概率值的平均值，例如，对截取的第一步骤的洗手视频段为：1，1，1，1，1，1，3，1，1，4，1，1，1，1，这一段中模型输出为1时的概率值累加然后求平均值。则该指标的得分为50*平均概率值。

该洗手步骤的评分则为两种指标得分相加的总和。

综上所述，本实施例使用了深度学习骨骼提取技术将洗手者的手骨骼从三个方向分别提取，从每只手提取若干个关键骨骼点坐标信息，这样避免了将整个视频作为分类器的输入，极大的减少了输入的参数量，减轻视频流算力，通过揉搓次数和对应每个洗手姿势的整段视频中每次判断模型输出的平均概率值的平均值两种指标评价得分来监测洗手者的手卫生。本方法可以统计每一位医生每一次洗手是否按照“七步洗手法”完成洗手，以及每一步骤的洗手质量，并可实时反馈每次洗手的监测情况。通过互联网，医生端，可得到及时的提醒，及时反馈；医院端，可精准监测每位医生的洗手情况，并统筹管理。

参见图4，是本发明实施例3提供的具体的一种基于人工智能的手卫生自动监测系统的结构示意图。该系统包括视频获取模块301、骨节点提取模块302、洗手姿势判断模块303、洗手姿势信心度判断模块304、揉搓次数计算模块305、和评分模块306。

视频获取模块，用于获取洗手者姿势的视频数据，视频拍摄率为每秒M帧。

骨节点提取模块，由于从所述视频数据中识别出每只手的若干关键骨节点，获得每个关键骨节点的三维坐标。

洗手姿势判断模块，用于提取出每N帧视频的所述关键骨节点的三维坐标，作为子判别空间模型的输入，实现每秒钟M/N次的洗手者在洗手法中洗手姿势的判断，其中M≥N。

洗手姿势信心度判断模块，用于针对所述洗手姿势的判断结果，采用平滑算法从所述视频数据中提取每个洗手姿势所对应的连续相同的判断结果序列，每个判断结果代表N帧的视频，从而截取出对应每个洗手姿势的整段视频，计算该整段视频中每次判断模型输出的平均概率值的平均值。

揉搓次数计算模块，用于使用重复动作计算模块计算出每一个洗手姿势的整段视频中，洗手揉搓的次数。

评分模块，用于联合所述揉搓次数和对应每个洗手姿势的整段视频中每次判断模型输出的平均概率值的平均值两种指标得分来计算出最终洗手者以某一洗手步骤的评分来监测洗手者的手卫生。

在一种可能的实施例中，所述系统还包括过滤模块307，用于创建过滤算法，过滤算法通过所述关键骨节点之间的间距将处于姿势转换和/或冲水非七步洗手法的动作过滤掉；其中过滤算法为

其中，S代表两个骨骼点之间的距离的平方，n代表每只手手指关键骨节点的数量，X

在一种可能的实施例中，所述系统还包括阈值设定模块308，用于过滤非洗手者，其中设定阈值S为0.391～0.693。

在一种可能的实施例中，所述系统还包括部署在洗手盆左、上、右三个方向的摄像头，用于连接所述视频获取模块。实现立体多维度的洗手者姿势的精确监测。

需要说明的是：上述实施例中提供的基于人工智能的手卫生自动监测系统在进行监测评分时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将作为手卫生自动监测系统的服务器的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的手卫生自动监测系统与手卫生自动监测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。