模型训练方法、洗手行为检测方法、装置、设备及介质

摘要

本发明公开了一种模型训练方法、洗手行为检测方法、装置、设备及介质，包括：通过人体姿态识别算法，获取每张原始样本图像中人体姿态骨架的关键点的坐标；根据关键点的坐标，确定原始样本图像中手部所在的区域；根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像；根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型。该模型训练方法中，一方面，极大地缩减了所需的样本数据量以及缩减了标注样本所需的工作量；另一方面，基于该样本图像库训练出的目标洗手行为检测模型不需要二次调优，并且该模型对洗手行为的步骤分类的检测准确性较高。

说明书

技术领域

本发明实施例涉及图像识别领域，尤其涉及一种模型训练方法、洗手行为检测方法、装置、设备及介质。

背景技术

在医院及相关场所中，为了进行医务人员手卫生的管理，需要检测医务人员的洗手过程中的洗手行为是否符合标准洗手规范。

目前，只能通过用图片宣导、培训讲解等方式，进行标准洗手规范的宣贯及讲解。在医务人员洗手的过程中，并不能实现有效检测，导致可能会因为医务人员洗手行为不规范而引起通过手传播病原体的问题。

发明内容

本发明提供一种模型训练方法、洗手行为检测方法、装置、设备及介质，以解决目前无法进行洗手行为检测的技术问题。

第一方面，本发明实施例提供一种模型训练方法，包括：

获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；

对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；

将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；

通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；

根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；

根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；

根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型；其中，所述目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。

第二方面，本发明实施例提供一种洗手行为检测方法，包括：

通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标；

根据所述目标图像中人体姿态骨架的关键点的坐标，确定所述目标图像中手部所在的区域；

根据所述目标图像中手部所在的区域，从所述目标图像中截取出手部图像，形成待识别图像；

将所述待识别图像输入至目标洗手行为检测模型，得到所述目标图像中洗手行为的步骤分类；其中，所述目标洗手行为检测模型采用如第一方面所述的模型训练方法得到。

第三方面，本发明实施例提供一种模型训练装置，包括：

第二获取模块，用于获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；

镜像处理模块，用于对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；

第四确定模块，用于将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；

第一获取模块，用于通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；

第一确定模块，用于根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；

第二确定模块，用于根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；

第三确定模块，用于根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型。

第四方面，本发明实施例提供一种洗手行为检测装置，包括：

第三获取模块，用于通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标；

第五确定模块，用于根据所述目标图像中人体姿态骨架的关键点的坐标，确定所述目标图像中手部所在的区域；

第六确定模块，用于根据所述目标图像中手部所在的区域，从所述目标图像中截取出手部图像，形成待识别图像；

第七确定模块，用于将所述待识别图像输入至目标洗手行为检测模型，得到所述目标图像中洗手行为的步骤分类；其中，所述目标洗手行为检测模型采用如第一方面所述的模型训练方法得到。

第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面提供的模型训练方法或者如第二方面提供的洗手行为检测方法。

第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面提供的模型训练方法或者如第二方面提供的洗手行为检测方法。

本发明实施例提供一种模型训练方法、洗手行为检测方法、装置、设备及介质，该方法包括：获取拍摄的每个样本采集人员的三个角度的洗手视频，其中，三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与样本采集人员的右侧的摄像头的高度不同；对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；将洗手视频以及镜像处理后的洗手视频转换为图像，形成原始样本图像库；通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；根据原始样本图像中人体姿态骨架的关键点的坐标，确定原始样本图像中手部所在的区域；根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像；根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型，其中，目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。该模型训练方法中，一方面，通过镜像处理的方式可以获取到多个角度的洗手视频，能够在短时间内获得大量原始样本图像，实现高效，提高了模型训练的效率；另一方面，通过人体姿态识别算法，从原始样本图像中截取出手部图像，形成样本图像，从而排除了包括洗手用户性别、身高、年龄、衣服以及外部场景变化所带来的对样本图像库规模的影响，极大地缩减了所需的样本数据量，提高了模型训练效率；再一方面，通过使用成熟的人体姿态识别算法确定出的原始样本图像中手部所在的区域，可以直接作为样本数据库的标注数据进行使用，节省了大量人工手动框选目标的工作量，提高了模型训练的效率；又一方面，基于该样本图像库训练出的目标洗手行为检测模型不需要二次调优，并且该模型对洗手行为的步骤分类的检测准确性较高。

附图说明

图1为本发明一个实施例提供的模型训练方法的流程示意图；

图2为一种确定手部所在的区域的示意图；

图3为本发明实施例提供的一种目标洗手行为检测模型的结构示意图；

图4为本发明实施例提供的一种洗手行为检测方法的流程示意图；

图5为本发明一个实施例提供的模型训练装置的结构示意图；

图6为本发明另一个实施例提供的洗手行为检测装置的结构示意图；

图7为本发明一个实施例提供的计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明一个实施例提供的模型训练方法的流程示意图。本实施例适用于训练能够识别洗手行为步骤分类的模型的场景中。本实施例可以由模型训练装置来执行，该模型训练装置可以由软件和/或硬件的方式实现，该电力物联网终端建模装置可以集成于计算机设备中。如图1所示，本实施例提供的模型训练方法包括如下步骤：

步骤101：通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标。

具体地，原始样本图像库中包括多张原始样本图像。原始样本图像中可以包括洗手行为。

一种实现方式中，本实施例中的原始样本图像库的获取过程可以为：可以从网络中获取多张包括洗手行为的图像，将这些图像作为原始样本图像库。

另一种实现方式中，本实施例中的原始样本图像库的获取过程可以如下步骤1至步骤3所示。

步骤1：获取拍摄的每个样本采集人员的三个角度的洗手视频。

其中，三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与样本采集人员的右侧的摄像头的高度不同。

本实施例中，对样本采集人员的数量不作限制。示例性地，样本采集人员的数量可以为20个。

进一步地，样本采集人员的正面的摄像头的高度与样本采集人员洗手时手部的高度相同。可选地，左侧的摄像头的高度高于样本采集人员洗手时手部的高度，右侧的摄像头的高度低于样本采集人员洗手时手部的高度。或者，左侧的摄像头的高度低于样本采集人员洗手时手部的高度，右侧的摄像头的高度高于样本采集人员洗手时手部的高度。

拍摄的洗手视频为完成七种标准洗手动作(也称为七步洗手法)的视频。其中，七种标准洗手动作包括：第一步：洗手掌，流水湿润双手，涂抹洗手液(或肥皂)，掌心相对，手指并拢相互揉搓；第二步：洗背侧指缝，手心对手背沿指缝相互揉搓，双手交换进行；第三步：洗掌侧指缝，掌心相对，双手交叉沿指缝相互揉搓；第四步：洗指背，弯曲各手指关节，半握拳把指背放在另一手掌心旋转揉搓，双手交换进行；第五步：洗拇指，一手握另一手大拇指旋转揉搓，双手交换进行；第六步：洗指尖，弯曲各手指关节，把指尖合拢在另一手掌心旋转揉搓，双手交换进行；第七步：洗手腕、手臂，揉搓手腕、手臂，双手交换进行。

步骤2：对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频。

步骤3：将洗手视频以及镜像处理后的洗手视频转换为图像，形成原始样本图像库。

假设步骤1中采集到的样本采集人员的左侧、正面以及右侧的洗手视频中，左侧的摄像头的高度高于样本采集人员洗手时手部的高度，右侧的摄像头的高度低于样本采集人员洗手时手部的高度，则将采集到的三个角度定义为：左上、正面以及右下。则在步骤2中，在对左侧的洗手视频进行镜像处理后，可以得到右上角度的洗手视频。在对右侧的洗手视频进行镜像处理后，可以得到左下角度的洗手视频。因此，在经过镜像处理后，可以得到五个角度的洗手视频：左上、左下、正面、右上以及右下。

在步骤3中，将拍摄得到的洗手视频以及镜像处理后的洗手视频可以通过目前已有的工具或者算法转换为图像。例如，通过OpenCV实现转换。将转换后的图像确定为步骤101中的原始样本图像。

本实施例中，通过步骤1至步骤3获取原始样本图像库的过程，可以在短时间内获得大量原始样本图像，实现高效，从而，提高了模型训练的效率。

通常状况下，洗手行为发生在洗手台或免洗式洗手液瓶的附近，标准的洗手步骤分为七步，每个步骤持续约30秒。样本采集人员双手置于胸前进行双手揉搓等动作，不同的洗手者性别、身高、年龄、衣服花纹颜色、动作习惯等都会有所不同。本实施例中，为了减少样本采集人员的性别、身高、年龄、衣服的花纹颜色、动作习惯等对训练出的模型的影响，可以从原始样本图像中截取出手部图像，形成样本图像，再基于样本图像进行训练，以提高训练出的目标洗手行为检测模型的检测准确性以及泛化能力。

为了实现从原始样本图像中截取出手部图像，首先在步骤101中采用人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标。本实施例中的关键点可以指的是人体的关节。

示例性地，本实施例中的人体姿态识别算法可以为：OPENPOSE算法。OPENPOSE算法是在卷积姿态识别机(Convolutional Pose Machines，CPM)的基础上进行改进，针对多人姿态识别优化而提出的人体姿态识别框架。传统CPM是“自上而下”，即先检测出每个人的大致区域，每个大致区域进行单个人的关键点识别；OPENPOSE算法是“自下而上”，即先检测出图像中所有的关键点，再根据其他信息将关键点连接成图中每个人各自的骨架。传统自上而下思想有以下缺点：1、在多人姿态识别中容易受到躯干遮挡影响；2、每个人都要运行一遍关键点检测，耗费时间；3、依赖人体检测算法，若某个人体未被检测到，则算法也不会去检测骨架。

OPENPOSE算法摆脱了以上3点问题。OPENPOSE算法延续了CPM多层结构的设计以及全卷积网络的特点，扩大感受野使得网络能够同时考虑多个关键点信息，找到互相之间的联系。同时相较于CPM，引入了部分区域亲和(Part Affinity Field，PAF)概念，使得网络能够将躯干信息包含在学习范围内，PAF的重要程度与关节关键点是并列的，两个不同的全卷积网络分别用于训练这两个要素。综上，相对于CPM来说，OPENPOSE算法对多人躯干检测效果更好，速度更快。因此，本实施例中采用OPENPOSE算法可以提高截取手部图像的速度，从而，提高了模型的训练速度。

可选地，OPENPOSE算法的输出结果可以为JAVA描述语言对象简谱(JavaScriptObject Notation，JSON)格式。输出结果中标明了关键点的坐标以及关键点的名称。

可以理解的是，原始样本图像中人体姿态骨架的关键点的坐标可以为多个。

步骤102：根据原始样本图像中人体姿态骨架的关键点的坐标，确定原始样本图像中手部所在的区域。

具体地，在获取到原始样本图像中人体姿态骨架的关键点的坐标后，可以基于这些坐标，确定原始样本图像中手部所在的区域。

可选地，步骤102可以包括如下两个步骤。

步骤1021：确定原始图像中人体姿态骨架的关键点的坐标中，与手部范围有关的目标关键点。

可选地，对于截取手部范围有用的关键点包括手腕关节处的关键点以及所有手指关节处的关键点。因此，在步骤1021中，确定出的目标关键点可以包括：手腕关节处的关键点的坐标以及所有手指关节处的关键点的坐标。

步骤1022：根据目标关键点，确定原始图像中手部所在的区域。

步骤1022一种可能的实现方式为：确定目标关键点中x轴方向的第一最小坐标值与第一最大坐标值；确定目标关键点中y轴方向的第二最小坐标值与第二最大坐标值；将第一最小坐标值与第二最小坐标值组成第一坐标点，将第一最大坐标值与第二最大坐标值组成第二坐标点；基于第一坐标点与第二坐标点生成矩形框；将矩形框所在的区域，确定为原始图像中手部所在的区域。

图2为一种确定手部所在的区域的示意图。以下结合图2对步骤1022的实现过程进行详细描述。如图2所示，遍历所有目标关键点21找出坐标点集合中x轴映射的第一最小坐标值及第一最大坐标值，记为X

需要说明的是，步骤1021以及步骤1022中所涉及到的坐标所在的坐标系为图像坐标系。

步骤103：根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像。

具体地，在确定出原始样本图像中手部所在的区域，从原始样本图像中截图出该区域，形成后续训练模型用的样本图像。

请继续参照图2，在确定矩形框24后，根据矩形框24截取原始样本图像从而获取包含同一角色的双手手部范围图像。本实施例中的可以通过现有的图像截取算法进行截取。

可选地，为提高训练出的模型的泛用性，可以对截取出的手部图像进行数据增强处理后，形成样本图像。其中数据增强处理包括：随机旋转、随机镜像、随机调整亮度等操作，目的在于通过少量视频样本模拟出大量不同场景、角度的样本图像。

步骤104：根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型。

其中，目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。

具体地，本实施例中的样本图像的标准结果指的是该样本图像中洗手行为的正确的步骤分类。

本实施例中的目标图像指的是待检测的图像。目标图像中洗手行为的步骤分类指的是目标图像中的洗手行为属于七步洗手法中的哪个步骤。

在步骤104中，通过建立损失函数并进行反向传播算法不断迭代更新梯度，使得初始洗手行为检测模型预测分类结果与实际分类结果之间足够拟合，得到目标洗手行为检测模型。

步骤104的训练过程可以为：将样本图像输入初始洗手行为检测模型中进行训练，得到输出结果；根据输出结果以及对应的样本图像中的标注结果，确定损失参数；根据损失参数，对初始洗手行为检测模型进行反向传播更新，直至训练结束，将训练结束时的初始洗手行为检测模型，确定为目标洗手行为检测模型。本实施例中的损失参数可以为数值、矢量或者矩阵。更具体地，可以根据均方误差函数、相对熵误差函数或者交叉熵误差函数确定损失参数。

本实施例中的模型训练方法，通过人体姿态识别算法自动找出人体的手部范围，将手部图像作为样本图像进行模型训练，从而排除了包括洗手用户性别、身高、年龄、衣服以及外部场景变化所带来的对样本图像库规模的影响，极大的缩减了所需的样本数据量。同时，节省人工框选手部范围图像的工作量。所训练出的目标洗手行为检测模型在场景迁移后也无需进行二次网络调优，更加适合应用在实际的洗手识别软件系统中，通过姿态识别获取的左右手参数也能有效的分辨出同一洗手步骤中左右手位置的不同，在画面中双手重叠时也能根据整体骨骼姿态将双手位置检测出来，提高了检测的准确性。

图3为本发明实施例提供的一种目标洗手行为检测模型的结构示意图。如图3所示，本实施例训练出的目标洗手行为检测模型包括三层依次连接的卷积神经网络。其中，每层卷积神经网络包括依次连接的：卷积层、激活函数层以及池化层。

由于双手图像尺寸较小且不包含背景的冗余噪声信息，采用深度较浅的三层卷积神经网络即可。经测试，复杂度更高、更深的其他深度识别网络在处理手部范围图像时效果不如三层卷积神经网络。

本实施例提供一种模型训练方法，包括：获取拍摄的每个样本采集人员的三个角度的洗手视频，其中，三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与样本采集人员的右侧的摄像头的高度不同；对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；将洗手视频以及镜像处理后的洗手视频转换为图像，形成原始样本图像库；通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；根据原始样本图像中人体姿态骨架的关键点的坐标，确定原始样本图像中手部所在的区域；根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像；根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型，其中，目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。该模型训练方法中，一方面，通过镜像处理的方式可以获取到多个角度的洗手视频，能够在短时间内获得大量原始样本图像，实现高效，提高了模型训练的效率；另一方面，通过人体姿态识别算法，从原始样本图像中截取出手部图像，形成样本图像，从而排除了包括洗手用户性别、身高、年龄、衣服以及外部场景变化所带来的对样本图像库规模的影响，极大地缩减了所需的样本数据量，提高了模型训练的效率；再一方面，通过使用成熟的人体姿态识别算法确定出的原始样本图像中手部所在的区域，可以直接作为样本数据库的标注数据进行使用，节省了大量人工手动框选目标的工作量，提高了模型训练的效率；又一方面，基于该样本图像库训练出的目标洗手行为检测模型不需要二次调优，并且该模型对洗手行为的步骤分类的检测准确性较高。

图4为本发明实施例提供的一种洗手行为检测方法的流程示意图。本实施例适用于识别洗手行为步骤分类的场景中。本实施例可以由洗手行为检测装置来执行，该洗手行为检测装置可以由软件和/或硬件的方式实现，该洗手行为检测装置可以集成于计算机设备中。如图4所示，本实施例提供的洗手行为检测方法包括如下步骤：

步骤401：通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标。

本实施例中的目标图像可以为从拍摄的视频中截取出的图像。该视频可以为在医院及相关场所的洗手台旁，对检测人员的洗手过程进行拍摄形成的视频。本实施例提供的洗手行为检测方法可以对该视频中的图像进行检测，以检测洗手行为的步骤分类。

步骤402：根据目标图像中人体姿态骨架的关键点的坐标，确定目标图像中手部所在的区域。

步骤403：根据目标图像中手部所在的区域，从目标图像中截取出手部图像，形成待识别图像。

步骤401与步骤101、步骤402与步骤102、步骤403与步骤103中的实现过程和技术原理类似，此处不再赘述。

步骤404：将待识别图像输入至目标洗手行为检测模型，得到目标图像中洗手行为的步骤分类。

其中，目标洗手行为检测模型采用如图1所示实施例及各种可选的实现方式中的模型训练方法得到。

可选地，在目标洗手行为检测模型内部，可以得到待识别图像对应的七种洗手步骤的置信度，取置信度最高的步骤作为实际输出结果。

需要说明的是，如果得到的七种洗手步骤的置信度的和小于预设阈值，或者，七种洗手步骤的置信度均小于预设阈值，则说明该目标图像中的洗手行为不是标准的洗手步骤，可以输出提示信息，以提醒检测人员，即洗手人员规范洗手。

可选地，在步骤404之后，还包括如下步骤：根据同一个检测人员对应的多个目标图像中洗手行为的步骤分类，确定检测人员的洗手过程是否符合预设的洗手规范。其中，多个目标图像为按照时间顺序排列的图像。

示例性地，预设的洗手规范可以为七步洗手法。基于该方式，可以实现对检测人员的洗手过程是否完成了七步洗手法的规定进行检测。即，在实现检测洗手动作的步骤分类的基础上，对洗手过程进行监督，进一步加强对医务人员手卫生的管理。

本发明实施例提供一种洗手行为检测方法，包括：通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标；根据目标图像中人体姿态骨架的关键点的坐标，确定目标图像中手部所在的区域；根据目标图像中手部所在的区域，从目标图像中截取出手部图像，形成待识别图像；将待识别图像输入至目标洗手行为检测模型，得到目标图像中洗手行为的步骤分类。该洗手行为检测方法中，首先从目标图像中截取出手部图像，形成待识别图像，再基于预先训练处的目标洗手行为检测模型对待识别图像进行检测，检测的效率及准确性均较高，因此，基于该方法可以实现对医务人员手卫生的有效管理。

图5为本发明一个实施例提供的模型训练装置的结构示意图。如图5所示，本实施例提供的模型训练装置包括如下模块：第一获取模块51、第一确定模块52、第二确定模块53以及第三确定模块54。

第一获取模块51，用于通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标。

可选地，人体姿态识别算法为：OPENPOSE算法。

可选地，方法还包括：第二获取模块、镜像处理模块以及第四确定模块。

第二获取模块，用于获取拍摄的每个样本采集人员的三个角度的洗手视频。

其中，三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与样本采集人员的右侧的摄像头的高度不同。

镜像处理模块，用于对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频。

第四确定模块，用于将洗手视频以及镜像处理后的洗手视频转换为图像，形成原始样本图像库。

第一确定模块52，用于根据原始样本图像中人体姿态骨架的关键点的坐标，确定原始样本图像中手部所在的区域。

可选地，第一确定模块52具体用于：确定原始图像中人体姿态骨架的关键点的坐标中，与手部范围有关的目标关键点；根据目标关键点，确定原始图像中手部所在的区域。

在根据目标关键点，确定原始图像中手部所在的区域的方面，第一确定模块52具体用于：确定目标关键点中x轴方向的第一最小坐标值与第一最大坐标值；确定目标关键点中y轴方向的第二最小坐标值与第二最大坐标值；将第一最小坐标值与第二最小坐标值组成第一坐标点，将第一最大坐标值与第二最大坐标值组成第二坐标点；基于第一坐标点与第二坐标点生成矩形框；将矩形框所在的区域，确定为原始图像中手部所在的区域。

第二确定模块53，用于根据原始样本图像中手部所在的区域，从原始样本图像中截取出手部图像，形成样本图像。

第三确定模块54，用于根据样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型。

其中，目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。

可选地，目标洗手行为检测模型包括三层依次连接的卷积神经网络。其中，每层卷积神经网络包括依次连接的：卷积层、激活函数层以及池化层。

本发明实施例所提供的模型训练装置可执行本发明任意实施例所提供的模型训练方法，具备执行方法相应的功能模块和有益效果。

图6为本发明另一个实施例提供的洗手行为检测装置的结构示意图。如图6所示，本实施例提供的洗手行为检测装置包括如下模块：第三获取模块61、第五确定模块62、第六确定模块63以及第七确定模块64。

第三获取模块61，用于通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标。

第五确定模块62，用于根据目标图像中人体姿态骨架的关键点的坐标，确定目标图像中手部所在的区域。

第六确定模块63，用于根据目标图像中手部所在的区域，从目标图像中截取出手部图像，形成待识别图像。

第七确定模块64，用于将待识别图像输入至目标洗手行为检测模型，得到目标图像中洗手行为的步骤分类。

其中，目标洗手行为检测模型采用如图1所示实施例及各种可选的方式中的模型训练方法得到。

可选地，该装置还包括：第八确定模块，用于根据同一个检测人员对应的多个目标图像中洗手行为的步骤分类，确定检测人员的洗手过程是否符合预设的洗手规范。其中，多个目标图像为按照时间顺序排列的图像。

本发明实施例所提供的洗手行为检测装置可执行本发明任意实施例所提供的洗手行为检测方法，具备执行方法相应的功能模块和有益效果。

图7为本发明一个实施例提供的计算机设备的结构示意图。如图7所示，该计算机设备包括处理器70和存储器71。该计算机设备中处理器70的数量可以是一个或多个，图7中以一个处理器70为例；该计算机设备的处理器70和存储器71可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的模型训练方法对应的程序指令以及模块(例如，模型训练装置中的第一获取模块51、第一确定模块52、第二确定模块53以及第三确定模块54，或者，洗手行为检测装置中的第三获取模块61、第五确定模块62、第六确定模块63以及第七确定模块64)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及模型训练方法，即实现上述的模型训练方法或者洗手行为检测方法。

存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实施例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型训练方法，该方法包括：

获取拍摄的每个样本采集人员的三个角度的洗手视频；其中，所述三个角度为：样本采集人员的左侧、正面以及右侧，样本采集人员的左侧的摄像头的高度与所述样本采集人员的右侧的摄像头的高度不同；

对于每个样本采集人员，将对应的左侧的洗手视频进行镜像处理，以及，对应的右侧的洗手视频进行镜像处理，得到镜像处理后的洗手视频；

将所述洗手视频以及所述镜像处理后的洗手视频转换为图像，形成原始样本图像库；

通过人体姿态识别算法，获取原始样本图像库中的每张原始样本图像中人体姿态骨架的关键点的坐标；

根据所述原始样本图像中人体姿态骨架的关键点的坐标，确定所述原始样本图像中手部所在的区域；

根据所述原始样本图像中手部所在的区域，从所述原始样本图像中截取出手部图像，形成样本图像；

根据所述样本图像组成的样本图像库以及每个样本图像的标注结果，对初始洗手行为检测模型进行训练，得到目标洗手行为检测模型；其中，所述目标洗手行为检测模型用于检测目标图像中洗手行为的步骤分类。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的模型训练方法中的相关操作。

本发明还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种洗手行为检测方法，该方法包括：

通过人体姿态识别算法，获取目标图像中人体姿态骨架的关键点的坐标；

根据所述目标图像中人体姿态骨架的关键点的坐标，确定所述目标图像中手部所在的区域；

根据所述目标图像中手部所在的区域，从所述目标图像中截取出手部图像，形成待识别图像；

将所述待识别图像输入至目标洗手行为检测模型，得到所述目标图像中洗手行为的步骤分类；其中，所述目标洗手行为检测模型采用如图1所示实施例及可选的方式提供的所述的模型训练方法得到。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的洗手行为检测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，计算机设备，或者网络设备等)执行本发明各个实施例所述的模型训练方法。

值得注意的是，上述模型训练装置或者洗手行为检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。