一种佩戴医用口罩人脸识别方法

摘要

本发明涉及一种佩戴医用口罩人脸识别方法，属于图像识别技术领域，能够提取出人脸鼻梁及人脸轮廓，再以标准医用口罩数据样本为模板，调整合成与人脸匹配的佩戴口罩人脸图像，并放入到数据库中。能够将待识别人脸图像送入网络，获得人脸特征向量，再与数据库进行分析比对，获得人脸识别结果。无需手动构建佩戴医用口罩的人脸数据库，只需构建未佩戴口罩人脸数据库，便可根据提取的人脸鼻梁和人脸轮廓，配合数据库中的少量标准医用口罩数据，合成调整与人脸匹配的新医用口罩，再与人脸融合后，构建出佩戴了医用口罩的人脸数据库,供后续人脸识别使用。

说明书

技术领域

本发明属于图像识别技术领域，具体涉及一种佩戴医用口罩人脸识别方法。

背景技术

对于那些存在感冒症状的人群来说，坚持戴口罩的确很有必要。在这种情况下，需要有效的戴口罩人脸识别系统来检查人们是否正确佩戴医用口罩。为了完成这项任务，需要一种能够检测出是否佩戴有医用口罩的人脸识别方法，以区分佩戴医用口罩和未佩戴医用口罩的人。然而，识别佩戴医用口罩的人脸，需要使用佩戴医用口罩的人脸数据库进行比对，但大多数人脸识别系统均未构建佩戴医用口罩的人脸数据库，若重新构建佩戴医用口罩的人脸数据库，则将花费大量额外的资源和成本，目前急需攻克在缺失佩戴医用口罩的人脸数据库场景下，仅采用现有的未佩戴医用口罩的人脸数据库，进行佩戴有医用口罩的人脸识别的难题，从而帮助检测分析人脸是否有佩戴医用口罩等行为。

因此，现阶段需设计一种佩戴医用口罩人脸识别方法，来解决以上问题。

发明内容

本发明目的在于提供一种佩戴医用口罩人脸识别方法，用于解决上述现有技术中存在的技术问题，如：无需手动构建佩戴医用口罩的人脸数据库，只需构建未佩戴口罩人脸数据库，便可根据提取的人脸鼻梁和人脸轮廓，配合数据库中的少量标准医用口罩数据，合成调整与人脸匹配的新医用口罩，再与人脸融合后，构建出佩戴了医用口罩的人脸数据库,供后续人脸识别使用。

为实现上述目的，本发明的技术方案是：

一种佩戴医用口罩人脸识别方法，包括以下步骤：

步骤S1：遍历数据库中的未佩戴口罩人脸图像是否存在与之对应的佩戴口罩人脸图像，若每张未佩戴口罩人脸图像都有一一对应的佩戴口罩人脸图像，则直接进行步骤S12，否则，进行步骤S2；

步骤S2：将步骤S1中不存在相对应佩戴口罩人脸图像的未佩戴口罩人脸图像取出，并输出；即，输出特定条件的未佩戴医用口罩人脸图像，特定条件为此未佩戴医用口罩的人脸图像在数据库中没有与之对应的佩戴口罩人脸图像；

步骤S3：将步骤S2输出的图像输入到关键点提取模型，提取出人脸关键点；即，以机器学习中 GBDT为基础的ERT提取图像中的人脸关键点，输入图像是步骤S2中的未佩戴口罩人脸图像；

步骤S4：根据步骤S3的人脸关键点计算出鼻梁中心点、脸轮廓左点、脸轮廓右点和脸轮廓底点的准确位置，由鼻梁中心点和脸轮廓底点确定人脸中心线；

步骤S5：将标准医用口罩图像模板平均分为左口罩和右口罩两个部分；其中，标准医用口罩图像模板仅含有医用口罩，不含人脸；

步骤S6：计算出脸轮廓左点到人脸中心线的距离宽度，根据此宽度调整左口罩的形状大小；

步骤S7：计算出脸轮廓右点到人脸中心线的距离宽度，根据此宽度调整右口罩的形状大小；

步骤S8：将左口罩和右口罩进行适配合并，形成新的医用口罩；

步骤S9：计算出人脸中心线与二维直角坐标系y轴夹角，根据计算出的夹角将步骤S8中新的医用口罩进行角度矫正；

步骤S10：将S9中新的医用口罩图像与未佩戴口罩人脸图像融合，得到合成匹配的佩戴口罩人脸图像；

步骤S11：将步骤S10中融合生成的佩戴口罩人脸图像对应地放入到数据库中；

步骤S12：从监控系统中获取视频数据并截取待识别人脸图像，并输出；

步骤S13：将步骤S12输出的图像输入到人脸检测模型，检测出待识别图像上的人脸box边框和人脸类别；其中，人脸检测结果的人脸类别包括未佩戴口罩和佩戴口罩的两种人脸分类，人脸box边框包含有人脸在图像中的位置信息；

步骤S14：根据步骤S13输出的人脸box边框，裁剪出图像中的人脸；

步骤S15：将步骤S14裁剪的人脸送入ResNet-34网络，网络输出128维人脸特征向量；

步骤S16：根据步骤S13输出的人脸类别，分情况比对分析；具体为，若步骤S13输出的人脸类别为佩戴口罩，则将S15输出的人脸特征向量与数据库中佩戴口罩人脸图像的特征向量进行比对分析，检查该人脸是否存在数据库中，若步骤S13输出的人脸类别为未佩戴口罩，则将S15输出的人脸特征向量与数据库中未佩戴口罩人脸图像的特征向量进行比对分析，检查该人脸是否存在数据库中。

进一步的，步骤S10中，新的医用口罩图像与未佩戴口罩人脸图像融合后，提取融合后图像的特征点，记为融合特征点，包括但不限于：口罩上沿顶点与眼睛之间的垂直距离、口罩上沿顶点与眉毛之间的垂直距离、口罩相对于眼睛和耳朵的位置。

进一步的，当S15输出的人脸特征向量与数据库中佩戴口罩人脸图像的特征向量进行比对分析，且该人脸存在数据库中时，继续判断S15输出的人脸特征向量是否满足所述融合特征点，若满足，则判定佩戴口罩人脸图像识别正常，否则，判定佩戴口罩人脸图像识别异常。

进一步的，当判定佩戴口罩人脸图像识别异常时，判断融合后图像中口罩是否存在拉伸不足的情况。

一种佩戴医用口罩人脸识别系统，应用于如上述的一种佩戴医用口罩人脸识别方法。

与现有技术相比，本发明所具有的有益效果为：

数据库中存在未佩戴口罩人脸图像，但缺乏佩戴口罩人脸图像场景下，该方法能够提取出人脸鼻梁及人脸轮廓，再以标准医用口罩数据样本为模板，调整合成与人脸匹配的佩戴口罩人脸图像，并放入到数据库中。数据库中所有人脸图像都存在未佩戴口罩人脸图像和佩戴口罩人脸图像时，该方法能够将待识别人脸图像送入网络，获得人脸特征向量，再与数据库进行分析比对，获得人脸识别结果。无需手动构建佩戴医用口罩的人脸数据库，只需构建未佩戴口罩人脸数据库，便可根据提取的人脸鼻梁和人脸轮廓，配合数据库中的少量标准医用口罩数据，合成调整与人脸匹配的新医用口罩，再与人脸融合后，构建出佩戴了医用口罩的人脸数据库,供后续人脸识别使用。

附图说明

图1是本发明具体实施方式的算法总体示意图。

具体实施方式

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。

如图1所示，提出一种佩戴医用口罩人脸识别方法，包括以下步骤：

步骤S1：遍历数据库中的未佩戴口罩人脸图像是否存在与之对应的佩戴口罩人脸图像，若每张未佩戴口罩人脸图像都有一一对应的佩戴口罩人脸图像，则直接进行步骤S12，否则，进行步骤S2；

步骤S2：将步骤S1中不存在相对应佩戴口罩人脸图像的未佩戴口罩人脸图像取出，并输出；即，输出特定条件的未佩戴医用口罩人脸图像，特定条件为此未佩戴医用口罩的人脸图像在数据库中没有与之对应的佩戴口罩人脸图像；

步骤S3：将步骤S2输出的图像输入到关键点提取模型，提取出人脸关键点；即，以机器学习中 GBDT(Gradient Boosting Decision Tree, 梯度提升决策树)为基础的ERT(Ensemble of Regression Trees , 级联回归器)提取图像中的人脸关键点，输入图像是步骤S2中的未佩戴口罩人脸图像；

步骤S4：根据步骤S3的人脸关键点计算出鼻梁中心点、脸轮廓左点、脸轮廓右点和脸轮廓底点的准确位置，由鼻梁中心点和脸轮廓底点确定人脸中心线；

步骤S5：将标准医用口罩图像模板平均分为左口罩和右口罩两个部分；其中，标准医用口罩图像模板仅含有医用口罩，不含人脸；

步骤S6：计算出脸轮廓左点到人脸中心线的距离宽度，根据此宽度调整左口罩的形状大小；

步骤S7：计算出脸轮廓右点到人脸中心线的距离宽度，根据此宽度调整右口罩的形状大小；

步骤S8：将左口罩和右口罩进行适配合并，形成新的医用口罩；

步骤S9：计算出人脸中心线与二维直角坐标系y轴夹角，根据计算出的夹角将步骤S8中新的医用口罩进行角度矫正；

步骤S10：将S9中新的医用口罩图像与未佩戴口罩人脸图像融合，得到合成匹配的佩戴口罩人脸图像；

步骤S11：将步骤S10中融合生成的佩戴口罩人脸图像对应地放入到数据库中；

步骤S12：从监控系统中获取视频数据并截取待识别人脸图像，并输出；

步骤S13：将步骤S12输出的图像输入到人脸检测模型，检测出待识别图像上的人脸box边框和人脸类别；其中，人脸检测结果的人脸类别包括未佩戴口罩和佩戴口罩的两种人脸分类，人脸box边框包含有人脸在图像中的位置信息；

步骤S14：根据步骤S13输出的人脸box边框，裁剪出图像中的人脸；

步骤S15：将步骤S14裁剪的人脸送入ResNet-34网络，网络输出128维人脸特征向量；

步骤S16：根据步骤S13输出的人脸类别，分情况比对分析；具体为，若步骤S13输出的人脸类别为佩戴口罩，则将S15输出的人脸特征向量与数据库中佩戴口罩人脸图像的特征向量进行比对分析，检查该人脸是否存在数据库中，若步骤S13输出的人脸类别为未佩戴口罩，则将S15输出的人脸特征向量与数据库中未佩戴口罩人脸图像的特征向量进行比对分析，检查该人脸是否存在数据库中。

上述方案中，数据库中存在未佩戴口罩人脸图像，但缺乏佩戴口罩人脸图像场景下，该方法能够提取出人脸鼻梁及人脸轮廓，再以标准医用口罩数据样本为模板，调整合成与人脸匹配的佩戴口罩人脸图像，并放入到数据库中。数据库中所有人脸图像都存在未佩戴口罩人脸图像和佩戴口罩人脸图像时，该方法能够将待识别人脸图像送入网络，获得人脸特征向量，再与数据库进行分析比对，获得人脸识别结果。无需手动构建佩戴医用口罩的人脸数据库，只需构建未佩戴口罩人脸数据库，便可根据提取的人脸鼻梁和人脸轮廓，配合数据库中的少量标准医用口罩数据，合成调整与人脸匹配的新医用口罩，再与人脸融合后，构建出佩戴了医用口罩的人脸数据库,供后续人脸识别使用。

进一步的，步骤S10中，新的医用口罩图像与未佩戴口罩人脸图像融合后，提取融合后图像的特征点，记为融合特征点，包括但不限于：口罩上沿顶点与眼睛之间的垂直距离、口罩上沿顶点与眉毛之间的垂直距离、口罩相对于眼睛和耳朵的位置。

进一步的，当S15输出的人脸特征向量与数据库中佩戴口罩人脸图像的特征向量进行比对分析，且该人脸存在数据库中时，继续判断S15输出的人脸特征向量是否满足所述融合特征点，若满足，则判定佩戴口罩人脸图像识别正常，否则，判定佩戴口罩人脸图像识别异常。

上述方案中，通过融合特征点可对佩戴口罩人脸图像识别进行检验性判断。

进一步的，当判定佩戴口罩人脸图像识别异常时，判断融合后图像中口罩是否存在拉伸不足的情况。

一种佩戴医用口罩人脸识别系统，应用于如上述的一种佩戴医用口罩人脸识别方法。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。