一种疫情环境下的异常体温监控方法、装置及介质

摘要

本发明公开了一种疫情环境下的异常体温监控方法、装置及介质，方法为：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；采用人脸重建模型对体温异常的人脸图像修复得到修复完整的人脸图像；人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；生成对抗网络的训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；最终使用身份识别模型对修复完整的人脸图像进行身份识别。本发明的监控识别准确率高，可实现无接触、大范围和远距离的智能监控。

说明书

技术领域

本发明涉及行人目标检测与识别跟踪技术领域，具体是指一种疫情环境下的异常体温监控方法、装置及介质。

背景技术

在类似于当前新冠疫情的大范围流行疾病情况下，公共场合均需要对过往行人进行体温检测，通过通行码进行轨迹追踪。如果行人有遗漏区域没有扫码或体温测量，容易造成监测盲区。为减少人工测量，目前已有较多采用自动对过往行人进行体温测量，当出现体温异常时自动报警，但是这种监控方法仍存在诸多问题：在出现警报时仍然需要人工在小范围内进行二次排查，以分辨出准确的个体，以及进行人工监督登记和识别真实身份，不但浪费大量人力物力，极容易漏检异常体温的行人而且也不能自动对戴口罩的行人进行有效的身份识别及轨迹跟踪，不利于智慧化城市管理。因此，有必要开发一种疫情环境下的行人身份识别方法。

发明内容

本发明提供一种疫情环境下的异常体温监控方法、装置及介质，对异常体温人员进行监控的身份识别准确率高，可实现无接触、大范围和远距离的智能监控。

为实现上述技术目的，本发明采用如下技术方案：

一种疫情环境下的异常体温监控方法，包括以下步骤：

步骤1，对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；

步骤2，采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；

其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：

使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；

步骤3，使用身份识别模型对修复完整的人脸图像进行身份识别。

在更优的技术方案中，所述非完整的人脸图像是指戴口罩致使人脸被部分遮挡的人脸图像，真实完整的人脸图像是指未戴口罩无遮挡的人脸图像。

在更优的技术方案中，所述生成器基于编码器和解码器构建得到，且编码器即为生成器的特征提取层；所述判别器基于VGG16构建得到。

在更优的技术方案中，所述身份识别模型使用深度卷积神经网络作为分类模型，包括特征提取层、2层全连接层和softmax分类层；身份识别模型的特征提取层，复用生成对抗网络的判别器的特征提取层；

训练深度卷积神经网络模型得到身份识别模型的方法为：

在对生成对抗网络进行训练的同时，使用真实完整的人脸图像及其身份标签作为训练样本，对构建的深度卷积神经网络进行训练；

当训练得到人脸重建模型之后，再使用人脸重建模型对非完整的人脸图像进行规范化修复，以获取修复完整的人脸图像；同时，使用修复完整的人脸图像及其身份标签作为训练样本，真实完整的人脸图像及其身份标签也作为训练样本，一起继续对深度卷积神经网络进行训练，最终得到身份识别模型。

在更优的技术方案中，步骤1中获取人脸图像的方法为：首先获取预设区域的监控视频，截取体温测量异常时刻的监控图像；然后，采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测，并截取其中的人脸目标且调整至预设的尺寸，即得到人脸图像。

在更优的技术方案中，步骤3在识别得到体温异常的行人的身份后，再基于识别到的身份信息对该体温异常的行人进行轨迹跟踪和异常行为识别。

在更优的技术方案中，所述异常行为识别包括：无遮打喷嚏、身体不适引起的蹒跚行走。

在更优的技术方案中，所述轨迹跟踪具体包括：

(1) 截取检测到行人体温测量异常时的视频帧为

(2) 对视频帧

(3) 使用视频帧

(4) 截取视频帧

(5) 若行人特征

其中，

(6) 提取视频帧

一种疫情环境下的异常体温监控装置，用于实现上述任一所述的一种疫情环境下的异常体温监控方法，所述异常体温监控装置包括：

体温测量及人脸图像获取模块，用于：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；

人脸重建模块，用于：采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；

身份识别模块，用于：使用身份识别模型对修复完整的人脸图像进行身份识别。

一种计算机存储介质，用于存储程序，所述程序被执行时，用于上述任一技术方案所述的一种疫情环境下的异常体温监控方法。

本发明的有益效果为：采用生成对抗网络构建人脸重建模型，从而可用于对戴口罩有遮挡的非完整的人脸图像进行规范化修复，得到修复完整的人脸图像，从而用于对体温异常的行人进行身份识别以及进一步基于身份信息进行轨迹跟踪和异常行为识别。因此，本发明适用于对疫情环境下戴口罩有遮挡的非完整人脸进行身份识别，而且识别准确率高，实现无接触、大范围和远距离的智能监控，对监控区域内的行人实现行人身份-体温-运动轨迹-异常行为的一体化监控，对防疫抗疫具有一定的实用意义。

附图说明

图1为本发明实施例所述方法的流程图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。

本发明实施例提供一种疫情环境下的异常体温监控方法，旨在解决疫情环境下过往行人佩戴口罩导致对行人监控的身份识别不准确问题，如图1所示，具体包括以下步骤：

步骤1，对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；

当监测到体温异常时，触发从预设区域的监控视频中截取体温测量异常时刻的监控图像；然后采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测，并截取其中的人脸目标，将人脸目标调整至预设的尺寸，即得到体温异常行人的人脸图像。

具体的，采用多任务级联卷积神经网络对监控图像中的人脸目标进行检测的方法为：

（1）首先，将监控图像通过下采样进行压缩，得到不同尺度图像生成图像金字塔，以解决人脸目标的多尺度问题。图像金字塔的缩放公式如下：

式中，

（2）多任务级联卷积神经网络MTCNN由P网络、R网络、O网络共同组成。将得到的金字塔图像送入P-Net，P-Net是一个人脸区域的候选网络，该网络的输入一个12*12*3的图像，通过3层的卷积之后，判断这个12*12的图像中是否存在人脸，并利用非极大化抑制算法NMS校准边框，给出人脸框的回归和人脸关键点。

P-Net的模型输入为12*12*3大小的图片，通过10个3*3*3的卷积核，2*2 的MaxPooling（stride=2）操作，生成10个5*5的特征图。接着通过16个3*3*10的卷积核，生成16个3*3的特征图。接着通过32个3*3*16的卷积核，生成32个1*1的特征图。最后针对32个1*1的特征图，可以通过2个1*1*32的卷积核，生成2个1*1的特征图用于分类；4个1*1*32的卷积核，生成4个1*1的特征图用于回归框判断；10个1*1*32的卷积核，生成10个1*1的特征图用于人脸轮廓点的判断。

（3）在输入R-Net之前，将得到的人脸框大小resize到24*24*3，由于R-Net多了一个全连接层，所以会取得更好的抑制false-positive的作用。R-Net的输出与P-Net是相同的，R-Net的目的是为了去除大量的非人脸框。

R-Net模型输入为24*24*3大小的图片，通过28个3*3*3的卷积核和3*3（stride=2）的max pooling后生成28个11*11的特征图；通过48个3*3*28的卷积核和3*3（stride=2）的max pooling后生成48个4*4的特征图；通过64个2*2*48的卷积核后，生成64个3*3的特征图；把3*3*64的特征图转换为128大小的全连接层；对回归框分类问题转换为大小为2的全连接层；对bounding box的位置回归问题，转换为大小为4的全连接层；对人脸轮廓关键点转换为大小为10的全连接层。

（4）在输入O-Net之前，将得到的人脸框大小resize到48*48*3，由于O-Net比R-Net层有多了一层卷积层，所以处理的结果会更加精细。O-Net负责人脸关键点回归，最终得到人脸关键位置和关键点。

O-Net模型输入是一个48*48*3大小的图片，通过32个3*3*3的卷积核和3*3（stride=2）的max pooling后转换为32个23*23的特征图；通过64个3*3*32的卷积核和3*3（stride=2）的max pooling后转换为64个10*10的特征图；通过64个3*3*64的卷积核和3*3（stride=2）的max pooling后转换为64个4*4的特征图；通过128个2*2*64的卷积核转换为128个3*3的特征图；通过全链接操作转换为256大小的全链接层；最好生成大小为2的回归框分类特征；大小为4的回归框位置的回归特征；大小为10的人脸轮廓位置回归特征。

（5）将通过多任务级联卷积神经网络MTCNN得到的对齐人脸图像，最终校准统一将监控图像中的人脸目标调整至预设的尺寸128*128，即得到体温异常行人的人脸图像。

步骤2，采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器：生成器基于编码器和解码器构建得到，且编码器即为生成器的特征提取层；判别器基于VGG16构建得到。

本实施例针对在疫情期间由于口罩部分遮挡人脸，需要快速获取目标行人身份信息进行目标跟踪。但是口罩遮挡脸部，导致人脸图像不完整，直接使用该不完整的人脸图像进行身份识别，会严重影响身份识别的准确率。为提高口罩遮挡情况下的身份识别准确性，本实施例利用生成对抗网络将遮挡部分的人脸进行拟合复原，模拟出整张人脸，有利于提高口罩遮挡形成的非完整人脸图像进行身份识别的准确性。

具体的，生成对抗网络包括生成器和判别器，训练生成对抗网络以获取人脸重建模型的具体过程为：

（1）选择keras作为深度学习的框架搭建平台；

（2）采用基于卷积神经网络的编码器和解码器构建生成器，采用基于深度卷积神经网络的VGG16构建判别器；

（3）获取真实口罩遮挡人脸识别数据集（RMFRD）训练生成对抗网络，数据集中包括525人的5千张口罩人脸和9万张正常人脸，为便于理解区分，本实施例中将口罩人脸重定义为非完整的人脸图像，即戴口罩致使人脸被部分遮挡的人脸图像，将正常人脸重定义为真实完整的人脸图像，即未戴口罩无遮挡的人脸图像。

（4）使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡。其中，训练使用交叉熵损失函数，优化函数为Adam，训练的迭代次数设为50，每个batch包含的样本数为100。

（5）使用测试集对生成对抗网络进行验证。

此时生成对抗网络中的生成器即可作为人脸重建模型，用于对非完整的人脸图像（即戴口罩的人脸图像）进行规范化修复，输出得到修复完整的人脸图像。

本实施例中，生成器中的编码器的具体搭建步骤如下：

（1）将口罩遮挡图像输入第一层卷积层，该层包含64个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。

（2）第一层输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.

（3）将（1）（2）操作重复一次。

（4）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。

（5）将池化后特征图连接至第三个卷积层，该层包含128个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。

（6）输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.

（7）将（5）（6）操作重复一次。

（8）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。

（9）将池化后特征图连接至第五个卷积层，该层包含256个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。

（10）输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.

（11）将（9）（10）操作重复三次。

（12）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。

（13）将池化后特征图连接至第九个卷积层，该层包含512个卷积核，每个卷积核的大小为3*3步长为1，对遮挡图像进行卷积操作并获得特征图。

（14）输出层后面紧接着一个batch normalization归一化层和Activation激活层，激活函数是Relu.

（15）将（13）（14）操作重复一次。

（16）将卷积层输出的特征图连接至MaxPooling最大池化层，竖直和水平方向上的下采样因子分别取（2，2），获得池化后特征图。

（17）将池化特征图经过Flatten扁平层，将多维输入转换为一维特征向量。

（18）然后连接Dense全连接层，输出节点为1024个，编码器将输入压缩成潜在空间表征，得到人脸特征。

生成器中的解码器，与编码器互为逆过程，不同在于：编码器中是下采样，解码器是上采样。最终解码器输出一张拟合的人脸图像。

步骤3，使用身份识别模型对修复完整的人脸图像进行身份识别。

所述身份识别模型使用深度卷积神经网络作为分类模型，包括特征提取层、2层全连接层和softmax分类层。由于判别器的特征提取层（包括卷积层与池化层过程）用于将输入的人脸图像中包括的特征提取出来，而身份识别模型的特征提取层需要针对输入的人脸图像进行特征提取，因此作用相同，从而身份识别模型的特征提取层可以复用生成对抗网络的生成器的特征提取层。

其中，训练深度卷积神经网络模型得到身份识别模型的方法为：

在对生成对抗网络进行训练的同时，使用真实完整的人脸图像及其身份标签作为训练样本，对构建的深度卷积神经网络进行训练；

当训练得到人脸重建模型之后，再使用人脸重建模型对非完整的人脸图像进行规范化修复，以获取修复完整的人脸图像；同时，使用修复完整的人脸图像及其身份标签作为训练样本，真实完整的人脸图像及其身份标签也作为训练样本，一起继续对深度卷积神经网络进行训练，最终得到身份识别模型。

训练得到的身份识别模型，即可用于对步骤2输出的修复完整的人脸图像进行身份识别，同时也可对真实完整的人脸图像进行身份识别，并将识别到的身份信息以及体温数据上传至监控数据库。

步骤4，基于识别到的身份信息对该体温异常的行人进行轨迹跟踪和异常行为识别。最终可以实现对监控区域内的疑似病人进行精确跟踪，为防疫提供数据支撑。

其中，所述异常行为识别包括：无遮打喷嚏、身体不适引起的蹒跚行走。

轨迹跟踪具体包括：

(1) 截取检测到行人体温测量异常时的视频帧为

(2) 对视频帧

(3) 使用视频帧

其中，变换预测矩阵

设行人特征

令

跟踪误差可以用下式表示：

(4) 截取视频帧

(5) 若行人特征

其中，

(6) 提取视频帧

现有技术中采用逐步搜索方法进行特征匹配来完成目标轨迹跟踪，由于计算量大而需要大量时间，无法做到实时跟踪，在疫情环境下发现可能感染的目标的过程就是与时间赛跑，因此本发明实施例采用惯性预测方法，即根据前几帧行人的运动方向和速度，预测目标的可能方向，具体通过计算最近已知的行人特征之间的预测转换矩阵，对下一视频帧中的行人特征进行预测，得到行人较大可能的移动方向，进一步通过条件判断完成轨迹跟踪。因此本发明实施例对行人轨迹的跟踪方案，通过预测判断，可以大量缩短轨迹跟踪的时间，从而做到实时跟踪。

本发明还提供一种疫情环境下的异常体温监控装置，用于实现上述实施例中所述的一种疫情环境下的异常体温监控方法，所述异常体温监控装置包括：

体温测量及人脸图像获取模块，用于：对预设区域的过往行人进行体温测量，若体温测量异常则获取其人脸图像；

人脸重建模块，用于：采用人脸重建模型对体温异常的人脸图像进行规范化修复，得到修复完整的人脸图像；其中，所述人脸重建模型采用生成对抗网络通过训练达到平衡时的生成器构成；所述生成对抗网络包括生成器和判别器，训练方法为：使用非完整的人脸图像作为生成器的输入数据，使用真实完整的人脸图像和生成器输出的人脸图像作为判别器的输入数据，对生成器和判别器进行对抗训练；当判别器无法分辨输入的人脸图像是真实完整的人脸图像还是生成器输出的人脸图像时，生成对抗网络达到平衡；

身份识别模块，用于：使用身份识别模型对修复完整的人脸图像进行身份识别。

本发明还提供一种计算机存储介质，用于存储程序，所述程序被执行时，用于实现上述实施例所述的一种疫情环境下的异常体温监控方法。

以上实施例为本申请的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本申请总的构思的前提下，这些变换或改进都应当属于本申请要求保护的范围之内。