用于人体检验检疫系统避免重复报警的方法、装置、设备

摘要

本发明公开了一种用于人体检验检疫系统避免重复报警的方法、装置、设备，其中方法包括如下步骤：获取人体的红外视频图像数据和可见光视频图像数据，并利用红外热成像测温方法监测红外视频图像数据中的发热人员，当监测到有发热人员时，利用红外图像与可见光图像的匹配关系，检测得到可见光视频图像中发热人员的人脸图像区域，并判断该人脸图像区域是否正在被跟踪；若该人脸图像区域没有被跟踪，则对该人脸图像区域截图、保存，并报警，同时对该人脸图像区域进行跟踪；若该人脸图像区域正在被跟踪，则不进行报警。其避免人体检验检疫系统对于同一个报警人员的重复报警。

说明书

技术领域

本发明涉及应用于红外热成像测温领域的智能检测技术领域，具体涉及一种用于人体检验检疫系统避免重复报警的方法、装置、设备。

背景技术

红外人体检验检疫系统应用于出入境口岸，人员处于行走状态，但是面部姿态变化多样，低头、仰头、扭头等角度各不相同；当监测到发热旅客时，系统报警，如果行人在红外人体检验检疫系统的双光成像模组的视场内由远及近出现多次，就会产生多次报警。现有技术是通过时间控制方法减少重复报警，例如每1秒报警1次；如果一个发热人员在场景中逗留时间过长，还是会重复报警；而且如果间隔期间有发热人员，可能会产生漏检情况。如果用人脸识别，然后进行匹配，判断是否是同一个人的方法，会因为人的面部姿态、朝向变化产生误判。

为了减少重复报警，传统方法采用报警时间间隔，例如每秒钟报警一次的办法减少重复报警，但是当报警人员的人脸处于视频场景中出现时间过长时，还是会重复报警；特别是人头部扭动，脸部的拍摄角度变化较大时，更容易被当作2个不同的人重复报警，增加了不必要的工作量。

发明内容

本发明的目的在于针对现有技术的不足，提供一种用于人体检验检疫系统避免重复报警的方法、装置、设备，其避免人体检验检疫系统对于同一个报警人员的重复报警。

本发明的目的是这样实现的：本发明提供了一种用于人体检验检疫系统避免重复报警的方法，包括如下步骤：

1)获取人体的红外视频图像数据和可见光视频图像数据，并利用红外热成像测温方法监测红外视频图像数据中的发热人员，当监测到有发热人员时，执行步骤2),否则，继续执行步骤1)；

2)利用红外图像与可见光图像的匹配关系，检测得到可见光视频图像中发热人员的人脸图像区域，并判断该人脸图像区域是否正在被跟踪；

21)若该人脸图像区域没有被跟踪，则对该人脸图像区域截图、保存，并报警，同时开始对该人脸图像区域进行跟踪；

22)若该人脸图像区域正在被跟踪，则不进行报警。

进一步地，若步骤2)判断出该人脸图像区域正在被跟踪，则对该人脸图像区域截图，并将当前截取的人脸图像区域截图与已经保存的人脸图像区域截图进行清晰度比较，保存最清晰的人脸图像区域截图。

本发明的跟踪目标特征采用人脸，旅客行走方向是单向的，从远处沿通道由远及近，始终面向镜头方向。

进一步地，在对人脸图像区域跟踪过程中，不断对人脸图像区域截图，将当前截取的人脸图像区域截图与已经保存的人脸图像区域截图进行清晰度比较，如果当前截取的人脸图像区域比已经保存的人脸图像区域更清晰，则用更清晰的人脸图像区域截图替换已经保存的人脸图像区域截图，否则丢弃当前截取的人脸图像区域截图。

进一步地，提取该人脸图像区域的特征，对该人脸图像区域进行跟踪包括利用跟踪算法将该人脸图像区域作为连续图像视频中的一个目标进行跟踪，直至目标移动从视场中消失。连续图像视频是指可见光图像，视频是每秒25帧的连续图像，同一个人脸区域从进入视场到出视场，每一帧图像上都应该有该目标，跟踪算法就是实现对同一个目标在连续图像中的位置进行记录。

进一步地，判断该人脸图像区域是否正在被跟踪包括判断该人脸图像区域与正在跟踪的人脸图像区域是否为同一个目标，如果该人脸图像区域与正在跟踪的人脸图像区域为同一个目标，则认为该人脸图像区域正在被跟踪。

进一步地，利用红外图像与可见光图像的匹配关系，对可见光图像上的发热人员进行标记并显示，给各个正在跟踪的人脸图像区域进行编号，用于区别正在跟踪的人脸图像区域中的所有目标。

开始对该人脸图像区域进行跟踪时给各个跟踪的人脸图像区域编号即对正在跟踪的人脸图像区域进行标记，如果只有1个人脸，那么该目标的编号就是NO.1；如果在跟踪过程中又一个新的发热人脸目标被检测到，并被跟踪，那么该目标就是NO.2；依此类推；如果NO.1目标消失，当又一个新的人脸目标被检测并开始跟踪，可以再重新使用编号NO.1；始终能够区别正在显示图像中的所有目标。跟踪算法可分为3类，基于特征跟踪的方法是经典有效的类型，举例说明，可以提取目标区域的颜色直方图作为特征，可以提取目标的轮廓特征，可以提取目标的纹理特征、组合多种特征的跟踪方法等。

进一步地，利用红外热成像测温方法监测红外视频图像数据中的发热人员包括利用红外热成像测温方法监测人体的温度，并将监测的人体温度与设定的人体发热阈值进行比较，当监测的人体温度大于或等于人体发热阈值时，则确定该人员为发热人员。

本发明提供了一种用于人体检验检疫系统避免重复报警的装置，包括红外视频图像数据获取模块、可见光视频图像数据获取模块、红外热成像测温模块、跟踪模块、匹配模块、人脸图像区域截图模块、报警模块，

所述红外视频图像数据获取模块用于获取人体的红外视频图像数据；

所述可见光视频图像数据获取模块用于获取人体的可见光视频图像数据；

所述红外热成像测温模块用于监测红外视频图像数据中的发热人员；

所述跟踪模块用于提取发热人员的人脸图像区域的特征，对发热人员的人脸图像区域进行跟踪；

所述匹配模块用于利用红外图像与可见光图像的匹配关系，确定可见光视频图像中发热人员的人脸图像区域，并判断发热人员的人脸图像区域是否正在被跟踪；

所述人脸图像区域截图模块用于对发热人员的人脸图像区域截图、保存；

所述报警模块用于在对发热人员开始进行跟踪时发出报警提示。

本发明的用于人体检验检疫系统避免重复报警的装置还包括清晰度比较模块，所述清晰度比较模块用于在对人脸图像区域跟踪过程中不断对发热人员的人脸图像区域截图，并将当前截取的人脸图像区域截图与已经保存的人脸图像区域截图进行清晰度比较，保存较清晰的人脸图像区域截图。

本发明还提供了一种用于人体检验检疫系统避免重复报警的设备，包括存储器，用于存储程序；

以及处理器，所述处理器用于执行所述程序时实现上述用于人体检验检疫系统避免重复报警的方法的步骤。

本发明的有益效果为：本发明当监测到有发热人员时，利用红外图像与可见光图像的匹配关系，检测得到可见光视频图像中发热人员的人脸图像区域，并判断该人脸图像区域是否正在被跟踪；若该人脸图像区域没有被跟踪，则对该人脸图像区域截图、保存，并报警，同时提取该人脸图像区域的特征，对该人脸图像区域进行跟踪；若该人脸图像区域正在被跟踪，则不进行报警。本发明能够对每一个发热人员进行跟踪，避免同一个人不同面部姿态当成不同人进行检测和报警；避免同一个发热人员的重复报警，即使当前发热人员长期处于图像视场内，也不会重复报警；避免了延长两次报警的间隔时间的办法，避免了漏检。

数据库存储报警数据，每个报警人员一组数据，包括整图，报警人员截图，报警温度、报警时间等信息；如果每天报警人数较多，就会占用较大内存资源，重复报警又是额外占用资源的无效行为，所以，采用本发明避免重复报警可以节约不必要的资源占用，减少了数据库的存储压力，节省了内存资源；

如果报警数据传到云端服务器保存，用于后期查询，需要一定的网络带宽，如果重复报警，需要额外占用网络带宽传输无效数据，采用本发明减少了网络传输报警数据到服务器的带宽压力。

本发明采用对报警人员的面部跟踪的方法，进行判断是否重复报警，并在跟踪过程中，不断截取报警人员的可见光图像区域，对报警人员的图像清晰度进行判断，保存最清晰的截图，可以人脸图像区域截图保存到计算机本地数据库，用于查询；还可以将人脸图像区域的截图上传到云端服务器用于人脸识别或旅客身份信息确认。

附图说明

图1为本发明的用于人体检验检疫系统避免重复报警的方法的流程图。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

参见图1，本实施例提供了一种用于人体检验检疫系统避免重复报警的方法，包括如下步骤：

1)获取人体的红外视频图像数据和可见光视频图像数据，并利用红外热成像测温方法监测红外视频图像数据中的发热人员，当监测到有发热人员时，执行步骤2),否则，继续执行步骤1)；

2)利用红外图像与可见光图像的匹配关系，检测得到可见光视频图像中发热人员的人脸图像区域，并判断该人脸图像区域是否正在被跟踪；

21)若该人脸图像区域没有被跟踪，则对该人脸图像区域截图、保存，并报警，同时提取该人脸图像区域的特征，利用跟踪算法跟踪报警目标到从成像场景中消失；

22)若该人脸图像区域正在被跟踪，则不进行报警。

检测人脸采用现有技术，可以通过深度学习算法实现，如可以参考专利(201810416321.8；201810722036.9)。深度学习算法实现人脸检测功能，定位出人脸在图像中的坐标区域；该算法具有很强的健壮性，对不同角度、不同肤色的人脸都能准确检测。

可见光与红外图像的匹配算法是现有技术。具体步骤是：(1)检测特征点；(2)筛选特征点；(3)计算畸变仿射矩阵；(4)利用仿射矩阵变换图像，与基准图像匹配。也可手动选择至少3组特征点，每组特征点包括可见光图像的像素坐标(x_vl,y_vl)与红外图像的像素坐标(x_ir,y_ir)。

检验检疫系统的目标跟踪算法是对固定场景中的运动目标进行跟踪，以上一帧图像的检测结果或跟踪结果作为初始目标，当前帧中选择与初始目标匹配的区域作为跟踪结果，匹配一般就是利用目标特征进行匹配的，目标的图像特征是目标的固有属性，用于区别其他物体的判断依据，这些都是现有技术，不限制使用哪种跟踪算法。本发明要保护的是利用跟踪算法记录已经报过警的目标，然后与新检测到发热目标进行匹配(匹配包括特征点匹配、结构相似性匹配、PCA匹配等各种算法，这里也不限制具体方法)，判断是否为同一个目标。本实施例是利用开源库OpenCV中的跟踪算法。

进一步地，若步骤2)判断出该人脸图像区域正在被跟踪，则对该人脸图像区域截图，并将当前截取的人脸图像区域截图与已经保存的人脸图像区域截图进行清晰度比较，保存最清晰的人脸图像区域截图。人脸图像区域截图保存到计算机本地数据库，用于查询；还可以将人脸图像区域截图上传到云端服务器用于人脸识别或旅客身份信息确认。在对人脸图像区域跟踪过程中，不断对人脸图像区域截图，将当前截取的人脸图像区域截图与已经保存的人脸图像区域截图进行清晰度比较，如果当前截取的人脸图像区域比已经保存的人脸图像区域更清晰，则用更清晰的人脸图像区域截图替换已经保存的人脸图像区域截图，否则丢弃当前截取的人脸图像区域截图。

清晰度比较方法是利用面部5官的完整性、分布面积来判断。清晰度比较方法包括(1)利用SSIM算法分别从亮度、对比度、结构这3个方面计算对应指数。计算平均灰度作为亮度参数；计算标准差作为对比度参数；图像被自己的标准差相处得到结构参数；方法(2)根据选择正面人脸像预存作为参考标准；计算当前检测目标与参考图像的相似程度，相似度越高认为越清晰。

进一步地，提取该人脸图像区域的特征，对该人脸图像区域进行跟踪包括利用跟踪算法将该人脸图像区域作为连续图像视频中的一个目标进行跟踪，直至目标移动从视场中消失。

进一步地，判断该人脸图像区域是否正在被跟踪包括判断该人脸图像区域与正在跟踪的人脸图像区域是否为同一个目标，如果该人脸图像区域与正在跟踪的人脸图像区域为同一个目标，则认为该人脸图像区域正在被跟踪。

进一步地，利用红外与可见光图像的匹配关系，将光标等标记符号实时显示在可见光视频图像上，给各个正在跟踪的人脸图像区域进行编号，用于区别正在跟踪的人脸图像区域中的所有目标，引导工作人员拦截。

每发生一次发热报警，都会对报警人员进行跟踪，这是将该旅客的面部作为连续图像视频中的一个目标进行跟踪，直至目标移动从视场中消失，该目标有个编号，如果第二次检测到发热旅客时，该旅客的面部区域与正在跟踪的目标区域重叠，即认为该目标已经报警过一次。每一次检测到发热人员后都要判断是否报过警了，如果已经报警过，可以将第二次报警目标的截图与第一次目标报警截图(或跟踪过程中最清晰的目标截图)进行面部图像清晰度对比，选择最清晰、正面的图像保存。如果没有报过警，则是该旅客第一次报警，直接将面部截图保存，并发出报警信号(声音、弹窗等形式)，提醒工作人员拦截发热旅客，进入排查室排查。

进一步地，利用红外热成像测温方法监测红外视频图像数据中的发热人员包括利用红外热成像测温方法监测人体的温度，并将监测的人体温度与设定的人体发热阈值进行比较，当监测的人体温度大于或等于人体发热阈值时，则确定该人员为发热人员。

实施例二

本实施例提供了一种用于人体检验检疫系统避免重复报警的装置，包括红外视频图像数据获取模块、可见光视频图像数据获取模块、红外热成像测温模块、跟踪模块、匹配模块、人脸图像区域截图模块、报警模块，

所述红外视频图像数据获取模块用于获取人体的红外视频图像数据；

所述可见光视频图像数据获取模块用于获取人体的可见光视频图像数据；

所述红外热成像测温模块用于监测红外视频图像数据中的发热人员；

所述跟踪模块用于提取发热人员的人脸图像区域的特征，对发热人员的人脸图像区域进行跟踪；

所述匹配模块用于利用红外图像与可见光图像的匹配关系，确定可见光视频图像中发热人员的人脸图像区域，并判断发热人员的人脸图像区域是否正在被跟踪；

所述人脸图像区域截图模块用于对发热人员的人脸图像区域截图、保存；

所述报警模块用于在对发热人员开始进行跟踪时发出报警提示。

本发明的用于人体检验检疫系统避免重复报警的装置还包括清晰度比较模块，所述清晰度比较模块用于在对人脸图像区域跟踪过程中不断对发热人员的人脸图像区域截图，并将当前截取的人脸图像区域截图与已经保存的人脸图像区域截图进行清晰度比较，保存较清晰的人脸图像区域截图。

实施例三

本实施例提供了一种用于人体检验检疫系统避免重复报警的设备，包括存储器，用于存储程序；

以及处理器，所述处理器用于执行所述程序时实现上述用于人体检验检疫系统避免重复报警的方法的步骤。

本发明在红外人体检验检疫系统中为了避免测温重复报警，采用对报警人员的面部跟踪的方法，进行判断是否重复报警，并对报警人员的图像清晰度进行判断，保存最清晰的截图。

本发明不仅仅局限于上述实施例，在不背离本发明技术方案原则精神的情况下进行些许改动的技术方案，应落入本发明的保护范围。