一种自动取款机使用者人脸可见性判断系统及方法

摘要

一种自动取款机使用者人脸可见性判断系统及方法，该系统包括安装在自动取款机屏幕上方向外拍摄人脸的摄像头，安装在自动取款机顶部向下拍摄ATM入口的摄像头，安装在自动取款机壳体内的分析模块，以及通过网络与分析模块连接的监控中心。该方法利用基于图像轮廓结构对比和像素区域对比的方法判定是否有人进入自动取款机；当判定有人使用自动取款机时使用级联式AdaBoost检测器在另一路视频中心的区域中检测人脸和人脸器官；利用基于高斯和支持向量机SVM的眼睛分类器和嘴巴分类器来判断人脸是否有遮挡；对一个时间窗口内的结果进行分析，得到结果；分析模块将结果通过专用网络或广域网络传送给监控中心，进行实时告警和记录存档。

说明书

技术领域

本发明属于计算机视觉，人工智能领域，尤其是涉及一种自动取款机使用者人脸可见性判断系统及方法。 

背景技术

为了防范各种利用ATM机进行的犯罪活动，例如盗用他人银行卡，诱使他人向某帐号内转账存款，然后在ATM机上取出，等等，现有的ATM机大部分都已经安装了摄像头监控系统，对ATM机使用者的面部进行抓拍，在案件发生后根据监控资料查找涉嫌犯罪的取款操作以及取款人。但犯罪嫌疑人往往会采取各种方式遮挡面部隐藏身份，给破案带来难度。对没有遮挡面部的使用者进行抓拍记录，对有遮挡面部的使用者及时在监控中心给出告警或者提示使用者露出面部，将人脸有遮挡的交易记录在案以备日后快速查询，这些都对提高ATM机使用安全性和案件发生后快速找到破案线索有极大的帮助。 

针对此应用有三项关键技术，即如何判断使用者进出ATM机；如何准确检测到使用者面部，尤其在存在有意或无意的遮挡时；以及如何判定使用者面部遮挡状况。为判断使用者进出，有方法采用检测ATM卡片插入情况的方法，该方法需要与ATM主业务逻辑紧密配合，不适于对现有ATM机进行改造，且一个用户操作过程中可能多次插入拔出卡片，导致被判断为多次使用ATM机。也有方法采用另一路视频对ATM机前一小片区域进行监控，利用例如混合高斯背景模型的前景检测方法，当此区域内出现显著前景目标时即判定有人进入。该方法受环境整体光照明暗变化影响较大，会误判有人进出；且当前景目标停留时间过长时，混合高斯背景模型会导致前景目标融入背景，影响判断结果。为检测ATM机使用者面部，有方法采用了基于肤色投影的方法，但肤色受光照等影响较大，在一些情况下不能准确检测到人脸。基于级联式AdaBoost检测器的方法是人脸检测中的主流方法，但ATM机人脸监控具有人脸形变大，光照恶劣，监控过程中人脸姿态存在变化等特点，为应对此情形，有方法采用了用多个针对不同情形的人脸检测器，但付出的代价是人脸检测模块复杂度显著提高。且由于人脸检测 器一般是针对完整人脸训练得到的，因此通常也只能检测到遮挡较小的人脸，在人脸存在不经意遮挡，例如头发遮挡住一侧眼睛等情况，可能检测不到人脸。为判定人脸遮挡情况，一些方法中采用了肤色判断的方法，但此方法的准确率受光照影响较大。另有方法首先利用人脸器官定位，然后对定位到的器官点周围的图像进行分割来遮挡判断，当分割得到的区域较少时，即认为有遮挡（例如大面积的口罩，墨镜等）。该方法的缺陷是假定遮挡物是外观单一的，例如均一颜色的口罩，当遮挡物不满足此条件时即可能判断错误。此外该方法的先决条件是准确检测人脸器官点，在存在遮挡时此条件也无法满足，也影响了该方法的准确率。 

在如何基于人脸遮挡判断的结果进行应用层逻辑方面，有方法采用如果判定有遮挡则阻止用户使用，直到用户解除人脸遮挡的方式。但真实世界的人脸形态各异，总可能存在某些较为怪异的人脸导致判断失败，因此这种阻止用户使用的应用层逻辑也存在问题。 

发明内容

为解决上述技术问题，本发明提供了一种自动取款机使用者人脸可见性判断方法，其包括以下步骤： 

步骤（1）对置于自动取款机顶部的摄像头视频进行分析，利用基于图像轮廓结构差异对比和像素区域差异对比的方法判定是否有人在自动取款机内； 

步骤（2）当判定有人使用自动取款机时，分析位于自动取款机屏幕上方向外拍摄的摄像头视频，使用级联式AdaBoost检测器检测人脸和人脸器官，利用五官组合的方式准确检测人脸； 

步骤（3）基于高斯和支持向量机（SVM）的眼睛分类器和嘴巴分类器来判断人脸是否有遮挡； 

步骤（4）对一个时间窗口内的结果进行分析，得到人进出自动取款机判定和人脸遮挡判定。 

进一步，所述步骤（1）包括：所述置于自动取款机顶部的摄像头以系统启动后第一帧图像作为初始背景参考图像和静止参考图像，对此后的每一帧，比较当前帧图像与背景参考图像的轮廓结构特征和像素区域特征；比较当前帧图像与背景参考图像的轮廓结构特征，若当前帧图像与背景参考图像相比，像素区域差 异大于阈值T_pix且轮廓结构差异大于第一阈值T_edge,high，则判断有人在自动取款机内；若当前帧与背景参考图像相比，轮廓结构差异小于第二阈值T_edge,low，可以用当前帧图像更新背景参考图像。 

进一步，所述步骤（1）包括：静止参考图像的定义是指将当前帧图像向前回溯，可以认为图像内容仍然相同的最早一帧图像，将当前帧图像与静止参考图像相比，若轮廓结构差异高于T_edge,low，则用当前帧代替静止参考图像，并将静止时间归0；否则可认为图像从静止参考图像对应时间到目前为止都保持静止不动，将静止时间+1；如果静止时间超出阈值T_static，则用当前帧图像代替背景参考图像和静止参考图像。 

进一步，所述步骤（1）包括：采用边缘和梯度对比的方法来比较两幅图像I₁和I₂之间的轮廓结构差异，在计算图像的边缘和梯度之前，都对图像进行高斯平滑处理，采用水平和垂直方向的Sobel算子计算两个方向上的梯度，然后求平方和开方得到任意一个像素位置处的梯度强度值，采用Canny边缘检测方法检测出图像中的边缘像素点，对两幅图像I₁和I₂，检查I₁中的边缘点在I₂中对应的梯度值，以及I₂中的边缘点在I₁中的梯度值，如果边缘点对应的梯度值低于某一预设的阈值，则认为这个边缘点在另一图中不是边缘点，因此使轮廓结构发生变化，计算有这样差异的边缘点所占的比例，则可以得到图像I₁和图像I₂之间的轮廓结构差异。 

进一步，所述步骤（1）包括：为比较两幅图像I₁和I₂之间的像素区域差异，采用RGB像素差值，RGB像素相关度，和颜色失真度进行度量，具体为：将图像划分为N×M个矩形小块，对I₁和I₂中的每一个小块，分别计算RGB三个色彩通道上的标准差，即红色、绿色和蓝色的标准差σ_R、σ_G、σ_B，利用下式平均得到此块内像素的标准差：σ＝(σ_R+σ_G+σ_B)×0.3333，根据σ判定此块为平坦区域或有一定结构，当σ小于某阈值时判定为平坦区域，对每个小块，将I₁和I₂中对应的RGB像素值作为一个长度为3×N_p的矢量，其中N_p为这个小块中 的像素数目，计算这两个矢量之间的欧氏距离和相关度，以下分别称为RGB差值和RGB相关度，对I₁和I₂中每个对应的像素，将其作为两个3维的矢量v₁和v₂，计算两个像素之间的颜色失真度： $>d=\max (\sqrt{{\left|\right|v_1\left|\right|}^2-{(v_1^T{v}_2/|\left|v_2\right|\left|\right)}^2},\sqrt{{\left|\right|v_2\left|\right|}^2-{(v_2^T{v}_1/|\left|v_1\right|\left|\right)}^2}),$>将每个小块内所有像素的颜色失真度求平均作为此块的颜色失真度，对每个小块，根据其在I₁和I₂中为平坦区域还是有结构区域，利用RGB差值，RGB相关度，和颜色失真度制定不同的规则，判定此小块为变化前景或不变背景，计数图像中变化前景小块所占的比例作为I₁和I₂的像素区域差异。 

进一步，所述步骤（2）包括：步骤（2）所采用的级联式AdaBoost检测器利用了积分图和Haar特征，如果检测到了整体的人脸，则只须在人脸范围内再检测眼睛，鼻子，嘴巴；如果不能检测到整体人脸，则在全图内检测眼睛，鼻子，嘴巴，对检测出的人脸器官，利用器官之间相对位置和大小的相关性将器官重新组合为人脸，并且从所有组合出的人脸中按照一定规则选取出最优的一个人脸进行遮挡分析。 

进一步，步骤（3）包括：对于眼睛和嘴巴的图像，将每幅图像都归一化，利用归一化后的图像像素值作为特征训练高斯和支持向量机（SVM）分类器，区别有遮挡和无遮挡的眼睛/嘴巴；在对实时拍到的视频进行分析时，根据人脸检测和面部器官检测的结果，在选定的可能存在眼睛和嘴巴的小块区域内进行搜索，对此区域内位于一个N×M网格上的所有窗口利用预先训练好的支持向量机分类器（SVM）进行判定，只要有一个窗口判定为是真实的嘴巴/眼睛，则判定嘴巴/眼睛未被遮挡。 

进一步，步骤（4）包括：如果当前帧判定无人在自动取款机内，且在过去阈值时间窗口内帧内都无人在自动取款机内，则判定无人使用自动取款机；如果当前帧内有人在自动取款机内，且过去阈值时间窗口内大部分帧内都有人在自动取款机内，则判定有人使用自动取款机；其他情况下设置状态为“正在判定是否有人”；如果当前帧内存在无遮挡人脸，且过去阈值时间窗口内大部分帧内都存在无遮挡人脸，则判定当前人脸正常；如果当前帧内没有无遮挡人脸，且过去阈 值时间窗口内大部分帧内都没有无遮挡人脸，则判定当前人脸不正常；其他情况设置人脸状态为“正在判定”；在判定有人使用自动取款机后，若到此人离开自动取款机为止，都没有任何一帧图像判定为存在无遮挡人脸，则在人离开自动取款机后发出警报。 

本发明还一种自动取款机使用者人脸可见性判断系统，该系统包括： 

用于拍摄人脸的摄像头、用于拍摄ATM入口的摄像头、位于ATM机的分析模块，该分析模块基于图像轮廓结构差异对比和像素区域差异对比的方法判定是否有人进入自动取款机；当判定有人使用自动取款机时使用级联式AdaBoost检测器在另一路视频中心的区域中检测人脸和人脸器官；基于高斯和支持向量机SVM的眼睛分类器和嘴巴分类器来判断人脸是否有遮挡；对一个时间窗口内的结果进行分析，得到结果；该分析模块将结果通过专用网络或广域网络传送给监控中心。 

进一步，所述用于拍摄ATM入口的摄像头以系统启动后第一帧图像作为初始背景参考图像和静止参考图像，对此后的每一帧，比较当前帧图像与背景参考图像的轮廓结构特征和像素区域特征；比较当前帧图像与背景参考图像的轮廓结构特征，若当前帧图像与背景参考图像相比，像素区域差异大于阈值T_pix且轮廓结构差异大于第一阈值T_edge,high，则判断有人在自动取款机内；若当前帧与背景参考图像相比，轮廓结构差异小于第二阈值T_edge,low，可以用当前帧图像更新背景参考图像。 

进一步，静止参考图像的定义是指将当前帧图像向前回溯，可以认为图像内容仍然相同的最早一帧图像，将当前帧图像与静止参考图像相比，若轮廓结构差异高于T_edge,low，则用当前帧代替静止参考图像，并将静止时间归0；否则可认为图像从静止参考图像对应时间到目前为止都保持静止不动，将静止时间+1；如果静止时间超出阈值T_static，则用当前帧图像代替背景参考图像和静止参考图像。 

进一步，所述分析模块采用边缘和梯度对比的方法来比较两幅图像I₁和I₂之间的轮廓结构差异，在计算图像的边缘和梯度之前，都对图像进行高斯平滑处理，采用水平和垂直方向的Sobel算子计算两个方向上的梯度，然后求平方和开方得 到任意一个像素位置处的梯度强度值，采用Canny边缘检测方法检测出图像中的边缘像素点，对两幅图像I₁和I₂，检查I₁中的边缘点在I₂中对应的梯度值，以及I₂中的边缘点在I₁中的梯度值，如果边缘点对应的梯度值低于某一预设的阈值，则认为这个边缘点在另一图中不是边缘点，因此使轮廓结构发生变化，计算有这样差异的边缘点所占的比例，则可以得到图像I₁和图像I₂之间的轮廓结构差异。 

进一步，分析模块通过将RGB像素差值，RGB像素相关度，和颜色失真度作为度量来比较两幅图像I₁和I₂之间的像素区域差异，具体为：将图像划分为N×M个矩形小块，对I₁和I₂中的每一个小块，分别计算RGB三个色彩通道上的标准差，即红色、绿色和蓝色的标准差σ_R、σ_G、σ_B，利用下式平均得到此块内像素的标准差：σ＝(σ_R+σ_G+σ_B)×0.3333，根据σ判定此块为平坦区域或有一定结构，当σ小于某阈值时判定为平坦区域，对每个小块，将I₁和I₂中对应的RGB像素值作为一个长度为3×N_p的矢量，其中N_p为这个小块中的像素数目，计算这两个矢量之间的欧氏距离和相关度，以下分别称为RGB差值和RGB相关度，对I₁和I₂中每个对应的像素，将其作为两个3维的矢量v₁和v₂。计算两个像素之间的颜色失真度：$>d=\max (\sqrt{{\left|\right|v_1\left|\right|}^2-{(v_1^T{v}_2/|\left|v_2\right|\left|\right)}^2},\sqrt{{\left|\right|v_2\left|\right|}^2-{(v_2^T{v}_1/|\left|v_1\right|\left|\right)}^2}),$>将每个小块内所有像素的颜色失真度求平均作为此块的颜色失真度，对每个小块，根据其在I₁和I₂中为平坦区域还是有结构区域，利用RGB差值，RGB相关度，和颜色失真度制定不同的规则，判定此小块为变化前景或不变背景，计数图像中变化前景小块所占的比例作为I₁和I₂的像素区域差异。 

进一步，所述分析模块所采用的级联式AdaBoost检测器利用了积分图和Haar特征，如果检测到了整体的人脸，则只须在人脸范围内再检测眼睛，鼻子，嘴巴；如果不能检测到整体人脸，则在全图内检测眼睛，鼻子，嘴巴，对检测出的人脸器官，利用器官之间相对位置和大小的相关性将器官重新组合为人脸，并且从所有组合出的人脸中按照一定规则选取出最优的一个人脸进行遮挡分析。 

进一步，所述基于高斯和支持向量机SVM的眼睛分类器和嘴巴分类器对于眼睛和嘴巴的图像，将每幅图像都归一化，利用归一化后的图像像素值作为特征训练高斯和支持向量机（SVM）分类器，区别有遮挡和无遮挡的眼睛/嘴巴；在对实时拍到的视频进行分析时，根据人脸检测和面部器官检测的结果，在选定的可能存在眼睛和嘴巴的小块区域内进行搜索，对此区域内位于一个N×M网格上的所有窗口利用预先训练好的支持向量机分类器（SVM）进行判定，只要有一个窗口判定为是真实的嘴巴/眼睛，则判定嘴巴/眼睛未被遮挡。 

进一步，如果当前帧判定无人在自动取款机内，且在过去阈值时间窗口内帧内都无人在自动取款机内，则判定无人使用自动取款机；如果当前帧内有人在自动取款机内，且过去阈值时间窗口内大部分帧内都有人在自动取款机内，则判定有人使用自动取款机；其他情况下设置状态为“正在判定是否有人”；如果当前帧内存在无遮挡人脸，且过去阈值时间窗口内大部分帧内都存在无遮挡人脸，则判定当前人脸正常；如果当前帧内没有无遮挡人脸，且过去阈值时间窗口内大部分帧内都没有无遮挡人脸，则判定当前人脸不正常；其他情况设置人脸状态为“正在判定”；在判定有人使用自动取款机后，若到此人离开自动取款机为止，都没有任何一帧图像判定为存在无遮挡人脸，则在人离开自动取款机后发出警报。 

附图说明

图1为根据本发明的系统的模块结构图； 

图2为根据本发明的对B路视频一帧图像进行分析判定其中是否有目标的流程图； 

图3为在B路视频判定有人使用ATM时，对A路视频的一帧图像进行人脸遮挡分析的流程图； 

图4本发明中一次用户使用ATM的流程图。 

具体实施方式

为使本发明的上述目的、特征和优点更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明： 

本发明在于提供一种ATM机使用者人脸可见性判断系统。在本发明中，采用视频场景轮廓结构变化和像素区域变化判断的方法判定使用者进出ATM，采 用基于器官组合的方法定位ATM使用者人脸位置，采用结合眼睛和嘴巴的准则判定人脸是否可见以及是否可以根据人脸识别使用者身份，采用基于学习得到的支持向量机（SVM）模型的方法判定眼睛和嘴巴是否存在遮挡，并且利用时间窗口平均的方法判定系统状态进行告警。如图1所示，系统使用一台拍摄ATM使用者人脸的可见光/近红外双模针孔摄像头（A路视频），以及一台拍摄ATM入口的可见光摄像头（B路视频）。分析端运行于安装在ATM机内的一台运行Windows XP/Vista/7的工控机上，要求配置>Intel i3级别的CPU。监控平台软件运行于银行地区分行内监控中心内，用于显示告警状态于监控中心以及记录ATM每个用户的进出时间、人脸图像，或未拍到人脸警告。分析端与监控端可以通过专用网络连接也可以通过运营商提供的广域网络连接。以下详细说明本方法实施中的步骤。 

在本发明中，采用两路视频协作对ATM机使用者及其面部进行监控。利用A路视频（位于ATM机屏幕上方）拍摄使用者人脸，进行人脸检测和人脸遮挡分析；利用B路视频（置于ATM机顶部）拍摄ATM入口，对使用者进出ATM机进行判断。A路视频采用可见光/近红外双模摄像头，在白天使用可见光拍摄，夜间光照不好时使用近红外拍摄。B路视频可采用普通可见光摄像头。前端分析系统运行在安装在ATM机内的一台单独的工控机上，与ATM机主业务逻辑系统分离，可用于对现有ATM机进行升级改造。分析得到的结果都实时传输给后端监控中心，通过监控平台软件上实时提示给保安人员，并且对每个ATM使用者的交易过程都进行人脸抓拍记录，或者将未抓拍到人脸的告警信息记录备案，供案发后刑侦用途。 

ATM机使用者人脸检测和可见性判断方法分以下步骤： 

步骤1：人员进出ATM分析模块。分析B路视频，将当前视频图像与背景参考图像（ATM无人使用时的图像）进行对比，判定是否有人使用ATM机。 

步骤2：人脸检测模块，结合多个人脸器官检测和整体人脸检测定位A路视频中的人脸。利用人脸器官检测器（眼睛，鼻子，嘴巴）和整体人脸检测器检测整体人脸和人脸器官，并且将人脸器官组合成为人脸，选择几何结构最为合理的人脸作为ATM使用者人脸进行遮挡判断。 

步骤3：人脸遮挡判断模块。对检测到的人脸判定是否有遮挡。如果步骤2中基于人脸器官的人脸检测仍然不能定位人脸，则可能是由于使用者完全遮挡了面部，因此即可以判定人脸完全遮挡。否则，利用人脸器官检测的结果以及专门训练的眼睛和嘴巴分类器，判定是否双眼及嘴巴都可见。如果有任意一只眼睛和嘴巴可见，则判定人脸可见，可以根据看到的人脸判定身份；否则判定人脸遮挡。针对器官检测可能产生误报，导致某些情况人脸有遮挡时也能够误检到眼睛和嘴巴的问题，对眼睛区域和嘴巴区域采用另外训练的高斯和支持向量机（SVM）分类器区分眼睛与不是眼睛，嘴巴与不是嘴巴的情况，减少漏报人脸有遮挡的频率。 

步骤4：应用层逻辑。对A路和B路视频，综合多帧判定结果，对一个时间窗口的多帧结果进行统计，判定是否有人使用ATM机，以及使用者人脸是否正常。对某个使用者，从其进入到离开的这个完整使用时段内，在其第一次检测到正常人脸时，对此人进行抓拍记录。如果到使用者进入一定时间后仍然未检测到正常人脸，则语音提示使用者注视摄像头，但不阻止用户操作。如果到用户离开为止都一直未检测到正常人脸，则标记此用户为可疑用户，记录在案。基于时间窗口的判定方法大大提高了报警结果的准确度，也避免了报警状态在多个状态之间反复切换给用户带来的困扰。 

所述步骤1中，本发明提出一种基于轮廓结构对比和像素区域对比的分析方法，以及一种结合混合高斯背景模型和背景完全替换的参考背景图像更新策略。为了判断使用者进出ATM机，对B路视频进行分析。系统启动后，以第一帧图像作为初始的背景参考图像I_b和静止参考图像I_s。采用高斯混合模型对背景参考图像进行建模。对后续的每一帧图像I_f，按照如图2所示流程进行处理。比较当前帧图像与背景参考图像的轮廓结构特征差值d_edge(I_f,I_b)和像素区域特征差值d_pix(I_f,I_b)，判定当前帧内是否有人进入ATM机及对背景参考图像的高斯混合模型进行更新。若像素区域差异d_pix(I_f,I_b)大于阈值T_pix且轮廓结构差异d_edge(I_f,I_b)大于第一阈值T_edge,high（高阈值），则判断有人在ATM机内；若廓结构差异d_pix(I_f,I_b)小于第二阈值T_edge,low（低阈值），则用当前帧图像更新背景模 型。比较当前帧图像与静止参考图像的轮廓结构特征差异d_edge(I_f,I_s)，以判定图像保持静止时间，以及决定是否执行参考背景完全替换。若当前帧图像与静止参考图像相比，轮廓结构差异d_edge(I_f,I_s)高于T_edge,low，则用当前帧代替静止参考图像，并将静止时间归0；否则认为图像从静止参考图像对应时间到目前为止都保持静止不动，将静止时间+1。如果静止时间超出阈值T_static，则用执行背景替换，即用当前帧图像代替背景参考图像和静止参考图像。 

为比较两幅图像I₁和I₂之间的轮廓结构差异，即计算d_edge(I₁,I₂)，采用边缘和梯度对比的方法。在计算图像的边缘和梯度之前，对图像进行高斯平滑处理消除噪声影响。采用水平和垂直方向的Sobel算子计算两个方向上的梯度，然后求平方和开方得到任意一个像素位置处的梯度强度值。采用Canny边缘检测方法检测出图像中的边缘像素点。对两幅图像I₁和图像I₂，检查I₁中的边缘点在I₂中对应的梯度值，以及I₂中的边缘点在I₁中的梯度值，如果边缘点对应的梯度值低于某一预设的阈值，则认为这个边缘点在另一图中不是边缘点，因此使轮廓结构发生变化，计算有这样差异的边缘点所占的比例，则可以得到图像I₁和图像I₂之间的轮廓结构差异，d_edge(I₁,I₂)的值即为变化边缘像素数目与总边缘像素数目的比值。 

为比较两幅图像I₁和I₂之间的像素区域差异，即计算d_pix(I₁,I₂)，采用RGB像素差值，RGB像素相关度，和颜色失真度进行度量。将图像划分为N×M个矩形小块。对I₁和I₂中的每一块，分别计算RGB三个色彩通道上的标准差，即红色、绿色和蓝色的标准差σ_R、σ_G、σ_B，利用下式平均得到此块内像素的标准差：σ＝(σ_R+σ_G+σ_B)×0.3333。根据σ判定I₁和I₂中此块为平坦区域（σ小于某阈值），或有一定结构。对每个小块，将此小块中所有RGB值作为一个长度为3×N_p的矢量v_RGB，其中N_p为这个小块中的像素数目。计算I₁和I₂中对应小块的矢量v_RGB,1和v_RGB,2之间的差值d_RGB(v_RGB,1,v_RGB,2)和相关度corr_RGB(v_RGB,1,v_RGB,2)， 以下分别称为RGB差值和RGB相关度。为计算颜色失真度，将I₁和I₂中每个对应的像素作为两个3维的矢量v₁和v₂，用以下公式计算两个像素之间的颜色失真度： 

$>d_{\mathrm{color}}=\max (\sqrt{{\left|\right|v_1\left|\right|}^2-{(v_1^T{v}_2/|\left|v_2\right|\left|\right)}^2},\sqrt{{\left|\right|v_2\left|\right|}^2-{(v_2^T{v}_1/|\left|v_1\right|\left|\right)}^2})$>

将每个小块内所有像素的颜色失真度求平均作为此块的颜色失真度。为判定某小块是变化前景或不变的背景，本发明中采用如下判定准则。 

·如果某小块在I₁和I₂中均为平坦区域： 

如果d_RGB＞T_d或者d_color＞T_color,low，则认为是变化前景。否则认为是不变背景。 

·如果某小块在I₁和I₂或中有一定结构： 

如果d_RGB＞T_d或者cor_Rr_GB＞T_col,orhig，_h则认为是变化前景。否则如果corr_RGB＞T_corr,high，则认为是不变背景，如果corr_RGB＜T_corr,low则认为是变化前景。否则如果corr_RGB＞T_color,low则认为是变化前景，否则是不变背景。 

与基于混合高斯背景模型之类的方法相比，本方法对场景的低频变化，例如整体亮度变化，光照引起的局部亮度变化，周围物体的影子等都具有鲁棒性，并且避免了混合高斯模型在使用者长期停留时前景目标融入背景的问题。与直接对插卡状况进行分析的方法相比，本方法不需要显著改动现有ATM机的硬件结构或者介入ATM机主业务，可以用于对现有ATM机的升级改造，此外基于图像判断而不是基于插卡判断，因此也不会将一名用户多次插卡拔卡分割为多个操作时段。 

所述步骤2中，本发明提出了结合整体人脸检测和人脸器官检测的人脸检测方法。如果能检测到整体人脸，则在整体人脸范围内检测人脸器官。否则在全图范围内检测人脸器官。人脸检测和人脸器官检测均采用级联式AdaBoost检测器，利用积分图进行快速计算Haar特征。由于所有检测器都使用相同的积分图，因此对图像只计算一次积分图，然后多个检测器共用同一个积分图，降低了算法计算复杂度。由于人脸器官的结构较为简单，当限定器官检测器在人脸范围内检测 时往往可以得到较准确的检测结果，但器官检测器在全图内进行检测时往往会产生一定数量的误报。为此，在检测到了人脸器官后，利用预先从训练数据中学习到的人脸几何结构约束，例如各个器官的距离与各个器官的大小之间的比例，ATM场景中人脸倾斜角度的限定范围等等，将多个人脸器官组合成为人脸。具体使用的规则如下： 

·双眼之间x和y方向距离（即水平距离与垂直距离）与眼睛大小的比例。 

·眼睛-鼻子之间x和y方向距离（即水平距离与垂直距离）与眼睛和鼻子大小的比例。 

·鼻子-嘴巴之间x和y方向距离（即水平距离与垂直距离）与鼻子和嘴巴大小的比例。 

·眼睛-嘴巴之间x和y方向距离（即水平距离与垂直距离）与眼睛和嘴巴大小的比例。 

利用这些约束条件，只有部分检测到的器官能够被组合到人脸中，从而可以滤除大部分器官检测的误报。但此时仍然可能有多个组合到的人脸，需要从其中选取最优的一个人脸用于判定是否有遮挡。为此我们对得到的人脸几何形状进行评估，综合利用组合人脸中所包含的被检测到的五官数目和人脸五官位置与均值人脸形状的相似度对这些组合得出的人脸进行排序，依次执行如下规则： 

·同时含有双眼，鼻子，嘴巴的人脸排序在只有双眼，鼻子的人脸之前； 

·旋转角度较小的人脸排序在旋转角度较大的人脸之前； 

·与均值人脸形状更接近的人脸排序在与均值人脸不接近的人脸之前。 

最终选取出优先级最高的人脸作为ATM使用者人脸，进行遮挡分析。与其他方法相比，本发明提出的基于多个器官组合的方法不受肤色变化影响，能够应对各种复杂情况（例如人脸逆光，单侧光照，面部显著阴影，人脸姿态变化，人脸与镜头过近引起透视变形，人脸局部被遮挡等等），显著提高了人脸检测的准确率，降低误报检测不到用户人脸的错误率。 

所述步骤3中，本发明提出了一种接近人主观评估的人脸遮挡判断规则，即当判定嘴巴和任意一只眼睛可见时，认为人脸可见，用户没有刻意隐瞒身份；否 则认为用户有遮挡人脸以隐藏身份。该规则较好的反映了真实世界中人们的思维方式，能够很好地反映出ATM使用者是否有掩盖身份的意图，可以避免用户无意引起的遮挡（例如头发遮挡住一侧眼睛）。当该规则判定人脸正常时，人脸图像提供的信息即足以对此人身份进行识别。针对级联式AdaBoost人脸器官检测器会存在误检的情况，例如在使用者戴口罩时也将下巴处误检为嘴巴，本方法额外为眼睛和嘴巴区域训练分类器用于验证这些区域是否有遮挡。利用事先收集到的嘴巴和眼睛图像数据，对图像进行归一化后，训练一个支持向量机（SVM）分类器区分眼睛与不是眼睛，嘴巴与不是嘴巴。在对人脸进行遮挡判断时，在器官检测器给出的器官范围附近取多个图像窗口，对窗口内图像进行同样的归一化后，用眼睛/嘴巴分类器对窗口进行评估。当有一个窗口判定为嘴巴/眼睛时，即认为存在未遮挡的眼睛/嘴巴。与基于肤色或者基于分割区域的方法相比，本方法直接判定是否能看到眼睛/嘴巴，显著提高了判定的精度。 

所述步骤4中，本发明采用了基于时间窗口进行状态判断的方法。当持续一段时间内（可设置）B路视频都判断有目标存在时，才判定有人使用ATM机；当持续一段时间内（可设置）B路视频据没有目标存在时，才判定用户离开。当持续一段时间A路视频中都有无遮挡人脸时，才判定人脸正常。对一次用户操作（从进入到离开），只要有一次判定人脸正常，则判定此次用户正常。基于时间窗口的判定方法能够有效滤除单帧图像判定的误差，大大提高了系统的稳定性。此外本发明所采用的应用层逻辑包含三部分。第一，在ATM机使用者进入后一段时间，如果未能成功判定人脸无遮挡，则语音提示使用者注视摄像头露出面部，从而显著降低系统误报人脸有遮挡的几率。第二，系统状态实时显示于监控室中供保安人员参考，保安人员人工对判定有遮挡的情形进行再次判断，在公安部门接到报案之前即可以就可疑情况给出预警，例如发现有人戴头套取款，起到预防犯罪的作用。第三，每个用户的交易过程均记录在案，记录进入时间，离开时间，抓拍到的人脸，以及未抓拍到人脸警告，方便案发后查询监控记录。与既有的强制要求用户必须人脸无遮挡的系统相比，本发明的方法不会影响ATM的主业务流程，适用于对现有系统升级改造，同时不会影响用户的正常使用，减少了给ATM使用者带来的不便。结合监控室实时显示报警状态与存档报警记录的方式也提高了系统的易用性。 

进一步描述步骤1，基于图像轮廓结构变化和像素区域变化的方法判定视频中是否存在显著目标。B路视频拍摄ATM入口处，例如入口处地面站人的一小块地方。对B路视频一帧图像进行处理的流程如图2所示。系统启动后，即以第一帧图像作为初始背景参考图像和静止参考图像，然后按照图2流程对随后的每帧图像进行分析。比较当前帧图像与背景参考图像的轮廓结构特征差值d_edge(I_f,I_b)和像素区域特征差值d_pix(I_f,I_b)，判定当前帧内是否有人进入ATM机及对背景参考图像的高斯混合模型进行更新。比较当前帧图像与静止参考图像的轮廓结构特征差异d_pix(I_f,I_s)，以判定图像保持静止时间，以及决定是否执行参考背景完全替换。 

步骤2中，我们使用级联式AdaBoost检测器在A路视频中心的一块区域中检测人脸和人脸器官。算法流程如图3所示，首先进行完整人脸检测。所采用的级联式AdaBoost检测器利用了积分图和Haar特征，能够快速扫描大量图像窗口。由于人脸和人脸器官都采用相同的积分图，我们采取了只计算一次积分图，多个检测器共享积分图的方法加快计算速度。由于视频分析过程中每帧图像大小均相同，因此可以预先为所有尺度上的所有积分图分配内存数据，避免多次内存分配与释放。这些方法都提高了算法的效率。在一些条件较好的情况下，光照合理，用户人脸形变较小，姿态较端正，整体人脸检测器即可以准确定位人脸。如果检测到了整体的人脸，则只须在人脸范围内再检测眼睛，鼻子，嘴巴，从而降低CPU负荷。如果不能检测到整体人脸，则需要用人脸器官检测器在全图内检测。单个人脸器官的外观受光照，人脸形变，姿态等等的影响较小，因此在整体人脸检测失败时往往也能够找到人脸器官。但另外由于单个人脸器官所包含的信息较少，因此可能在图像背景中产生一些误检。为此，本发明利用多个器官之间位置和大小的相关性，将器官重新组合为人脸。我们利用在训练数据上收集到的人脸器官相对大小比例和人脸器官的相对位置，对检测到的多个人脸器官进行约束。所使用的约束条件有：一对器官（即两只眼睛，左/右眼和鼻子，左/右眼和嘴巴，鼻子和嘴巴）大小的比例，一对器官之间的距离与器官大小的比例，一对器官中点连线的角度。利用这些约束条件，将器官搭配成对，进而搭配成三个器官的组合，以及四个器官的组合。每个组合都可能对应于一个人脸。然后我们将配置过于接近的人脸合并，例如一个组合是左眼+嘴巴，另一个组合是右眼+嘴巴，一 个组合是左眼+右眼，还有一个组合是左眼+右眼+嘴巴，他们都用到了相同的一组检测到的器官，因此只保留左眼+右眼+嘴巴的组合。在保留下的这些组合人脸中，我们最后再找出最可能对应于ATM使用者的那个。对这些组合人脸进行排序，排序准则如下：包含检测到器官多的排序之前；旋转角度小的排序在角度大的之前；与均值人脸形状接近的排序在差异较大的之前。这样最终得到的最优的人脸将用于下一步进行遮挡分析。在CPU为i52320的机器上，对CIF大小的图像，在图像中心的0.8x0.9（相对原图大小）区域内，检测宽度从60像素到150像素的人脸，每帧图像处理所需时间约20毫秒。与整体人脸检测器相比，本发明提出的方法在人脸光照恶劣的情况下，例如背光，单侧光，以及人脸姿态有一定变化，例如偏转向一边，等等情况下，都能准确检测到人脸和定位人脸器官。 

步骤3中，我们对人脸遮挡情况进行分析。在步骤2中我们已经利用了人脸器官组合判定人脸位置，因此人脸器官是否被步骤2中的级联式AdaBoost检测器检测到即已经可以在一定程度上满足判定人脸遮挡的需求，且在我们的验证中已经发现此方法较一些参考方法，例如基于肤色和基于区域分割的方法，都具有更好的效果。但我们发现级联式AdaBoost检测器在某些场合可能误检人脸器官，例如将下巴的弧线形状误认为是嘴巴，将墨镜框误认为是眼睛。为此，我们另外训练了基于高斯和支持向量机（SVM）的眼睛分类器和嘴巴分类器，区分眼睛和不是眼睛，嘴巴和不是嘴巴。对于训练图像，将每幅训练图像都归一化到均值为0，方差为1。在对实时拍到的视频进行分析时，根据人脸检测的结果，在眼睛和嘴巴可能存在的小块区域内进行搜索，对此区域内位于一个N×M网格上的所有窗口都利用此支持向量机（SVM）分类器进行判定，判定窗口是否为真实的眼睛/嘴巴。只要有一个窗口判定为是真实的嘴巴/眼睛，则判定嘴巴/眼睛未被遮挡。基于高斯核支持向量机的分类器具有更高的准确率，但计算量较大，因此无法直接用于在全图中检测目标。但在根据人脸检测的结果已经粗略定位了眼睛和嘴巴的情况下，可以使用此方法对眼睛和嘴巴区域进行验证，充分利用剩余的CPU资源。与其他非直接的方法，例如判定器官区域肤色，对器官区域图像进行分割等方法相比，本方法直接判定器官是否可见，并且只要求嘴巴和一只眼睛可见，因此更接近人主观判断的结果，具有更高的准确率。 

步骤4中，我们对A路和B路每帧图像分析的结果，对一个时间窗口内的 结果进行分析，得到更稳定的结果。对B路视频，我们对过去n秒（可设置）内每帧结果进行综合。如果当前帧判定没有目标，且过去时间窗口内大部分（可设置）帧内都没有目标，则判定无人使用ATM机。如果当前帧内有目标，且过去时间窗口内大部分（可设置，例如3秒内50%的帧数）帧内都有目标，则判定有人使用ATM机。对于其他情形，即当前帧内有大目标但过去时间窗口内不满足大部分帧内有大目标，或者当前帧内无大目标，但过去时间窗口内大部分帧内都有大目标的情形，则设置状态为“正在判定是否有人”。对于A路视频，只在B路视频判定ATM机内有人时才进行人脸状态分析。如果当前帧内存在无遮挡人脸，且过去时间窗口内大部分帧内都存在无遮挡人脸，则判定当前人脸正常。如果当前帧内没有无遮挡人脸，且过去时间窗口内大部分帧内都没有无遮挡人脸，则判定当前人脸不正常。其他情况，即当前帧内有无遮挡人脸但过去时间窗口内不满足大部分帧内有无遮挡人脸，或者当前帧内没有无遮挡人脸但过去时间窗口内不满足大部分帧内没有无遮挡人脸，则设置人脸状态为“正在判定”。如图4所示，对一次用户操作（用户进入到离开为止）的流程图，如果用户进入一段时间后仍然未能捕捉到正常人脸，则播放提示音，提示用户正对摄像头。为减少对用户操作带来的困扰，此提示音只播放一次，即使用户不按照要求露出人脸也能够正常操作，即人脸验证对ATM机是非强制的增强安全性的措施。较强制用户必须人脸验证无遮挡相比，本发明中的设置在用户人脸较怪异，例如面部有大面积色斑，胎记，或者胡须时，都不至于影响用户操作，减少可能带来的法律纠纷。在第一次判定人脸正常时，对用户人脸进行抓图记录，并且标记此次用户操作正常，已捕捉到正常人脸。如果直到用户离开都没有判定使用者人脸正常，则标记此次用户操作不正常，警告保安注意。在监控中心，以地图的方式显示每个ATM的位置，每台ATM机当前的状态（在使用中/不在使用中），每台ATM机使用者人脸当前的状态（已抓拍到正常人脸，尚未抓拍到正常人脸，前一用户到离开为止都未能抓拍到正常人脸）。保安人员可以点击每台ATM机，查看前一用户交易过程，以及交易过程中抓拍到的人脸图像。 

本发明提供的一种ATM机使用者人脸可见性判断系统及方法的优点在于： 

（1）采用双路视频结合的方法，对人员进出ATM机和人脸状态进行综合判断。所提出的判定人员进出ATM机的方法能够精确判定人员进出，受环境影 响极小；且无须改动ATM现有硬件结构或涉及ATM机主业务流程，方便对现有机器改造。 

（2）所提出的结合轮廓结构对比和像素区域对比的方法判定是否有人进入ATM机，该方法对环境光照变化不敏感，在早晨，中午，黄昏，夜间，营业厅开门门窗阴影运动，ATM附近有人走过在水磨石地面形成倒影，有人短暂在ATM入口区域外侧停留等复杂条件下都能够准确判定是否有人进入ATM机。 

（3）采用基于人脸器官组合的人脸检测方法，能够在日间夜间，逆光，人脸姿态变化等各种复杂条件下准确检测出人脸，并且人脸器官检测的结果可以直接用于后续人脸遮挡判断，提高了系统的效率。 

（4）所提出的人脸可见性判定准则，准确地反映了ATM使用者是否有掩盖身份的意图，而不会对使用者无意导致的人脸部分遮挡作出过分反应。 

（5）对眼睛和嘴巴区域利用基于另外训练的支持向量机（SVM）分类器进行再次判定的方法，较其他方法相比，能够直接反映这些器官是否可见，准确判定出人脸器官遮挡情况。 

（6）基于时间窗口的状态判定方法，能够有效滤除单帧图像中人员进出检测，人脸检测，人脸遮挡状态判断等的错误，显著提高系统精度，减少在各个状态（有人/无人，人脸正常/不正常）之间频繁跳转给保安人员带来的不便。 

（7）语音提示ATM使用者，实时显示信息给保安人员，以及存档记录三项结合的应用层逻辑，使本方法对用户友好，系统使用方便。 

以上是对本发明的优选实施例进行的详细描述，但本领域的普通技术人员应该意识到，在本发明的范围内和精神指导下，各种改进、添加和替换都是可能的。这些都在本发明的权利要求所限定的保护范围内。