一种用于视频监控的正面人脸快速判别方法

摘要

本发明公开了一种用于视频监控的正面人脸快速判别方法，判别出一段监控视频中人脸最正的那一帧图像，首先在标准视频库以及监控视频中提取正面人脸图像作为训练正样本，提取侧脸图像作为训练负样本，然后提取积分通道特征，利用Adaboost算法从提取特征中训练出强分类器。在正面人脸判别阶段，对输入的监控视频，利用已有的成熟的人脸检测算法进行人脸检测，对检测窗口进行判别，对图像进行“打分”，最后选出分数最高，也就是人脸最正的那一帧。本发明的方法提高了人脸姿态判别速度和精度，准确地进行正面人脸判别，减少了人脸姿态判别的计算量。

说明书

技术领域

本发明涉及图像处理和模式识别领域,特别是一种用于视频监控的正面人脸快速判别 方法。

背景技术

作为安防监控的重要组成部分，视频监控系统已广泛应用于超市、银行、政府等各部 门。经济社会的发展对安全防范行业也提出了更高的要求，视频监控在生产生活中的作用 也日趋重要，造成了监控系统规模越来越大，监控点也越来越多，因此需要存储海量视频 数据，对视频进行分析也变得越来越困难，例如，在这些视频中匹配一个人脸将变得很困 难，如果能将视频中有用的信息存储下来，则对视频的分析就可以转化为对这些有用信息 进行分析，这样就使得对视频的分析变得简单而有效。在室内监控视频中，主要关注的是 监控视频中的人，为便于对海量视频数据中人脸的识别和分析，最有用的信息也可以视为 人脸最正面的那张图像，问题就转化为视频中正面人脸判别，视频中人脸检测算法已经比 较成熟了，比如OPENCV中人脸检测方法等，然而要从监控视频中快速判别正面人脸仍是 一个具有挑战性的课题。本文假设在已检测出人脸的基础上进行正面人脸判别。

正面人脸判别问题是一个人脸姿态估计问题，现有的人脸姿态估计方法大体上可以两 类[参考文献1]：

基于人脸外观的学习方法，即假设三维人脸姿态与人脸图像的某些特性(图像密度、颜 色、图像梯度值等)存在唯一的对应关系，用大量已知三维人脸姿态的训练样本，通过统 计方法来建立这种关系[参考文献2]。该方法不需要精确提取特征点，只需要有大量的三维 人脸姿态的样本，目前比较流行的统计学习方法有支持向量机、神经网络等。支持向量机 以及神经网络方法不需要对特征进行训练，而是直接将样本进行训练得到分类器，因此这 两种方法精度受限于训练样本的选取，同时支持向量机训练出来分类器是二元输出的，不 能对人脸姿态进行连续估计，而神经网络方法的精度也依赖于网络层级，层数越多其计算 复杂度越高。

基于模型的方法，即利用某种几何模型或结构来表示人脸的结构和形状，建立模型和 图像之间的对应关系，然后通过几何或者其它方法实现人脸空间姿态估计。与上述方法相 比，基于模型的方法具有实施简单、精度高等优点，但该方法也有对特征点提取的精度要 求较高[参考文献3]以及运算速度慢的缺点。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种用于视频监控的正面人 脸快速判别方法，提高人脸姿态判别速度和精度，准确地进行正面人脸判别，减少人脸姿 态判别的计算量。

为解决上述技术问题，本发明所采用的技术方案是：一种用于视频监控的正面人脸快 速判别方法，该方法为：

1）在标准视频库或者采集到的监控视频中提取人脸图片作为训练样本集，将训练样 本集中人脸绕Y轴旋转角度小于5度的人脸图像作为正样本图像，将训练样本集中人脸绕 Y轴旋转角度大于30度的人脸图像作为负样本图像；选取n个样本图像 (x₁,y₁),(x₂,y₂),…,(x_n,y_n)，其中x_i表示样本图像，y_i是类别标志，y_i=0表示负样本图 像，y_i=1表示正样本图像；

2）初始化权重：${\omega }_{1,i}=\left(\begin{array}{c}\frac{1}{2m},y_i=0\\ \frac{1}{2l},y_i=1\end{array}\right);$

其中，m和l分别为非正脸样本和正脸样本的数量；n=m+l；i=1,2,…,n；

3）对所述样本图像进行LUV颜色通道变换、梯度幅值通道变换以及梯度直方图通道 变换，其中所述LUV颜色通道变换包括3个通道、梯度幅值通道变换包括6个通道，梯度 直方图通道变换包括1个通道，共10个通道；

4）训练分类器：令t=1；

5）利用下式归一化权重：ω_t,i为训练第t个分类器的第i个样本图像的 权重；ω'_t,i为归一化后的第t个分类器的第i个样本图像的权重；

6）从上述10个通道中随机选取一个通道，并从经该选取的通道变换之后的样本图像 中随机选取矩形区域，将该矩形区域内所有像素的和作为候选特征值；重复该步骤，直到 得到K个候选特征值；

7）对每一个候选特征值f_j，训练一个弱分类器，利用该弱分类器计算ω'_t,i的错误率ε_j：

${ϵ}_j=\underset{i}{\Sigma }{\omega }_{t,i}^{\prime }|h_j\left(x_i\right)-y_i|;$

h_j(x_i)表示样本图像x_i的第j个候选特征值构成的弱分类器，j=1,2,…,K； θ_j为阈值，p_j为指示不等式方向的偏置，p_j=±1；h_j(x_i)=1表 示第j个候选特征值判断此样本图像x_i为正样本图像，反之则为负样本图像；

8）重复步骤7），得到所有候选特征值对应的错误率，选取最小错误率ε_t对应的弱分 类器h_t(x)作为候选分类器；

9）利用下式更新权重：当x_i被正确分类时，（比如选取了特征j，如 果x_i是正样本，特征j也能判断出x_i是正样本，就叫是正确分类，反之，则分类错误）e_i=0， 反之，e_i=1；${\beta }_t=\frac{{ϵ}_t}{1-{ϵ}_t};$设${\alpha }_t=\log \frac{1}{{\beta }_t};$

10）令t=t+1，将ω_t+1,i作为训练第t+1个分类器的第i个样本图像的权重，重复上述步 骤5）～步骤9），直到得到T个候选分类器，利用所述T个候选分类器确定强分类器h(x)：

$h\left(x\right)=\left(\begin{array}{c}1,\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)\ge \frac{1}{2}\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t\\ 0,\mathrm{else}\end{array}\right);$

11）检测标准视频库或者采集到的监控视频，得到多帧人脸图像，利用上述强分类 器h(x)对所述多张人脸图像打分，选出分数最高的一帧图像，即得到正面人脸图像。

阈值θ_j的大小根据候选特征值确定，为了计算方便，本发明中，阈值θ_j大小选取为K 个候选特征值的中间值。

本发明通过积分通道变换之后用积分图来高效计算出各种特征值，针对人脸姿态变化 很大，积分通道特征的特征提取方式能够克服单一的特征模式对特征描述的不足，例如单 纯的Haar-Like特征就很难很好的描述各种人脸姿态的变化，其是从各个角度对特征进行 集成，同时又不像特征融合，只是将几种单纯的特征都提取，增加了计算的复杂度，本发 明的积分通道变换很好的克服了一般特征融合计算速度慢的问题；本发明通过Adaboost 训练出来的分类器具有很强的分类能力，因为它训练出来的结果不是简单的单个或者几个 分类器，也不是简单的对少数的单独分类器进行组合，它是根据最小错误率来选择每一个 弱分类器，并且最后构成强分类器，具有极强的分类能力；积分通道特征与训练器结合的 最大好处就是不仅仅保证了用于判别正面人脸的分类器的分类能力很强，而且在判别速度 方面也很好，因为积分通道特征一幅图像只需要计算一次积分图，并且积分通道特征不仅 仅采用单一的特征模式而是各种特征的结合，很好克服了单一特征带来的特征描述不足缺 点，因此更进一步增加了判别的精度。故此，综上所述，将积分通道特征与Adaboost结 合的方法在速度和精度方面有不错的表现。因此本发明的方法有很好的实时性和准确性。

与现有技术相比，本发明所具有的有益效果为：本发明提出的应用积分通道特征以及 Adaboost训练进行人脸判别的方法，很好地解决了特征融合以及其他训练方法带来的训练 速度慢和训练效果差的问题，提高了人脸姿态判别速度和精度，准确地进行正面人脸判别， 减少了人脸姿态判别的计算量。本发明所提取的正面人脸图片能够很好的选取一段视频中 人脸旋转程度最小的，最有用的人脸图片信息，为后续的视频分析提供了极大的便利。

附图说明

图1是本发明的方法流程图；

图2是训练正样本；

图3是训练负样本；

图4是本发明积分通道特征中3中通道类型；图4(a)是LUV颜色通道变换图；图4(b) 是梯度幅值通道变换图；图4(c)是梯度直方图通道变换图；

图5是输入视频中正面人脸判别流程图；

图6是视频部分示意图；

图7是实时正面人脸判别示意图；

图8是实验结果图。

具体实施方式

本发明的方法包括以下两个阶段：

（1）训练阶段

1)首先在标准视频库以及采集视频中提取人脸图片作为训练样本集，由于本发明主 要是为了快速判别出正面人脸图像，因此为了更好的区分人脸，选择正面人脸图片作为训 练正样本，选择人脸旋转程度大的人脸图片作为训练负样本。正面人脸图像是指人脸绕Y 轴旋转角度小于或者等于5度的人脸图像，而负样本则采用旋转角度大于或者等于30度 的人脸图像。正负样本如图2、3所示。

选取n个样本图像(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…,(x_n,y_n)，x_i是输入样本图像，y_i是类别 标志，其中y_i=0表示为负样本，y_i=1表示为正样本；

2)初始化权重：

${\omega }_{1,i}=\left(\begin{array}{c}\frac{1}{2m},y_i=0\\ \frac{1}{2l},y_i=1\end{array}\right);$

其中m和l分别为非正脸样本和正脸样本的数量，n=m+l；为了能够从大量的弱分类 器中训练出强分类器，Adaboost采用训练的同时改变样本的权重，这样能够在下一次训练 时能够更好的选取样本以及增加训练的效率。

3)训练T个分类器，提取积分通道特征[4]，其基本思想是通过对输入图像进行各种线 性和非线性的变换，诸如局部求和、直方图、Haar-like特征及它们的变种之类的特征便可 以通过积分图来高效快速计算出来。其通道变换类型也多种多样。针对人脸姿态变化很大， 积分通道特征的特征提取方式能够克服单一的特征模式对特征描述的不足，例如单纯的 Haar-Like特征就很难很好的描述各种人脸姿态的变化，其是从各个角度对特征进行集成， 同时又不像特征融合，只是将几种单纯的特征都提取，增加了计算的复杂度，很好的克服 了一般特征融合计算速度慢的问题，其次选取了以下3中通道类型，其中LUV颜色通道 能够很好的描述人脸亮度及色度变化，梯度幅值通道很好的反映了人脸的轮廓，梯度直方 图通道则从不同梯度方向上综合对人脸变化进行描述，以上几种通道类型能够比较好的描 述人脸姿态的变化。首先先对输入样本图像进行以上3种通道变换，总共有10个通道。3 种通道变换如图4所示。

具体提取过程：

Fort=1,2,…,T

(a)归一化权重：

ω_t,i为第t次循环中第i个样本权重；

(b)Forj=1,2,…,K

随机选择积分通道特征f_j：

1.随机选择通道索引bin_k(k=1,…,10)；

2.随机选择矩形区域Rect_j并计算像素值之和Sum_k,j；

对每个特征f_j，训练一个弱分类器h_j，计算相应的ω_t的错误率： 其中h_j(x_i)表示样本x_i的第j个特征构成的弱分类器。且 其由第j个特征的一个阈值θ_j、特征值f_j以及一个指示不等式方向 的偏置p_j（只有±1两种情况）构成。h_j=1表示第j个特征判断此样本为真样本，反之则 为假样本。

(c)选择最小错误率ε_t的弱分类器h_t；

(d)更新权重：

${\omega }_{t+1,i}={\omega }_{t,i}{\beta }_t^{1-\mathrm{ei}}$

其中，当x_i被正确分类时，e_i=0，反之，e_i=1；

4)最终强分类器为h(x)：

$h\left(x\right)=\left(\begin{array}{c}1,\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t{h}_t\left(x\right)\ge \frac{1}{2}\underset{t=1}{\overset{T}{\Sigma }}{\alpha }_t\\ 0,\mathrm{else}\end{array}\right);$

其中，利用步骤3中流程，能够很好的从提取的大量积分通道特征中训练 出具有分类能力很强的强分类器。

（2）判别阶段

判别阶段就是从监控视频对检测的人脸进行正面判别的一个过程。判别阶段就是从监 控视频对检测的人脸进行正面判别的一个过程。在正面人脸判别阶段，对输入的监控视频， 利用已有的成熟的人脸检测算法进行人脸检测，例如OPENCV中人脸检测算法，通过滑 窗对整幅输入图像进行检测，并对每一次检测窗口进行判别，即用第一个阶段训练出的分 类器对该窗口进行正面人脸的判别，即对该窗口是正面人脸的程度给出判断，打分，越接 近正面人脸，最后选出分数最高，也就是人脸最正的那一帧。存储这一帧图像，作为视频 分析的依据。

具体判别流程见附图5。

本发明的关键点是对人脸姿态的估计，为更好的区分正侧脸，在选择正负样本进行训 练的时候，将样本统一规范化成64×64大小的人脸图像，正样本选取的是正脸或者接近正 面人脸图片，负样本选取的是侧脸图片。（例如在具体实现过程中，选取了l=1000张正 样本，m=2000张负样本作为训练样本）部分训练图片如图2和图3所示，从图中可以看出 正样本人脸图片在Y轴方向上的旋转角度是为0或者接近0的，而负样本人脸图片则是旋 转角度比较的人脸图片。

本发明实验初始化为，训练了T=5000个弱分类器，正样本误差权重初始值为1/2000, 负样本误差权重初始值为1/4000，而在训练每一弱分类器中，选取了K=1000个积分通道 特征，来找到使得分类有最小错误率的特征，即弱分类器。

初始化训练以后，利用Adaboost训练方法，例如在第一轮训练过程中，K=1000个特 征值中，Min=165，Max=1853，从而得到阈值初始值1009，按照上述步骤进行训练，从而 得到下面判别过程所需要的强分类器。

训练处分类器后，对于输入的实时视频图像序列，利用已经成熟的人脸检测算法，即 OPENCV中人脸检测模块对输入视频进行人脸检测，为说明本发明的效果，选取的视频序 列共70帧，视频的帧率是30fps。视频部分示意图如图6所示。

在正面人脸实时判别阶段，如图5和图6所示，利用3训练阶段训练出的强分类器对 每一次检测窗口进行正面人脸判别，为了很好的选取正面人脸图片，定义“打分”函数 Score(x)，即将每次检测出的窗口进行正面人脸判别。

经过5之后，已经对每一次检测出的人脸图片进行正面人脸判别，并且存储了其分 数，然后选择该函数中分数最高的那一帧图像，即选择了该段视频中人脸最正的图片， 也就是最有用的信息，便于对视频进行分析。最后判别结果是选取该段视频中的第52 帧，如图7所示，从图中可以看到，该人脸图片能够很清楚反映人脸信息，便于分析。

为进一步验证本方法的有效性，利用FEI人脸库中部分图片进行以下几种方法的比 较，分别是Jones等人[5]提出的运用旋转的Haar-Like特征，以正面人脸图像作为训练 正样本，以非正脸图像作为训练负样本的Adaboost训练分类器对检测出来的人脸区域进 行正面判别的方法。Nikolaidis[6]等人指出，正面人脸图像中两眼与嘴巴中心点连线形 成的三角形为等腰三角形，人脸的旋转将引起该三角形的变化，提出了基于脸部特征点 的方法。Zhu等人[7]提出了一种集人脸检测、姿态人脸估计以及人脸区域标记于一体的 方法，利用脸部区域特征来训练建立树形结构模型的方法。本发明从判别正确率、判别 速度方面进行了4种方法的比较。各种方法比较如表1所示。

表1各种方法的比较

从上面实验结果来看，最早提出的Nikolaidis方法需要精确定位特征点，因此结果 易受到外部条件的影响，判别效果不是很好，Jones分类方法是基于旋转Haar-Like特 征，该特征不能很好的区分正脸和侧脸，虽然其计算速度比较快，正确率却不高，很难 应用到实时监控视频中，Zhu方法拥有很高的正确率，从文献中也可以看出其也能够判别 出复杂条件下的人脸姿态，但是唯一一点不足就是其计算时间太长，不能应用到实际系 统中去，而本发明提出的方法，既达到了一定得正确率，即精度要求，计算判别速度也 很快，因此能够应用到实际系统中。

参考文献：

[1]Eric M C,Mohan M T.Head pose estimation in computer vision:A survey[J].IEEE  Transactions on Pattern Analysis andMachineIntelligence,2009,31(4):607-626.

[2]Li S Z,Lu Xiaogang,Hou Xinwen,et a1.Learning multiview face subspaces and facial  pose estimation using independent component analysis[J].IEEE Transactions on Image  Processing,2005,14(6):705-712.

[3]Shaft M,Chung P W H.Face pose estimation from eyes and mouth[J].Advanced  Mechatronics Systems,2010,11(2):132-138.

[4]Dollar P,Tu Z W,Pe rona P,et al.Integral channel features[A].In Proc.BMVC[C],2009: 1-11.

[5]M.Jones,P.Viola.Fast Multi-View Face Detection.TechnicalReport096,Mitsubishi Electric  Research Laboratories,2003.

[6]A.Nikolaidis,I.Pitas.Facial Feature Extraction and Pose Determination.Pattern  Recognition,2000,vol.33,no.11,PP.1783-1791.

[7]X.Zhu,D.Ramanan.Face Detection,Pose Estimation,and Landmark Localization in  the Wild.Computer Vision and Pattern Recognition(CVPR)Providence,Rhode Island,June 2012.