一种人脸姿态检测方法与在人脸识别中的应用

摘要

一种人脸姿态检测方法与在人脸识别中的应用，涉及一种人脸识别。对训练集中的图像分类，通过训练集的HOG特征计算出对应于三种人脸姿态的姿态估计滤波器组，通过训练集的Gabor特征计算出对应于三种人脸姿态的识别滤波器组，根据测试图片的HOG特征判定图像中人脸的姿态方向并利用相应的识别滤波器组做识别。将人脸姿态分为三类：左侧、正面、右侧姿态人脸。分别提取三类人脸姿态的HOG和Gabor特征。用PCA分别对三类人脸姿态的HOG和Gabor特征去噪和降维。提取每类人脸的轮廓信息。提取测试图像的HOG特征并以此信息判定该测试人脸的姿态方向。根据测试人脸的姿态方向利用相应的Gabor滤波器组识别测试图像。

说明书

技术领域

本发明涉及一种人脸识别，尤其是涉及基于相关滤波器的一种人脸姿态检测方法与在 人脸识别中的应用。

背景技术

计算机视觉技术始于20世纪60年代，它大致能分成检测、跟踪、识别等方向，最近的几 十年，它已经成为十分热门的研究领域。计算机视觉技术广泛地应用于航空航天、自动导航、 工业检测、医学研究、临床诊治、安全监控、娱乐、国防、交通、遥感等诸多重要领域中。 计算机视觉技术是真正人工智能的一个必要前提，其中与人脸相关的技术包括人脸检测、跟 踪和识别技术，它们与许多应用紧密的连接在一起。人脸检测已经成功的应用在了相机的应 用中，而且人脸检测技术是人脸识别在实际应用中是一个关键步骤。人脸识别技术因其具有 非接触性在安全领域有广泛的应用，比如在机场、地铁等公共场所能有效的隐蔽地监测。在 小区安防和门禁系统中都扮演着重要的角色。人脸识别技术也活跃在娱乐领域，人脸识别与 表情识别的结合则有更广阔的应用前景，人脸和表情识别技术在便携穿戴设备如谷歌眼镜也 有应用。

当前人脸姿态估计方法大致能分成两大类：一，基于模型方法；二，基于表观方法。基 于模型的方法一般都是通过重建人脸三维模型来判断人脸的姿态情况，此类方法的特征是比 较准确但需要庞大的计算量，因此不适合实时计算。基于表观的方法有两种：一是基于特征 表示的鲁棒性；二是基于人脸的特征点检测。基于特征表示鲁棒性的方法是依靠某种特征对 姿态变化不敏感的性质完成人脸姿态估计，此类方法的特点是估计的准确率严重依赖特征表 示的性质。基于人脸特征点的方法通过在图像上标注多个人脸的特征点并通过特征点之间的 几何关系判定人脸的姿态方向，此类方法的特点是姿态估计的准确率依赖于特征点检测的准 确率。

相关滤波器技术源于相关运算，相关运算是计算两种模型之间的相似程度一种运算。假 设有两张图片R、T，在二维上将它们定义为两个模式R(x,y)，T(x,y)。两个模式之间的相关运 算为：$(T*R)(x,y)=\int \int T(x,y)R(x-{\Gamma }_x,y-{\Gamma }_y)d{\Gamma }_{x}d{\Gamma }_y.$将两个模式转化到频域上并将R(x,y)作为 滤波器，则相关运算可认为是用R(x,y)滤波器对T(x,y)进行滤波，即为相关滤波器。

由于相关滤波器具有时移不变性、良好的退化性和闭式解等优点，它已经有效地应用在 了人脸识别上。近几十年，相关滤波器技术发展迅速。Mahalanobis等人提出了最小平均相 关能量滤波器（Minimum Average Correlation Energy filter,MACE）。Kumar等人提出了最小 方差合成鉴别函数滤波器（Minimum Variance Synthetic Discriminant Function filter,MVSDF）。 Refregier则综合了MACE和MVSDF的优点提出了最优折中滤波器（Optimal Tradeoff Filter, OTF）。

相关滤波器在计算机视觉领域有许多的应用，如Venkataramani等人提出用相关滤波器在 门禁系统中做指纹识别。（Venkataramani,K.,Vijaya Kumar,B.V.K.:Performance of Composite  Correlation Filters for Fingerprint Verification.J.Opt.Engineering,Vol.24(8):1820--1827, (2004).）Henning等人提出用相关滤波器处理掌纹信息（Hennings,P.,Vijaya Kumar,B.V.K.: Palmprint Recognition Using Correlation Filter Classifiers.In:Proc.Signals,Systems And  Computers Vol.1,pp.567--571(2004).）。Chong等人则运用相关滤波器做虹膜识别（Chong, S.C.,Jin,A.T.B,Ling,D.N.C.:Iris Authentication Using Privatized Advanced Correlation Filter. LNCS,3832,pp.382--388,Springer-Verlag,(2006).）

发明内容

本发明的目的在于提供一种基于相关滤波器的人脸姿态检测方法。

本发明的第二目的在于提供所述基于相关滤波器的人脸姿态检测方法在人脸识别中的 应用。

所述基于相关滤波器的人脸姿态检测方法包括以下步骤：

A．准备训练图像集{x₁,x₂,…,x_N}，其中x_i(i=1,2,…,N)为第i幅训练图像的向量表示，N 为训练样本总数，将所有样本向量按列组合组成训练集，训练集中包含C类人脸且第C类 人脸有N_C个样本，每类人脸选取相同的训练样本，将训练集中的图像分成三类，分别是左 侧姿态人脸子集、正面姿态人脸子集和右侧姿态人脸子集；

B．提取训练图像集的HOG特征和Gabor特征后，对这两种特征分别利用主成份分析 （PCA）得到投影矩阵并进行特征降维；

C．利用降维得到的HOG特征和Gabor特征都分别训练三个最优折中滤波器（OTF） 组成相关滤波器组（包含三种姿态滤波器，即左侧姿态，正面姿态和右侧姿态滤波器）；

D.提取测试图像的HOG特征和Gabor特征后，利用训练集得到的投影矩阵进行特征降 维；

E．将测试图像降维得到的HOG特征送入包含三种姿态的相关滤波器组进行特征提取， 并计算其与左侧姿态脸模板、正面姿态模板、右侧姿态脸模板的欧式距离后，选取距离最 小对应的模板作为检测到的姿态。

在步骤A中，所述准备训练图像集可采用以下方法：

A1.选取的人脸数据库包括三种人脸姿态，即：左侧姿态、正面姿态（无偏转人脸）和 右侧姿态；

A2.在人脸数据库中挑选包含三种基本人脸姿态的所有对象，即：选取训练的每个个体 包含三种基本人脸姿态；

A3.将所有对象的左侧姿态图像人工划分为左侧姿态人脸数据集，正面姿态图像划分为 正面姿态人脸数据集、右侧姿态图像划分为右侧姿态人脸数据集等共三个训练子集；

A4.将所有的训练子集向量化组成

{x₁,x₂,…,x_N}，

其中x_i(i=1,2,…,N)为第i个训练图像的向量表示，N为训练样本总数，将所有样本向量按列 组合组成训练集。

在步骤B中，所述对训练图像集利用主成份分析得到投影矩阵并进行降维可采用以下 方法：

B1.计算每个训练子集的平均脸，计算方法如下：首先对训练子集提取HOG特征和 Gabor特征，然后以矩阵的形式表示每个训练子集，最后对训练子集的HOG或Gabor特征 数据按列相加除以列数的方式得到的向量即为平均脸；

B2.计算每个训练子集的每种特征表示的总体散布矩阵，即

$S_T=\underset{k=1}{\overset{N}{\Sigma }}(x_k-\mu ){(x_k-\mu )}^T,$

其中μ为训练数据集的平均脸，x_k为训练子集中第k个样本的向量化表示；

B3.按照投影能够最大化的准则计算投影矩阵W_HOG和W_Gabor，计算方法如下：对每个训 练子集的两种特征表示的总体散布矩阵分别进行奇异值分解，得到特征向量和相应的特征 值后，保留特征值能量为95%对应的特征向量组成投影矩阵；

B4.利用投影矩阵W_HOG对HOG特征和Gabor特征进行降维从而得到降维后的数据，计 算方法如下：

$y_i^H={W_H^T}_{\mathrm{OG}}{x}_i^H,i=1,...,N$

$y_i^G=W_{\mathrm{Gabor}}^T{x}_i^G,i=1,...,N,$

其中和表示HOG特征和Gabor特征，T表示转置运算。

在步骤C中，所述训练三个最优折中滤波器（OTF）组成相关滤波器组可采用以下方 法：

C1.对特定姿态人脸训练子集的HOG特征和Gabor特征进行傅里叶变换使其从空域表 示转化为频域表示；

C2.利用频域表示的HOG特征和Gabor特征训练最小平均相关能量滤波器（MACE）， 具体的计算形式为：

F_MACE=Q^-1Y(Y⁺Q^-1Y)^-1c，

其中Y是训练数据在频域上的表示；Q一个对角矩阵它对角线上的值是N个训练样本的平 均功率谱；c是一个N*1的向量，对于第i类滤波器对应的位置为1，其余为0；

C3.利用频域表示的HOG特征和Gabor特征训练最小方差合成鉴别函数滤波器 （MVSDF），具体的计算形式为：

F_MVSDF=G^-1Y(Y⁺G^-1Y)^-1c，

其中G为训练图像的噪声矩阵，采用白噪声模拟图像噪声；

C4.计算最优折中滤波器（OTF），具体的计算形式为：

F_OTF=T^-1Y(Y⁺T^-1Y)^-1c，

其中T=αQ+(1-α)G，α为权重参数，通常设置为0.6；

C5.利用不同姿态的训练子集重复C1-C4的步骤得到不同的OTF后组成对应HOG特征 和Gabor特征的相关滤波器组（包括左侧姿态人脸滤波器一个，正脸姿态滤波器一个和右 侧姿态人脸滤波器一个）。

在步骤D中，所述提取测试图像的HOG特征后，利用训练集得到的投影矩阵进行特 征降维可采用以下方法：

D1.计算测试图像的HOG特征x^H；

D2.利用人脸训练集得到的PCA投影矩阵W_HOG进行特征降维，计算方法如下：

$y^H=W_{\mathrm{HOG}}^T{x}^H,$

其中T表示转置运算。

所述基于相关滤波器的人脸姿态检测方法可用于人脸识别。

所述基于相关滤波器的人脸姿态检测方法用于人脸识别的方法包括以下步骤：

1）根据姿态检测结果，提取部分人脸图像的Gabor特征后，利用训练集得到的投影矩 阵进行特征降维；

2）将降维得到的Gabor特征送入对应的人脸相关滤波器组进行滤波处理后（左侧姿态 人脸用左侧人脸滤波器组，正面姿态人脸用正脸滤波器组、右侧姿态人脸用右侧人脸滤波 器组），对测试图像和训练图像滤波后的结果用最近邻方法分类得到的结果即为最终人脸识 别结果。

在步骤1）中，所述根据姿态检测结果，提取部分人脸图像的Gabor特征后，利用训练 集得到的投影矩阵进行特征降维可采用以下方法：

（1）根据姿态检测结果选取提取部分人脸图像，具体操作如下：若人脸是正面姿态， 则提取整张图像；若是人脸是左侧姿态，则提取从右边缘算起80%的图像；若人脸是右侧 姿态，则提取从左边缘算起80%的图像；

（2）提取部分人脸图像的Gabor特征x^G，利用Gabor特征对应的投影矩阵W_Gabor进行 降维，计算方法如下：

$y^G=W_{\mathrm{Gabor}}^T{x}^G,$

其中T表示转置运算。

本发明提出基于相关滤波器的人脸姿态检测方法在人脸识别中的应用。首先对训练集 中的图像分类（左侧姿态，正面姿态，右侧姿态），然后通过训练集的HOG特征计算出对 应于三种不同人脸姿态的姿态估计滤波器组，接着通过训练集的Gabor特征计算出对应于 三种不同人脸姿态的识别滤波器组，最后根据测试图片的HOG特征判定图像中人脸的姿态 方向并利用相应的识别滤波器组做识别。

本发明将人脸姿态分为三类（左侧姿态人脸，正面姿态人脸，右侧姿态人脸）之后做如 下处理：

1.分别提取这三类人脸姿态的HOG特征和Gabor特征。

2.用PCA分别对三类人脸姿态的HOG特征和Gabor特征去噪和降维。

3.利用相关滤波器提取每类人脸的轮廓信息。

4.提取测试图像的HOG特征并以此信息判定该测试人脸的姿态方向。

5.根据测试人脸的姿态方向利用相应的Gabor滤波器组识别测试图像。

具体实施方式

下面实施例将对对本发明的方法作进一步的说明，本实施例在以本发明技术方案为前提 下进行实施，给出了实施方式和具体操作过程，但本发明的保护范围不限于下述的实施例。

本发明包括以下步骤：

S1.准备训练图像集，将训练集中的图像分成三类，分别是左侧姿态图像集、正面姿态 图像集、右侧姿态图像集。

具体包括：

（1）选取的人脸数据库包括三种人脸姿态，即：左侧姿态、正面姿态（无偏转人脸） 和右侧姿态。

（2）在人脸数据库中挑选包含三种基本人脸姿态的所有对象，即：选取训练的每个个 体包含三种基本人脸姿态。

（3）将所有对象的左侧姿态图像人工划分为左侧姿态人脸数据集，正面姿态图像划分 为正面姿态人脸数据集、右侧姿态图像划分为右侧姿态人脸数据集等共三个训练子集。

（4）将所有的训练子集向量化组成{x₁,x₂,…,x_N}，其中x_i(i=1,2,…,N)为第i个训练图像 的向量表示，N为训练样本总数，将所有样本向量按列组合组成训练集。

S2.提取训练图像集的HOG特征和Gabor特征后，对这两种特征分别利用主成份分析 （PCA）进行特征降维。

具体包括：

（1）计算每个训练子集的平均脸。其计算方法如下：首先对训练子集提取HOG特征 和Gabor特征，然后以矩阵的形式表示每个训练子集。最后对训练子集的HOG或Gabor特 征数据按列相加除以列数的方式得到的向量即为平均脸。

（2）计算每个训练子集的每种特征表示的总体散布矩阵，即其 中μ为训练数据集的平均脸，x_k为训练子集中第k个样本的向量化表示。

（3）按照投影能够最大化的准则计算投影矩阵W_HOG和W_Gabor。其计算方法如下：对每 个训练子集的两种特征表示的总体散布矩阵分别进行奇异值分解，得到特征向量和相应的 特征值后，保留特征值能量为95%对应的特征向量组成投影矩阵。

（4）利用投影矩阵W_HOG对HOG特征和Gabor特征进行降维从而得到降维后的数据。 其计算方法如下：$y_i^H=W_{\mathrm{HOG}}^T{x}_i^H,i=1,...,N$和$y_i^G={W_{\mathrm{Gabor}}^{T}x}_i^G,i=1,...,N,$其中和表示HOG 特征和Gabor特征，T表示转置运算。

S3.利用降维得到的HOG特征训练三个最优折中滤波器（OTF）组成包含三种姿态的 相关滤波器组（即左侧姿态，正面姿态和右侧姿态）。

具体包括：

（1）对特定姿态人脸训练子集的HOG特征进行傅里叶变换使其从空域表示转化为频 域表示。

（2）利用频域表示的HOG特征训练最小平均相关能量滤波器（MACE）。其具体的计 算形式为：F_MACE=Q^-1Y(Y⁺Q^-1Y)^-1c，其中Y是训练数据在频域上的表示；Q一个对角矩阵它 对角线上的值是N个训练样本的平均功率谱；c是一个N*1的向量，对于第i类滤波器对应 的位置为1，其余为0。

（3）利用频域表示的HOG特征训练最小方差合成鉴别函数滤波器（MVSDF）。其具体 的计算形式为：F_MVSDF=G^-1Y(Y⁺G^-1Y)^-1c，其中G为训练图像的噪声矩阵，采用白噪声模拟 图像噪声。

（4）计算最优折中滤波器（OTF）。其具体的计算形式为：F_OTF=T^-1Y(Y⁺T^-1Y)^-1c，其中 T=αQ+(1-α)G，α为权重参数，通常设置为0.6。

（5）利用不同姿态的训练子集重复步骤（2）～（4），得到不同的OTF后组成一个相 关滤波器组（包括左侧姿态人脸滤波器一个，正脸姿态滤波器一个和右侧姿态人脸滤波器 一个）。

S4.利用降维得到的Gabor特征训练三个最优折中滤波器（OTF）组成包含三种姿态的 相关滤波器组（即左侧姿态，正面姿态和右侧姿态）。

具体包括：实施步骤同S3，只需将HOG特征替换为Gabor特征。

S5.对测试图像提取HOG特征。

S6.对测试图像的HOG进行特征降维。

具体包括：利用人脸训练集得到的PCA投影矩阵W_HOG进行特征降维。其计算方法如下： 其中x^H为测试图像的HOG特征，T表示转置运算。

S7.利用HOG滤波器检测人脸姿态。

具体包括：将测试图像降维得到的HOG特征送入包含三种姿态的相关滤波器组进行特 征提取，并计算其与左侧姿态脸模板、正面姿态模板、右侧姿态脸模板的欧式距离后，选 取距离最小对应的模板作为检测到的姿态。

S8.根据姿态检测结果，提取部分人脸图像的Gabor特征后，利用训练集得到的投影矩 阵进行特征降维。

具体包括：

（1）根据姿态检测结果选取提取部分人脸图像。具体操作如下：若人脸是正面姿态， 则提取整张图像；若是人脸是左侧姿态，则提取从右边缘算起80%的图像；若人脸是右侧 姿态，则提取从左边缘算起80%的图像。

（2）提取部分人脸图像的Gabor特征x^G，利用Gabor特征对应的投影矩阵W_Gabor进行 降维。其计算方法如下：其中T表示转置运算。

S9.经过降维处理的Gabor特征送入相应的滤波器组做滤波处理并与相应的模板做对比 得到最后的识别结果，即：若图像为左侧人脸则送入左侧人脸滤波器组中进行滤波并计算 滤波结果与左侧人脸模板中各个类别的欧式距离选取最小的一个作为识别结果，对正脸和 右侧人脸做类似应的处理。

为了验证本发明的有效性，采用三个多姿态人脸数据库，包括PIE，HPI和UMIST数 据库。在PIE数据库中，每个对象包含三种姿态共计1863幅图像（每个姿态选取621幅图 像）。HPI数据库包含15个对象，每个对象的左侧姿态和右侧姿态选取10幅图像，正面姿 态选取6幅图像。UMIST数据库包含19个对象，每个对象的三种姿态均选取6幅图像。在 每个数据库中，30%的图像为训练集，剩余70%为测试集。

三种方法的姿态检测实验效果对比见表1（其中本发明名称为相关滤波器组（FB））。

表1

从表1可以看出，采用本发明的平均姿态检测率在99%以上。FB方法比PCA，LDA 两种传统方法的姿态检测性能更加优异。这是因为首先FB结合HOG特征记录人脸的轮廓 信息和人脸姿态信息；其次FB采用相关滤波器组技术有效提取姿态特征。

三种方法的人脸识别实验效果对比见表2（其中本发明名称为相关滤波器组（FB））。

表2

从表2可以看出，采用本发明的平均人脸识别率在88%以上。FB方法比CFA，1D-CFA 两种传统方法的人脸识别性能更加优异。这是因为首先FB利用姿态估计有效提高人脸识别 率；其次采用Gabor特征进行有效的鉴别特征提取。