首页> 中国专利> 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法

一种基于分部式模型和稀疏成分分析的单样本人脸识别方法

摘要

本发明提出一种基于分部式模型和稀疏成分分析的单样本人脸识别方法,首先,将人脸图像分解成若干部分,实现人脸分割,这里的“部分”是人脸图像的一个空间区域或者像素集合,理想的“部分”是眼部或者嘴部等区域。接着,为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一起,完成人脸图像建模。紧接着,基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似度度量衡量人脸之间的相似度。最后,对于输入人脸,根据相似度度量计算数据库与之最相似的人脸,输出其标签,完成单样本人脸识别。

著录项

  • 公开/公告号CN105426836A

    专利类型发明专利

  • 公开/公告日2016-03-23

    原文格式PDF

  • 申请/专利权人 上海师范大学;

    申请/专利号CN201510788322.1

  • 发明设计人 王斌;王存刚;张静;周小平;张倩;

    申请日2015-11-17

  • 分类号G06K9/00;G06K9/62;

  • 代理机构中国商标专利事务所有限公司;

  • 代理人宋义兴

  • 地址 200234 上海市徐汇区桂林路100号

  • 入库时间 2023-12-18 14:59:01

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2019-01-18

    授权

    授权

  • 2016-04-20

    实质审查的生效 IPC(主分类):G06K9/00 申请日:20151117

    实质审查的生效

  • 2016-03-23

    公开

    公开

说明书

技术领域

本发明涉及计算机视觉、模式识别和图像处理方法和设备,尤其涉及一种基 于分部式模型和稀疏成分分析的单样本人脸识别方法、及设备。

背景技术

作为生物特征识别的一个分支,人脸识别在近些年来成为国内外研究者十分 关注的研究领域。目前有很多用于人脸识别的人脸表示方法,在这些方法中,基 于成分分析的方法被广泛用来人脸识别和分析。成分分析方法旨在寻找一组基, 使得其表示训练数据的误差最小。作为成分分析方法的一类,分部式表示在很多 视觉应用,尤其是人脸表示方面,取得了很好的效果。这是因为人脸具有典型的 结构。分部式表示方法期望基对应训练图像的某些语义部分,并且用这些部分的 组合来表示人脸图像。

分部式表示的方法促使其成分稀疏化,并期望其成分能够捕捉给定图片的语 义部分,这些方法用分部式的方式表示图像,其中的每个部分,像整体式方法一 样用一组基表示。在这些方法中,多因素因子分析(MultipleCauseFactor Analysis,MCFA)具有较好的性能。MCFA从给定数据中学习一个共同的空间 分割,并且把分割得到的每个部分用离散的状态空间或者线性空间建模。这个方 法在对齐人脸上效果尤其好。尽管如此,该方法学习到的部分有可能是非连续的, 并且它的部分没有从稀疏成分表示中获益。

与此同时,最近的研究发现稀疏成分分析在计算机视觉应用中取得很好的效 果,并被用来人脸表示和合成。稀疏成分分析的思想是:从训练样本中学习一组 过完备基;但在表示每个样本时,只使用或激活尽可能少的基。该思想具有生理 学基础,从编码的角度而言,稀疏成分分析非常有效并且对数据变化很鲁棒。所 有上述方法中,观测数据x∈R表示为随机线性系统x=Wz+μ+ε的输出,其中 W∈RD×M是由M个成分组成的矩阵;z∈RM×1是与M个成分相对应的组合系数 向量;μ∈RD×1是均值向量;ε∈RD×1是随机噪声向量。稀疏编码促使组合系数z 的元素是稀疏的。与主成分分析法相比,稀疏成分分析学习到的基和样本本身比 较接近,这在一定程度上可以解释稀疏成分分析在图像恢复和识别上的鲁棒性。 尽管如此,稀疏成分分析用整体式方法表示图像,因此它的缺点是在人脸表示方 面不够灵活。

发明内容

本发明的目的在于针对现有方法的不足,提出一种基于分部式模型和稀疏成 分分析的单样本人脸识别方法,克服了分部式表示和稀疏成分分析各自在人脸表 示方面的不足。

本发明第一个方面是提供一种基于分部式模型和稀疏成分分析的单样本人 脸识别方法和设备,克服了分部式表示和稀疏成分分析各自在人脸表示方面的不 足。

本发明第一个方面提供了一种基于分部式模型和稀疏成分分析的单样本人 脸识别方法,包括:

——将人脸图像分解成多个部分,实现人脸分割,这里的“部分”是人脸图像的 一个空间区域或者像素集合;

——为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一 起,完成人脸图像建模;

——基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似 度度量衡量人脸之间的相似度;

——对于输入人脸,根据相似度度量计算数据库与之最相似的人脸,输出其标签, 完成单样本人脸识别。

其中,所述人脸图像分解成的多个部分,至少有一个部分包括眼部或者嘴部。

本发明的一种优选实施例中,所述方法包括:

步骤1,将人脸图像分解成多个部分,实现人脸分割

人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个 部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择 记录在变量rm.=(rm1,...,rmL)T中,该变量服从Multinomial先验: rm.~Mult(n=1,αm.),其中αm.=(αm1,...,αmL)T,该先验记作P1(rm.),并将先验 P1(rm.)施加在r.l=(r1l,...,rMl)之上,该先验记作P2(rm.),两种先验P1(rm.)、P2(rm.) 用PoE结合起来,其中每个先验是一个专家,即:

P(rm)=1ZmP1(rm)×P2(rm)

其中Zm为分割函数;施加在R={rm.}上的完整先验为如下公式(1),

P(R)=ΠmP(rm)=Πm1ZmP1(rm)×P2(rm)=1Z0Πm,lαmlrml×Πm,lexp{-rml(1-4|Dm|ΣmMmrml)}---(1)

其中,Z0=∏mZm是起归一化作用的函数,Mm是变量rml的相邻变量集, 近邻的数目设为|Mm|=4;

步骤2,为每个人脸部分学习稀疏成分分析模型

令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分 分析模型:

yml=Σk=1Kzlkwmlkzlk~Lap(u=0,b=1)---(2)

其中,K是基的数目;为第l个部分的过完备基;

步骤3、逐像素地产生一副图片

对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从 第l个稀疏成分分析模型中产生一个像素。对部分的选择由随机二值向量 rm.=(rm1,...,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个 部分被选中时,rml=1;得到下述模型:

xm=Σl=1Lrmlyml+μm+ϵmrm.~Multi(n=1,αm)---(3)

其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,...,αmL)T为多项式分布的参数;

令Z={zlk},将式(2)代入式(3)中,可以得到下式:

xm=Σl=1LrmlΣk=1Kzlkwmlk+μm+ϵmrm.~Multi(n=1,αm)zlk~Lap(u=0,b=1)---(4)

考虑到式(4)的第一个等式,观测变量x的条件分布可表示为:

P(x|R,Z)=ΠmP(xm|rm.,Z)=ΠmN(xm;ΣlrmlΣkzlkwmlk+μm,σm2)---(5)

步骤4,导出可以表示人脸的产生式模型

导出本发明中人脸表示的产生式模型P(x,Z,R):

其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合;

步骤5,采用MontoCarloEM算法学习步骤4导出的产生式模型的参数

MontoCarloEM算法是下列两个步骤的迭代:(1)对于每个给定的训练样 本,首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的 样本更新参数θ(-Step)

步骤6,基于学习好的产生式模型导出人脸特征,并基于该特征定义相似度函数;

步骤7,使用上述产生式模型和相似度函数进行单样本人脸图像识别。

其中,步骤6中,导出人脸特征方法优选为:

P(Zc|xc)编码了与样本xc相关的信息,使用投影和 的组合作为xc的特征hc

hc=vec({EP(zlkc|xc,θ)[zlkc],EP(tsc|xc,θ)[tsc]}l,k).

其中,步骤6中,定义相似度函数的方法优选为:

定义样本xc和样本xb之间的相似度为以下加权内积:

SPD(xc,xb)=hcTVhb;

其中V为表示人脸基权值的对角矩阵。

本发明第二个方面提供了一种基于分部式模型和稀疏成分分析的单样本人 脸识别设备,包括:

——人脸图像库;

——人脸图像采集装置,采集并输入人脸图像;

——处理器,处理器包括

——人脸图像分解模块,将采集的人脸图像分解成多个部分,实现人脸分割, 这里的“部分”是人脸图像的一个空间区域或者像素集合;

——人脸图像建模模块,为每个部分学习一个稀疏成分分析模型,并且把不 同部分的模型结合在一起,完成人脸图像建模;

——学习模块,基于学习出的分部式稀疏成分分析模型导出人脸图像的特 征,并且定义相似度度量衡量人脸之间的相似度;

——输出模块,对于输入人脸,根据相似度度量人脸图像库中与之最相似的 人脸,输出度量结果,完成单样本人脸识别。

其中,所述人脸分割方法优选为:

人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个 部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择 记录在变量rm.=(rm1,...,rmL)T中,该变量服从Multinomial先验: rm.~Mult(n=1,αm.),其中αm.=(αm1,...,αmL)T,该先验记作P1(rm.),并将先 验P1(rm.)施加在r.l=(r1l,...,rMl)之上,得到先验P2(rm.),两种先验P1(rm.)、P2(rm.) 用PoE结合起来,其中每个先验是一个专家,即:

P(rm)=1ZmP1(rm)×P2(rm)

其中Zm为分割函数;

P1(rm.)、P2(rm.)施加在R={rm.}上的完整先验为如下公式(1),

P(R)=ΠmP(rm)=Πm1ZmP1(rm)×P2(rm)=1Z0Πm,lαmlrml×Πm,lexp{-rml(1-4|Dm|ΣmMmrml)}---(1)

其中,Z0=∏mZm是起归一化作用的函数,Mm是变量rml的相邻变量集, 近邻的数目设为|Mm|=4。

其中,所述学习稀疏成分分析模型的方法优选为:

令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分 分析模型:

yml=Σk=1Kzlkwmlkzlk~Lap(u=0,b=1)---(2)

其中,K是基的数目;为第l个部分的过完备基。

其中,所述人脸图像建模方法优选为:

对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第 l个稀疏成分分析模型中产生一个像素;对部分的选择由随机二值向量 rm.=(rm1,...,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个 部分被选中时,rml=1;得到下述模型:

xm=Σl=1Lrmlyml+μm+ϵmrm.~Multi(n=1,αm.)---(3)

其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,...,αmL)T为多项式分布的参数;

令Z={zlk},将式(2)代入式(3)中,可以得到下式:

xm=Σl=1LrmlΣk=1Kzlkwmlk+μm+ϵmrm.~Multi(n=1,αm.)zlk~Lap(u=0,b=1)---(4)

观测变量x的条件分布表示为:

P(x|R,Z)=ΠmP(xm|rm.,Z)=ΠmN(xm;ΣlrmlΣkzlkwmlk+μm,σm2)---(5)

导出本发明中人脸表示的产生式模型P(x,Z,R):

其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合。

其中,所述学习人脸图像的特征的方法优选为包括:采用MontoCarloEM 算法学习步骤4导出的产生式模型的参数。

更优选地,所述MontoCarloEM算法优选为:下列两个步骤的迭代:(1) 对于每个给定的训练样本,首先采用Gibbs采样的方法采集R和Z的样本(-Step) (2)利用采样得到的样本更新参数θ(-Step)。

其中,导出人脸图像的特征的方法优选为:

P(Zc|xc)编码了与样本xc相关的信息,使用投影和 的组合作为xc的特征hc

hc=vec({EP(zlkc|xc,θ)[zlkc],EP(tsc|xc,θ)[tsc]}l,k).

其中,定义相似度的方法优选为:

定义样本xc和样本xb之间的相似度为以下加权内积:

SPD(xc,xb)=hcTVhb;

其中V为表示人脸基权值的对角矩阵。

本发明结合了分部式表示的灵活性和稀疏成分分析的鲁棒性,克服了分部式 表示和稀疏成分分析各自在人脸表示方面的不足,与现有方法相比,本发明的有 益效果包括:

(1)结合了分部式表示的灵活性和稀疏成分分析的鲁棒性。

(2)使用PoE(productofexperts)来推导连续性先验,并用连续性先验帮助 学习连续和灵活的人脸部分。

(3)使用稀疏成分分析模型来表示每一个人脸部分,而不是离散的状态空间。

(4)可以利用无标签样本的信息,获取有标签的训练数据通常代价高昂,而本 发明在少量有标签训练样本的情况下也可以很好得工作。

(5)该模型可以采用离线的方式训练,因此它有很高的计算效率,可以胜任实 时计算。

附图说明

图1为基于分部式稀疏成分分析模型的单样本人脸识别方法流程图。

图2为实施例人脸图像库的示例图像。

图3为本发明学习出的人脸部分(B)与其他方法学习出的人脸部分(A)的对 比图。

图4为本发明评估在实施例图像库上参数对识别效果的影响。

具体实施方式

以下结合具体实施例和附图对本发明的技术方案做更详细的阐述,操作的流 程图如图1所示。以下实施例在以本发明技术方案为前提下进行实施,给出了详 细的实施方式和过程,但本发明的保护范围不限于下述的实施例。

本发明的具体实施例为使用CBCL人脸数据库学习人脸部分先验,并把它 迁移到PIE人脸数据库上(如图2所示),完成人脸识别。

下面结合附图对本发明的实施方式做更具体的说明,详述如下(使用Visual C++编程实现):

步骤10,提供人脸图像训练集。

本实施例使用CBCL人脸数据库来学习人脸部分先验,并将它迁移到PIE 人脸数据库上的识别实验中。部分的数目设置为L=6,基的数目设置为 K=200(<M)。

步骤20,学习人脸表示模型,包括:

——步骤21,学习人脸部分先验,实现人脸分割

人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个 部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择 记录在变量rm.=(rm1,...,rmL)T中,该变量服从Multinomial先验: rm.~Mult(n=1,αm.),其中αm.=(αm1,...,αmL)T,该先验记作P1(rm.),并将先验 P1(rm.)施加在r.l=(r1l,...,rMl)之上,得到先验P2(rm.),两种先验P1(rm.)、P2(rm.) 用PoE结合起来,其中每个先验是一个专家,即:

P(rm)=1ZmP1(rm)×P2(rm)

其中Zm为分割函数。

P1(rm.)、P2(rm.)施加在R={rm.}上的完整先验为如下公式(1),

P(R)=ΠmP(rm)=Πm1ZmP1(rm)×P2(rm)=1Z0Πm,lαmlrml×Πm,lexp{-rml(1-4|Dm|ΣmMmrml)}---(1)

其中,Z0=∏mZm是起归一化作用的函数,Mm是变量rml的相邻变量集, 近邻的数目设为|Mm|=4。

——步骤22、23,使用人脸部分先验学习稀疏成分分析模型。

在适当归一化的人脸图像中,各器官具有相似的相对位置。对于本发明中的 模型,这意味着所有的人脸共享相同的变量R和定义部分的α。在本次实施过 程中,固定人脸部分先验,重复使用学习到的参数α0并固定α=α0,离线学习稀 疏成分分析模型。具体如下:

令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分 分析模型:

yml=Σk=1Kzlkwmlkzlk~Lap(u=0,b=1)---(2)

其中,K是基的数目;为第l个部分的过完备基。

对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第 l个稀疏成分分析模型中产生一个像素;对部分的选择由随机二值向量 rm.=(rm1,...,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个 部分被选中时,rml=1;得到下述模型:

xm=Σl=1Lrmlyml+μm+ϵmrm.~Multi(n=1,αm.)---(3)

其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,...,αmL)T为多项式分布的参数;

令Z={zlk},将式(2)代入式(3)中,可以得到下式:

xm=Σl=1LrmlΣk=1Kzlkwmlk+μm+ϵmrm.~Multi(n=1,αm.)zlk~Lap(u=0,b=1)---(4)

考虑到式(4)第一个等式,观测变量x的条件分布可以表示为:

P(x|R,Z)=ΠmP(xm|rm.,Z)=ΠmN(xm;ΣlrmlΣkzlkwmlk+μm,σm2)---(5)

——步骤23、导出学习的人脸表示模型。

导出本发明中人脸表示的产生式模型P(x,Z,R):

其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合。

采用MontoCarloEM算法学习导出的产生式模型的参数,完整的算法是下 列两个步骤的迭代:(1)对于每个给定的训练样本,首先采用Gibbs采样的方 法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)

如图3所示,上图(A组)是其他方法学习出的人脸部分,下图(B组)为 本发明学习出的人脸部分。第l列是定义部分的参数α.l的可视化,像素值表示 该像素属于部分的概率。

本发明学习出的人脸部分和其他方法学习出的人脸部分相比有以下特点:学 习出的分割为软分割,即部分的相邻边界处有重叠,软分割在人脸合成中的效果 更好。

步骤30、基于稀疏成分分析模型导出人脸特征。

由于后验分布P(Zc|xc),P(Zc|xc)编码了与样本xc相关的信息,本发明 使用投影和的组合作为xc的特征hc

hc=vec({EP(zlkc|xc,θ)[zlkc],EP(tsc|xc,θ)[tsc]}l,k)

同样,获得样本xb的特征hb

步骤40、定义人脸样本之间的相似度。

基于导出的人脸特征,定义样本xc和xb之间的相似度为以下加权内积:

SPD(xc,xb)=hcTVhb

其中V为表示人脸基权值的对角矩阵,通过最大化类间距离确定,该相似度度量 可以无缝地与概率产生式模型结合。

根据Gibbs采样法得到Zc、tc的样本,并用这些样本估计分布P(Zc,tc|xc) 和投影hc

步骤50、基于分部式稀疏成分分析模型和相似度函数进行单样本人脸识别。

有了人脸图像的特征导出方式和人脸图像之间的相似度度量,下面进行 PIE人脸数据库上的单个样本人脸识别。单样本人脸识别在实际中非常有价值, 这是因为,实际应用中每个人通常只有一个或者很少的样本。对于C个人的检索 问题,训练集由两部分组成:第一部分是来自C个人的C幅有标签的人脸图片, 另外一部分是来自其他任何人的无标签样本。单样本人脸识别的目标是,基于训 练集训练模型,并借助于模型为输入的测试样本指定标签。具体来说,输入一副 测试人脸图片,计算其与训练集中每一副人脸图像之间的相似度,找出与测试图 像最相似的,输出其标签,完成人脸识别。

PIE人脸库是个很有挑战性的人脸库,它包括41368幅人脸图像,这些图 像在光照、照明和姿势变化的情况下从68个人上获取。实验中选用正面姿势 (C27),每个人选取49幅人脸图片。所有的图片被归一化到大小为32×32的 灰度图像。对于每个人,随机选择30幅图片作为训练集,剩下的图片作为测试 集。对于训练集中的每个人,随机选择一副图片并给它标签,剩余的29幅图片 没有标签。识别过程根据相似度函数,将每幅无标签或者测试图片分配给离它最 近(最相似)的有标签的样本。

为了验证本发明的有效性,在实施例上和所涉领域的最新方法做了比较。这 些方法包括多因素因子分析(MultipleCauseFactorAnalysis,MCFA)、结构化 稀疏主成分分析(StructuredSparsePrincipleComponentAnalysis,SSPCA)、 图正则化非负矩阵分解(GraphRegularizedNonnegativeMatrixFactorization, GNMF)、局部线性嵌入(LocalLinearEmbedding,LLE)和半监督判别分析 (Semi-SupervisedDiscriminantAnalysis,SSDA)。对于方法SSDA,引用文 献里的结果;对于方法GNMF和LLE,使用作者发布的程序或者建议的参数; 对于成分分析方法,即本发明中所述方法、MCFA和SSPCA,使用离线交叉验 证法选择参数。

所有这些方法,首先从无标签训练数据中学习模型,然后导出相似度函数并 用于检索。实验重复测试了30轮。每轮中随机从每个人的样本中选择一个并赋 予标签,最后给出平均结果。根据离线交叉验证,MCFA和SSPCA在实施例上 参数设置为:L=6和K=200,本发明在实施例上的参数设为L=6和K=20。 本发明还评估了这些参数对识别效果的影响,实验结果如图4和表1所示。PIE 人脸数据库上识别正确率如表1所示,基准方法是最近邻分类,它直接使用像素, 没有利用标签信息。

表1,本发明与现有技术识别效果的对比

方法 无标签样本准确率 测试样本准确率 基准方法 24.79±1.49 24.31±1.58 Eigenface 21.31±1.42 20.74±1.50 SDA 39.93±2.94 39.47±3.26 LLE 47.56±2.65 47.32±2.81 GNMF 49.34±2.73 49.02±2.87 MCFA 34.67±2.16 34.38±2.24 SSPCA 39.04±2.82 38.96±2.98 本发明 51.76±2.16 51.34±2.58

本发明使用相似度函数SPD,效果优于SSDA、LLE和其他的方法。图4 为本发明(PSCA+SPD)、MCFA(MCFA+SPD)和SPCA(SSPCA+SPD)识别 准确率随参数L(部分数目)的变化。如图4所示,随着L的变化,本发明一 致地优于另外两种方法,且在L=5,6时取得最好结果。

以上对本发明的具体实施例进行了详细描述,但其只是作为范例,本发明并 不限制于以上描述的具体实施例。对于本领域技术人员而言,任何对本发明进行 的等同修改和替代也都在本发明的范畴之中。因此,在不脱离本发明的精神和范 围下所作的均等变换和修改,都应涵盖在本发明的范围内。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号