公开/公告号CN102938144A
专利类型发明专利
公开/公告日2013-02-20
原文格式PDF
申请/专利权人 深圳先进技术研究院;
申请/专利号CN201210390050.6
申请日2012-10-15
分类号G06T5/50;
代理机构
代理人
地址 518055 广东省深圳市南山区西丽大学城学苑大道1068号
入库时间 2024-02-19 16:40:09
法律状态公告日
法律状态信息
法律状态
2016-04-13
授权
授权
2013-03-27
实质审查的生效 IPC(主分类):G06T5/50 申请日:20121015
实质审查的生效
2013-02-20
公开
公开
技术领域
本发明涉及人脸重加光技术领域,具体地讲,是指一种基于总变分模型 的人脸重加光方法。
背景技术
所谓人脸重加光技术,即对输入的人脸图像进行处理,合成用户指定光 照条件下的人脸图像。人脸重加光技术在视频监控、媒体处理、数字艺术、 公安侦查等领域具有广泛的应用。譬如,在人脸识别系统中,通过对人脸图 像进行重加光处理,使得人脸图像具有相同的光照条件,从而提高人脸识别 准确率。在图像合成中,可以通过人脸重加光技术来协调人脸与周围场景的 光照,从而达到更真实的合成效果。
现有的人脸重加光技术主要有以下几类:
1)基于商图像或者比值图像的方法:
商图像定义为两个不同人脸在相同姿势且相同光照条件下的商。如果已 经知道其中一个人脸α在某光照条件t下的图像Iα,t,则利用两个人脸之间 的商图像以及Iα,t来合成另外一个人脸在光照条件t下的图像。
2)基于反射成分和光照成分分离的方法:
根据物理成像原理,一张人脸图像由反射成分和光照成分组成。反射成 分主要描述人脸表面反射率;光照成分则描述人脸的光照和阴影信息。如果 能有效地估计出图像的反射成分和光照成分,则可以通过调整或者更换光照 成分来达到人脸重加光。其中,一般假设不同种光照成分可以构成一个低维 线性子空间。
3)基于三维人脸模型的方法:
从人脸图像重构人脸的三维模型,然后根据三维空间模拟光照的方法来 进行人脸重加光。
4)基于多项式模型的方法:
通过统计回归,总结出一个多项式函数族来刻画同个人脸在不同光照条 件下的图像之间的关联。从而,该多项式模型可以用来直接实现人脸重加光。
现有的人脸重加光技术,尚存在很多不足:比如,很多方法仅能支持单 张输入图像,而单张图像所含信息有限,在进行光照、商图像、反射率等估 计的时候,在图像的阴影区域往往会得到错误的估计结果。而基于三维人脸 模型的方法要求对同一个人有大量不同姿势下的输入图像,否则很难重构出 精准的三维模型。基于多项式模型的方法又难以处理光照变化非常大的情 况。
发明内容
本发明的目的在于提供一种基于总变分模型的人脸重加光方法,可以挖 掘利用更多的人脸信息来达到更准确的光照和反射率估计,从而能够处理极 端变化的光照合成。
为实现上述目的,本发明所采用的技术方案为:
一种基于总变分模型的人脸重加光方法,其包括以下步骤:
(1)建立多输入对数总变分模型,用于同时处理同一个人在相同姿势 下的单张或者多张图像,且估计出输入图像的光照成分和反射成分;
(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型;
(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射 成分及光照成分;
(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模 型;
(5)所述的多输入对数总变分模型将输入的人脸数据库中的人脸光照 图像分解为反射成分及光照成分;
(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的 光照成分;
(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。
上述的输入对数总变分模型,满足以下条件:
Ii=R⊙Li=1,…,N
其中:{Ii},i=1,…,N,{Ii}为同一个人脸的图像序列;
R是该人脸的反射成分;
Li是图像Ii的光照成分;
⊙表示对应像素值之间的相乘。
对上述的输入对数总变分模型的满足条件的公式进行对数变换,得到:
i=1,…,N
求解以下优化模型可以得到v和ui:
s.t.v=fi-ui
其中:λ是正则化参数,用于平衡ui和v的作用;
是ui的梯度;
求解得到ui和v后,通过指数变换得到R和Li,i=1,…,N,即:
R=exp(v),Li=exp(ui),i=1,…,N
上述的输入对数总变分模型的求解方法,其包括以下步骤:
使用交替方向乘子法求解:
其中,k代表第k步迭代;
和分别是ui,fi和pi的均值;
wi,pi和qi为迭代临时变量;
D是图像梯度的前向差分逼近;
D’是D的转置矩阵;
α是增强拉格朗日系数令
则有
利用上述的公式进行迭代运算,迭代结束后,得到的和vk便为所述的 估化模型中ui和v的求解结果,进而可以根据公式 R=exp(v),Li=exp(ui),i=1,…,N 得到R和Li。
采用上述技术方案后,本发明,提出多输入对数总变分模型来表达图像 系列中光照成分和反射成分,该模型支持单幅或者多幅输入图像;同时,提 出该模型的迭代求解格式,且在基于该模型分解的基础上,提出基于稀疏约 束的人脸重加光算法。相对于现有技术,本发明具有以下的优点:
1)能够合成极端变化光照下的人脸图像。
2)支持单幅或者多幅图像输入,更加准确地估计光照成分和反射成分。
3)不需要估计人脸的三维模型。
附图说明
图1为本发明的技术流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及 实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施 例仅仅用以解释本发明,并不用于限定本发明。
参考图1所示,本发明公开了一种基于总变分模型的人脸重加光方法, 其包括以下步骤:
(1)建立多输入对数总变分模型,用于同时处理同一个人在相同姿势 下的单张或者多张图像,且估计出输入图像的光照成分和反射成分;
对于给定的同一个人脸的图像序列{Ii},i=1,…,N,根据Lambertian(朗 伯)光照反射模型,它们满足以下条件:
Ii=R⊙Li,i=1,…,N (1)
其中:R是该人脸的反射成分;
Li是图像Ii的光照成分;
⊙表示对应像素值之间的相乘。
对公式(1)进行对数变换,得到:
i=1,…,N (2)
求解以下优化模型可以得到v和ui:
s.t.v=fi-ui
其中:λ是正则化参数,用于平衡ui和v的作用;
是ui的梯度;
求解得到ui和v后,通过指数变换得到R和Li,i=1,…,N,即: R=exp(v),Li=exp(ui),i=1,…,N (4)
在具体实施时,可以根据交替方向乘子法求解:
在上面的迭代过程公式(5)~(9)中,k代表第k步迭代;
和分别是ui,fi和pi的均值;
wi,pi和qi为迭代临时变量;
D是图像梯度的前向差分逼近;
D’是D的转置矩阵;
α是增强拉格朗日系数;在本实施例中,取α=0.0008;
令
利用上述的公式(5)~(9)进行迭代运算,迭代结束后,得到的和 vk便为所述的估化模型中ui和v的求解结果,进而可以根据公式(4) 得到R和Li。
(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型;
在实施时,将{Ii},i=1,…,N这一系列数据输入多输入对数总变分模型。
(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射 成分及光照成分;
假设{Ik},k=1,…,K为输入的同一个人的人脸图像系列(这里K≥1,表 示输入图像系列的图像数目),根据步骤(1)中的公式,得到人脸图像系列 的反射成分R及光照成分Lk。
(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模 型;
在实施时,假设{Ai,j},i=1,…,N;j=1,…,M为训练数据库,其中Ai,j是数据 库中第i个人在第j种光照下的图像,N为数据库中人的总数,M为每个人的 图像总数。将{Ai,j},输入多输入对数总变分模型。
(5)所述的多输入对数总变分模型将输入的脸数据库中的人脸光照图 像分解为反射成分及光照成分;
根据步骤(1),可以
Ai,j=Ri⊙Li,j,i=1,…,N;j=1,…,M (11)
(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的 光照成分;
假设输入人脸t的第k张图像It,k的光照类型为jk。令k=1,…,K。则可以通过优化以下公式来建立输入图像系列{Ik},k=1,…,K和 训练库{Ai,j},i=1,…,N;j=1,…,M之间的关联:
其中,β是正则化系数(本发明取值β=0.5)
通过求解公式(12)得到A*后,可以由以下公式得到输入人脸在第jo种 光照条件下的图像合成光照成分:
(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。
最后合成第j0种光照条件下的人脸图像
本发明,其提出一种新的对数总变分模型(本案称之为“多输入对数总 变分模型”)及其数值求解方法。此模型能够同时处理同一个人在相同姿势 下的单张或者多张图像,进而准确地估计出输入图像的光照成分和反射成 分。为了求解此模型,设计了一种迭代的数值求解方法,此求解方法具有精 度高、计算速度快、程序编写简单等特点。基于多输入对数总变分模型求解 得到的图像的光照处分和反射处分,本发明给提出一种基于稀疏约束的图像 重加光模型。该模型求解简单,且能够合成复杂的光照图像。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不 局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可 轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明 的保护范围应该以权利要求的保护范围为准。
机译: 多尺度轻量级人脸检测模型的构建方法及基于模型的人脸检测方法
机译: 基于3d人脸模型的人脸识别方法及识别系统的连接
机译: 基于3d人脸模型的人脸识别方法及识别系统的连接