半监督人脸年龄估计装置及半监督人脸年龄估计方法

摘要

本发明公开了一种半监督人脸年龄估计装置。该装置训练方法为：步骤1、获取人脸图片数据集，并进行图像特征提取；步骤2、对有年龄标记的每一幅人脸图片，为其初始化年龄分布，并作为训练集；步骤3、利用当前训练集训练LBFGS-LLD模型，并对所有图片进行年龄分布预测；步骤4、计算无年龄标记人脸图片的伪年龄；步骤5、将所有图片进行年龄分组，优化求解各年龄组所对应的方差，并用得到的方差更新相应年龄组内人脸图片的年龄分布；步骤6、以更新后的所有图片作为新的训练集，转步骤3；直至满足迭代终止条件。本发明还公开了基于该装置的半监督人脸年龄估计方法。本发明仅需使用少量有年龄标记人脸图片结合更多的无年龄标记人脸图片，即可获得更好的年龄估计精度。

说明书

技术领域

本发明涉及一种人脸年龄估计装置，尤其涉及一种半监督人脸年龄估计装置 及半监督人脸年龄估计方法，属于机器学习和模式识别技术领域。

背景技术

年龄是人的重要属性之一，而且人们的行为和偏好在不同的年龄段都是不同 的，这表明准确的年龄估计将会有非常重要的应用前景。目前很多与年龄相关的 应用，如人机交互、电子客户关系管理、安全管理、监视监控等，都得到了极大 的发展。而在众多年龄估计的方法中，基于人脸的年龄估计或许是日常生活中最 常用的一种。

一篇中国发明专利(CN102567719)公开了一种“基于后验概率神经网络的 人类年龄自动估计方法”，利用预先训练的后验概率神经网络作为人脸年龄估计 模型，其在训练阶段使用一个年龄分布(用向量表示)表示该人脸图片所有可能 年龄的概率分布。向量里的每一个元素表示对应人脸图片真实年龄为该年龄的可 能性。该分布基于如下假设：人的外貌是随年龄逐渐变化的，且外貌变化的速度 在每个年龄段都是不一样的，因此外貌的变化速度是可以反映年龄这一信息的， 而变化的快慢是可以通过分布来体现的。如图1所示，人在少年，如0-20岁，以 及老年，如50-76岁，其外貌变化较大，对应的年龄分布较为陡峭；而在中年， 如20-50岁，其外貌变化不大，相对应的年龄分布则较为平缓。因此对于每一张 人脸图片，其年龄分布应该包括所有可能的年龄段，如图1中的0-76岁，那么在 系统的训练过程中我们使用的年龄不再是一个单独的数值，而是所有年龄段的分 布向量(注：年龄分布向量中所有元素均大于等于0，小于等于1，且总和为1)。 同时，该年龄分布应该在真实年龄处的可能性最高，其次随着年龄与真实年龄的 差距逐渐变大，其可能性逐渐变小，因此该分布可以表示为高斯分布。该高斯分 布的均值为真实年龄，方差控制该年龄段的外貌变化趋势。

上述方法可以较准确地对人脸图片的年龄进行估计，但是其训练所使用的人 脸图片只能是有年龄标记的人脸图片。一方面，在真实世界中，年龄分布是无法 获取到的，能够得到的只有年龄，且由于年龄的获取成本太大，大部分人脸图片 都是没有年龄标记的；另一方面，在实际应用中，获取充分的带有年龄标记的人 脸数据是一项耗时耗力的工程，而随着相机、智能手机等电子设备的兴起，获取 大量的无年龄标记的人脸数据变得容易起来。因此，如何充分利用大量的无标记 人脸数据来更准确地进行年龄估计就变得至关重要。

发明内容

本发明所要解决的技术问题在于克服现有技术不足，提供一种半监督人脸年 龄估计装置，仅需使用少量有年龄标记人脸图片结合更多的无年龄标记人脸图片， 即可获得更好的年龄估计精度。

本发明具体采用以下技术方案解决上述技术问题：

一种半监督人脸年龄估计装置，该装置通过以下方法训练得到：

步骤1、获取人脸图片数据集，并对其中的各人脸图片进行图像特征提取；所述 人脸图片数据集包括一组有年龄标记的人脸图片以及一组无年龄标记的人脸图 片；

步骤2、对有年龄标记的每一幅人脸图片，根据其标记年龄为其初始化一个符合 高斯分布的年龄分布，以这些人脸图片作为训练集；所述年龄分布的均值为其标 记年龄，方差为预设的初始方差；

步骤3、利用当前训练集训练标记分布学习模型LBFGS-LLD，并用完成训练的 LBFGS-LLD模型对人脸图片数据集中的所有人脸图片进行年龄分布预测，得到 其预测年龄分布；

步骤4、计算每一幅无年龄标记的人脸图片的伪年龄；任一人脸图片的伪年龄计 算方法具体如下：从所有有年龄标记的人脸图片中为该人脸图片选出一组与其综 合相似度最高的人脸图片，然后以所选出的人脸图片的标记年龄的均值作为该人 脸图片的伪年龄；所述综合相似度的度量为两幅人脸图片之间的图像特征相似度 与年龄分布相似度的加权和；

步骤5、将人脸图片数据集中的所有人脸图片按照其标记年龄或者伪年龄进行分 组，然后从每个年龄组里挑选出其预测年龄分布的均值与其标记年龄或伪年龄之 间的偏差值小于预设年龄偏差阈值的一组人脸图片；对每个年龄组，以与所挑选 出的各人脸图片之间综合相似度之和最大为优化目标，优化求解一个年龄分布的 方差，该年龄分布的均值为该年龄组所对应年龄，并用优化求解得到的方差更新 该年龄组中各人脸图片所对应的年龄分布；

步骤6、以年龄分布更新后的所有人脸图片作为新的训练集，转至步骤3；反复 迭代，直至满足预设的迭代终止条件。

一种基于上述半监督人脸年龄估计装置的半监督人脸年龄估计方法，对待 估计人脸图片进行图像特征提取，并将所提取的图像特征输入训练阶段得到的 LBFGS-LLD模型，LBFGS-LLD模型所输出的年龄分布的均值即为该待估计人 脸图片的估计年龄。

相比现有技术，本发明具有以下有益效果：

本发明仅需使用少量有年龄标记图片，通过年龄分布来充分地利用大量没有 年龄标记的人脸图片；在学习过程中，本发明利用有年龄标记图片及其年龄分布 来估计无年龄标记图片的伪年龄，并对年龄分布不断迭代更新。本发明充分利用 了易于获取的无年龄标记人脸图片对年龄估计模型进行训练，仅需使用少量有年 龄标记人脸图片结合更多的无年龄标记人脸图片，即可获得更好的年龄估计精度。

附图说明

图1为人脸图片的年龄分布示例；

图2为本发明一个具体实施例的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案进行详细说明：

本发明的半监督人脸年龄估计方法包括两个阶段：估计模型的训练阶段以及 年龄估计阶段。其中，估计模型的训练如图2所示，具体包括以下步骤：

步骤1、获取人脸图片数据集，并对其中的各人脸图片进行图像特征提取；所述 人脸图片数据集包括一组有年龄标记的人脸图片以及一组无年龄标记的人脸图 片。

本发明用于模型训练的人脸图片数据集中既包括有年龄标记的人脸图片又 包括无年龄标记的人脸图片，从而可大幅扩充人脸图片数据集的规模，充分利用 大量易于获得的无年龄标记的人脸图片。

所述图像特征可采用现有的各种人脸图像特征，例如ActiveAppearance Model(AAM)、AgingpatternSubspace(AGES)、AgeManifold、HOG、BIF特征 等。在本实施例中，首先提取人脸图片的BIF特征，然后利用MFA算法对提取 的BIF特征进行降维。BIF特征是人脸年龄估计方法中常用的一种特征，其具体 内容可参考文献[G.Guo,G.Mu,Y.Fu,andT.S.Huang,“Humanageestimation usingbio-inspiredfeatures,”inProc.IEEEConf.ComputerVisionandPattern Recognition,Miami,FL,2009,pp.112–119]。为了降低算法复杂度，提高算法实时 性，进一步利用MFA算法进行特征降维。MFA是一种常用的降维方法，其具体 内容可参考文献[S.Yan,D.Xu,B.Zhang,H.Zhang,Q.Yang,andS.Lin,“Graph embeddingandextensions:Ageneralframeworkfordimensionalityreduction,”IEEE Trans.PatternAnal.Mach.Intell.,vol.29,no.1,pp.40–51,2007]。

步骤2、对有年龄标记的每一幅人脸图片，根据其标记年龄为其初始化一个符合 高斯分布的年龄分布，以这些人脸图片作为训练集；所述年龄分布的均值为其标 记年龄，方差为预设的初始方差。

常规的人脸年龄估计对于每张人脸图片只有唯一的一个年龄标记，而本发明 对于每张已标记年龄的人脸图片赋予一个年龄分布，该年龄分布为高斯分布，其 均值为真实的年龄(标记年龄)，方差为预设的初始值σ⁰。然后将带有初始年龄 分布的有年龄标记人脸图片作为训练集。其中初始方差σ⁰的值可灵活设定，根据 经验，将其设置为3时效果较好。年龄分布的具体计算方法可用式(1)表示：

$d_{ij}^0=\frac{1}{{\sigma }^0\sqrt{2\pi }{Z}_i}\exp (-\frac{{(y_j-{\mu }_i)}^2}{2{\left({\sigma }^0\right)}^2})---\left(1\right)$

其中σ⁰为初始方差，x_i为第i张有标记的人脸图片实例，y_j表示第j个年龄标记， u_i为第i张人脸图片对应的标记年龄，d为对应的年龄分布。

步骤3、利用当前训练集训练标记分布学习模型LBFGS-LLD，并用完成训练的 LBFGS-LLD模型对人脸图片数据集中的所有人脸图片进行年龄分布预测，得到 其预测年龄分布。

本发明利用标记分布学习模型LBFGS-LLD来训练估计模型。假设当前为 第k次迭代，其目标为最小化模型预测的年龄分布与训练集中标记的年龄分布之 间的KL散度，从而得到最优的参数。其优化目标函数为：

$L\left({\theta }^k\right)={\Sigma }_i{\mathrm{log\Sigma }}_j\exp \left({\left({\theta }^k\right)}^{T}g\right(x_i\left)\right)-{\Sigma }_i{\Sigma }_j{d}_{ij}^k{\left({\theta }^k\right)}^{T}g\left(x_i\right)---\left(2\right)$

其中θ^k为第k次迭代需要求解的模型参数向量，且(θ^k)^T为其转置向量，i为图像 索引，j为年龄标记，x_i为第i个人脸图像实例；d_ij为关于x_i的年龄分布在第j 个年龄标记上的取值，g(x_i)为表示x_i的图像特征向量。关于LBFGS-LLD模型 的更详细内容可参考文献[X.Geng,C.Yin,andZ.-H.Zhou.FacialAgeEstimation byLearningfromLabelDistributions.IEEETransactionsonPatternAnalysisand MachineIntelligence(IEEETPAMI),2013,35(10):2401-2412]。在得到最优的参数 θ^k后，用取该最优参数的LBFGS-LLD模型对人脸图片数据集中的所有人脸图片 进行年龄估计，预测每张人脸图片对应的预测年龄分布。

步骤4、计算每一幅无年龄标记的人脸图片的伪年龄；任一人脸图片的伪年龄计 算方法具体如下：从所有有年龄标记的人脸图片中为该人脸图片选出一组与其综 合相似度最高的人脸图片，然后以所选出的人脸图片的标记年龄的均值作为该人 脸图片的伪年龄；所述综合相似度的度量为两幅人脸图片之间的图像特征相似度 与年龄分布相似度的加权和。

由于步骤3中对无年龄标记人脸图片估计的年龄相对不可靠，为了得到更可 靠的估计年龄，本发明进一步对无年龄标记人脸图片重新计算其对应的年龄，并 称其为伪年龄。伪年龄的计算方法具体为：从所有有年龄标记的人脸图片中为该 人脸图片选出一组与其综合相似度最高的人脸图片，然后以所选出的人脸图片的 标记年龄的均值作为该人脸图片的伪年龄。本发明利用两幅人脸图片之间的图像 特征相似度与年龄分布相似度的加权和来度量无年龄标记人脸图片与有年龄标 记人脸图片之间的相似性。其中，两幅人脸图片之间的图像特征相似度可采用现 有的欧氏距离、曼哈顿距离、相关系数、信息熵等度量形式；两幅人脸图片之间 的年龄分布相似度可采用欧式距离、Sorensen距离、KL散度、Jeffrey散度等度 量形式，本发明优选采用KL散度(又称相对熵)。两者的权值可根据实际需要 自行设定。

本实施例中是利用K近邻方法并根据式(3)的综合相似度表达式从所有有 年龄标记人脸图片中搜索出第m张无年龄标记人脸图片的K近邻集合N_m：

$\left|\right|x_m-x_n|{|}_2^2+{\mathrm{C\Sigma }}_{j}p\left(y_j\right|x_m;{\theta }^k)ln\frac{p\left(y_j\right|x_m;{\theta }^k)}{p\left(y_j\right|x_n;{\theta }^k)}---\left(3\right)$

其中x_m，x_n分别为第m、n张人脸图片的图像特征向量，C为平衡因子，y_j为第 j个年龄，θ^k为第k次迭代时的参数向量，p(y_j|x_m；θ^k)，p(y_j|x_n；θ^k)分别为由 步骤3中求得的模型对第m、n张人脸图片预测的年龄分布。注意，此时第m张 图片为无年龄标记的人脸图片，而第n张图片为有年龄标记的人脸图片。然后第 m张无年龄标记人脸图片的伪年龄通过式(4)确定：

${\mu }_m^k=\frac{1}{K}{\Sigma }_{x_n\in N_m}{\mu }_n---\left(4\right)$

其中，为在第k次迭代(即当前迭代)中对第m张人脸图片估计的伪年龄，μ_n为 第n张图片的真实标记年龄，N_m为通过式(3)确定的第m张无年龄标记人脸图片 的K张近邻图片，K为近邻数。

步骤5、将人脸图片数据集中的所有人脸图片按照其标记年龄或者伪年龄进行分 组，然后从每个年龄组里挑选出其预测年龄分布的均值与其标记年龄或伪年龄之 间的偏差值小于预设年龄偏差阈值的一组人脸图片；对每个年龄组，以与所挑选 出的各人脸图片之间综合相似度之和最大为优化目标，优化求解一个年龄分布的 方差，该年龄分布的均值为该年龄组所对应年龄，并用优化求解得到的方差更新 该年龄组中各人脸图片所对应的年龄分布。

将人脸图片数据集中的所有人脸图片按照其标记年龄或者伪年龄进行分组， 每个具有相同标记年龄或者伪年龄的人脸图片分入同一组；然后从每个年龄组里 挑选出置信度较高的一组图片。本实施例中所采用的具体挑选方法为：挑选所有 根据分布预测的年龄(可能性最高的)与真实的标记年龄或伪年龄的差值的绝对 值小于平均绝对误差(MeanAbsoluteError，简称MAE)的人脸图片，其中MAE 的计算方法为

$MAE=\frac{1}{l+u}{\Sigma }_i{e}_i---\left(5\right)$

其中l、u分别为有年龄标记的人脸图片和无年龄标记的人脸图片的数量，e_i为第 i张人脸图片的年龄预测误差的绝对值。

在得到置信度较高的图片后，需要重新确定更新每个年龄对应的高斯分布的 方差，其方法为：对每个年龄组，以与所挑选出的各人脸图片之间综合相似度之 和最大为优化目标，优化求解一个年龄分布的方差，该年龄分布的均值为该年龄 组所对应年龄。其数学表达如式(6)所示：

${\sigma }_{\mu }^k={\mathrm{argmin}}_{{\sigma }_{\mu }}{\Sigma }_{x_r\in S_{\mu }^k}{\Sigma }_j{d}_{x_r,y_j}ln\frac{d_{x_r,y_j}}{p\left(y_j\right|x_r;{\theta }^k)}---\left(6\right)$

其中为第k次迭代μ年龄组中挑选出的置信度较高的图片集合，p(y_j|x_r；θ^k)为 通过当前参数模型对图片x_r预测的年龄分布，的计算方法为：

$d_{rj}=\frac{1}{{\sigma }_{\mu }^k\sqrt{2\pi }{Z}_{\mu }}\exp (-\frac{{(y_j-\mu )}^2}{2{\left({\sigma }_{\mu }^k\right)}^2})---\left(7\right)$

其中Z_μ为分布的归一化项。

这样，对每一个年龄组，均得到一个相对应的新的高斯分布方差，用该方差 更新该年龄组中各人脸图片对应的年龄分布。

步骤6、以年龄分布更新后的所有人脸图片作为新的训练集，转至步骤3；反复 迭代，直至满足预设的迭代终止条件。

为了能够自适应地学习到更好的年龄分布，算法需要多次迭代，因此以完成 预测年龄分布的方差更新后的所有人脸图片作为新的训练集，然后转至步骤3 进行下一次迭代；直至满足预设的迭代终止条件，退出。此时的LBFGS-LLD模 型即为最终的人脸年龄预测模型。本实施例中的迭代终止条件模型在验证集上的 预测误差达到最低。其中对验证集上人脸图片年龄的估计方法为

$\mu ={\mathrm{argmax}}_{y_j}P\left(y_j\right|x;{\theta }^k)---\left(8\right)$

其中x为验证集中待预测的人脸图片的图像特征，θ^k为第k次迭代时的参数向量。

再利用训练好的人脸年龄预测模型进行人脸年龄预测时，首先对待估计人脸 图片进行图像特征提取，并将所提取的图像特征输入训练阶段得到的 LBFGS-LLD模型，LBFGS-LLD模型会输出一个年龄分布，该年龄分布的均值 即为待估计人脸图片的估计年龄。

为了验证本发明方法的效果，将其与现有的几种人脸年龄估计方法进行了对 比验证实验，实验所用的数据集为MORPH数据库，其约有55000张人脸图片。 采用十倍交叉验证的方法，将全部图片数据随机分成均等的十份，每次取其中一 份做测试集，一份做验证集，剩余八份做训练集，共训练十次，取十次的平均结 果作为本发明方法性能的评价标准。同时为了模拟半监督的应用场景，将训练集 中部分数据的年龄标记去除来代表没有标记的数据。表1显示了本发明方法与几 种现有方法的测试结果。

表1测试结果对比

该实验采用平均绝对误差MAE作为年龄估计效果的衡量指标。其中，KPLS 为文献[G.GuoandG.Mu.Simultaneousdimensionalityreductionandhumanage estimationviakernelpartialleastsquaresregression.InComputerVisionandPattern Recognition(CVPR),2011IEEEConferenceon,pages657–664.IEEE,2011]中的方 法；OHRank为文献[K.-Y.Chang,C.-S.Chen,andY.-P.Hung.Ordinalhyperplanes rankerwithcostsensitivitiesforageestimation.InComputerVisionandPattern Recognition(CVPR),2011IEEEConferenceon,pages585–592.IEEE,2011]中的 方法；LDL为文献[X.Geng,C.Yin,andZ.-H.Zhou.Facialageestimationby learningfromlabeldistributions.PatternAnalysisandMachineIntelligence,IEEE Transactionson,35(10):2401–2412,2013]中的方法；ALDL为文献[X.Geng,Q. Wang,andY.Xia.FacialAgeEstimationbyAdaptiveLabelDistributionLearning.In PatternRecognition(ICPR),201422ndInternationalConferenceon,pages 4465–4470.IEEE,2014]中的方法。以上皆为传统的监督人脸年龄估计的方法，为 了更好地说明本发明方法的优势，该实验还比较了传统的半监督方法LP，其具 体内容可参考文献[F.WangandC.Zhang.Labelpropagationthroughlinear neighborhoods.KnowledgeandDataEngineering,IEEETransactionson, 20(1):55–67,2008]。表1中的OurMethod表示本发明方法。所有算法都在MORPH 数据库上进行十倍交叉验证，其中每次验证时有标记的人脸图片有100张，没有 标记的人脸图片有49000张，结果为十次验证结果的平均值。

从表1的结果可以看出本发明方法在年龄估计的准确度上相比已有方法有 了很大的提高。