在不同尺度特征图像上进行人脸光照规一化的方法

摘要

本发明公开了一种在不同尺度特征图像上进行人脸光照规一化的方法，首先运用对数域的总变分模型将原始人脸图像分解为小尺度特征图像和大尺度特征图像；然后对受光照变化影响较大的大尺度特征图像进行光照处理，对小尺度特征图像进行带阈值的最小值滤波；最后运用处理过的不同尺度特征图像合成得到光照规一化后的人脸图像。本发明主要在受光照变化影响较大的大尺度特征图像上进行光照规一化，避免对光照不变的小尺度特征进行更改而影响人脸识别率，此外没有丢弃受光照影响的人脸大尺度特征，避免了仅用人脸小尺度特征进行人脸识别而导致识别信息不足的问题。本发明算法易于实现，不需对人脸图像进行严格对齐，也不需要任何训练样本，符合各种实际应用要求。

说明书

技术领域

本发明涉及人脸识别、人脸图像预处理等技术，尤其涉及一种人脸灰度图像光照规一化方法。

背景技术

人脸技术在公共安全系统、身份鉴别、人机交互和多媒体娱乐等方面均有广泛应用，然而光照变化问题却是长期困扰该类技术实用化的主要原因之一。光照变化不仅影响到人脸图像的视觉效果，而且严重影响人脸识别率。近三十年来，各种各样的技术被提出来解决人脸光照变化问题，但是其中大多数尚未达到实用要求或者不能满足多方面的应用要求。

基于Lambertian模型I(x，y)＝R(x，y)L(x，y)，其中I为2D人脸灰度图像，R为反射分量图像，L为光照分量图像。由于人脸表面反射率与光照变化无关，所以，有一类方法试图根据Lambertian模型将人脸图像进行分解，然后仅选用R进行人脸识别。其中比较著名的有Terrence Chen等人于2006年提出基于LTV模型的算法，即在对数域用全变分模型对人脸图像进行分解(T.Chen，X.S.Zhou，D.Comaniciu and T.S.Huang.Total Variation Modelsfor Variable Lighting Face Recognition.IEEE Transactions on Pattern Analysisand Machine Intelligence，28(9)：1519-1524，2006)。然而，理论上，从原图中提取反射分量本身为病态问题，所以，目前存在的方法仅能近似地将一张人脸图像分解为小尺度特征图像和大尺度特征图像，然后用小尺度特征图像进行人脸识别，而丢弃大尺度特征图像。考虑到大尺度图像中尚含有大量对人脸识别有用的信息，因此，该类技术丢弃大尺度特征图像将导致识别信息不足，此外，该类方法无法改善人脸图像的视觉效果。存在的方法中，有另外一类方法是对原始人脸图像直接进行光照矫正，产生标准光照条件下的人脸图像，此类方法能达到视觉效果上的改善。然而，光照变化主要影响到人脸图像的低频部分，该类方法在对整张图像进行光照矫正的同时可能对光照不变的细节成分进行了不必要的改变，从而会影响到人脸识别率。总之，上述两类方法均存在不足，而这些不足可以通过对两类技术进行结合来解决。

发明内容

本发明的目的在于提供一种在不同尺度特征图像上进行人脸光照规一化的方法，该方法实用性强、应用范围广、可明显提高人脸的识别率。

本方法首先运用对数域的总变分模型(logarithmic total variation model，下面简称LTV模型)将原始人脸图像分解为小尺度特征图像和大尺度特征图像；然后对受到光照变化影响的大尺度特征图像进行光照处理，其中，本发明将LOG-DCT技术(W.L.Chen，E.M.Joo and S.Wu.IlluminationCompensation and Normalization for Robust Face Recognition using DiscreteCosine Transform in Logarithm domain.IEEE Transactions on Systems，Manand Cybernetics，Part B，36(2)：458～466，2006)应用于对大尺度特征图像进行光照矫正；对小尺度特征图像进行带阈值的最小值滤波；最后运用处理过的不同尺度特征图像合成得到光照规一化后的人脸图像。本方法克服了背景介绍中两类光照处理方法的不足，对人脸图像进行光照处理能够获得特别高的人脸识别率，同时为人脸光照处理技术提出了一个新的框架思路。

本发明主要通过下述技术方案实现：在不同尺度特征图像上进行人脸光照规一化的方法，包括下述步骤：

①对输入的人脸灰度图像进行对齐裁剪处理。即对每张人脸图像，先检测定位该人脸的三个特征点(两只眼睛的瞳孔中心点和嘴巴的中心点)，通过旋转使得每张人脸的两只眼睛处于水平位置，再运用双插值算法拉伸图像，使得这三个特征点位于图像的固定位置，最后将图像裁剪为统一大小。

②用LTV模型对人脸图像进行分解，对每张裁剪对齐后的人脸图像I，对其进行对数变换

f(x，y)＝logI(x，y)    (1)，

求解以下变分模型：

$u=\arg \underset{u}{\min }\int |▿u|+\lambda {\left|\right|f-u\left|\right|}_{L^1}\mathrm{dx}---\left(2\right)$

以及

v＝f-u    (3)，

此时得到人脸的大尺度特征图像S和小尺度特征图像ρ：

S＝exp(u)，ρ＝exp(v)    (4)。

③对小尺度特征图像ρ进行带阈值的最小值滤波。进行这一步处理主要是为了消除LTV模型分解过程产生的人脸白点斑点，改善视觉效果。做法是用3×3的滤波窗口对ρ进行最小值滤波，如果当前窗口中心点的灰度值大于指定阈值，则取当前窗口的最小灰度值代替中心象素的灰度值。记滤波后的小尺度特征图像为ρ′。

④在对数域去掉大尺度特征图像的若干低频离散余弦变换(DCT)系数。即对u进行DCT，记DCT系数为C(α，β)，α＝0，1，…，M，β＝0，1，…，N，其中M、N为人脸图像的长和宽(象素)，然后将频域原点周围n²个DCT系数设置为0：

C(α，β)＝0，α＝0，1，…，n，β＝0，1，…，n    (5)，

通过反DCT变换得到，最后进行指数变换获取光照规一化后的大尺度特征图像S_norm：

$S_{\mathrm{norm}}(x,y)=\exp \hat{u}(x,y)---\left(6\right).$

下面简称步骤④为LOG-DCT。

⑤合成光照规一化后的人脸图像：

I_norm(x，y)＝ρ′(x，y)S_norm(x，y)    (7)。

本发明与现有技术相比具有如下优点和有益效果：

1、本发明提出的在不同尺度特征图像进行人脸光照规一化方法没有丢弃受光照影响的人脸大尺度特征，避免了仅用人脸小尺度特征进行人脸识别而导致识别信息不足的问题，实验表明，本方法能取得比LTV模型更高的人脸识别率。此外，保留大尺度特征，保证进行光照处理后的人脸图像真正达到了视觉效果的改善。

2、本发明方法主要在受光照影响的大尺度特征图像上进行光照规一化，避免对光照不变的小尺度特征进行更改而影响人脸识别率。

3、本发明算法易于实现，不需对人脸图像进行严格对齐，也不需要任何训练样本，符合各种实际应用要求。

附图说明

图1为本发明方法的操作流程图。

图2为本发明的人脸图像形状对齐规一化状态图：左为原人脸图，右为对齐裁剪为100×100象素大小的人脸图。

图3为本发明的LTV模型分解结果图：左为原图，中为大尺度特征图像，右为小尺度特征图像。

图4为本发明的带阈值最小滤波结果图：左为原人脸小尺度特征图，右为相应的滤波结果。

图5为本发明应用LOG-DCT算法对人脸大尺度特征图像进行光照规一化的结果：左为原人脸大尺度特征图，右为相应的光照规一化结果。

图6为本发明的算法流程示例图。

图7为用本发明方法进行人脸光照处理的结果：第一行为原图，第二行为本发明的光照规一化结果图。

图8为不同方法在CMU人脸库的ROC曲线示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

图1示出了本发明的操作过程，由图1可见，本在不同尺度特征图像上进行人脸光照规一化的方法，包括下述步骤：

(1)对输入的人脸灰度图像I进行对齐裁剪处理。即对每张人脸图像，手工选取该人脸的三个特征点(两只眼睛的瞳孔中心点和嘴巴的中心点)，通过旋转使得每张人脸的两只眼睛处于水平位置，再运用双插值算法拉伸图像，使得三个特征点位于图像的固定位置，最后将图像裁剪为100×100大小。(见图2)。

(2)通过求解LTV模型将人脸图像I分解为人脸的大尺度特征图像S和小尺度特征图像ρ(见图3)。

(3)对小尺度特征图像ρ进行带阈值的最小值滤波，滤波结果为ρ′。(见图4)。

(4)应用LOG-DCT对人脸大尺度图像进行光照规一化，其中式(5)中取n＝13，处理结果为S_norm(见图5)。

(5)用ρ′和S_norm合成光照规一化后的人脸图像。

步骤(2)～步骤(5)显示了本发明方法对具体某张人脸图像的光照规一化流程(见图6和图7)。

本发明通过人脸识别实验对本发明的效果进行说明：人脸识别实验分别在扩展的Yale B人脸数据库和CMU PIE人脸数据库上进行。识别方法采用模版匹配，所用的分类器为最近邻分类器，人脸图像的相似性描述选用余弦相关性。扩展的Yale B人脸库共计38个人，每个人有不同光照条件下的65张正面照片，所有图像根据光照的变化程度被分为5个子集。实验中对每个人仅选取1张正面光照条件下的图片作为模版，用第2～5子集(Set2～Set5)的图像作为测试。CMU人脸库共计68个人，每人有21张不同种光照条件下的正面照片，实验中对每个人也仅选取1张正面光照条件下图像作为模版，其余20张图像作为测试。用各种光照处理方法处理后的图像进行人脸识别对应识别率如表1。其中LTV就是基于LTV模型的光照恢复算法，即用LTV模型分解得到的小尺度特征进行识别；而LOG-DCT则用LOG-DCT算法直接对原图进行人脸光照规一化。

表1人脸识别结果比较

考虑到在CMU人脸库，本发明的方法和LTV模型方法达到相同的识别率，进一步地，这里给出两种方法在CMU人脸库上的ROC曲线(图8)以供比较。从ROC曲线中可以看出，在相同错误接受率下，本发明方法的识别率均比LTV方法的高，这表明本发明的方法在人脸识别方面比LTV模型方法表现要佳。

从实验结果可以看出，采用本发明进行光照规一化，在扩展的YaleB人脸库各个光照类型子集以及CMU人脸库中均能较大地提高识别率。从识别结果可以得出，在大尺度特征图像上进行人脸光照规一化效果比在原图上进行光照规一化的效果要好，另外，人脸大尺度特征图像中存在对人脸识别有用的信息，不应被丢弃。