对图像进行光照归一化处理的方法及采用其的图像识别方法

摘要

本发明涉及对图像进行光照归一化处理的方法，还涉及采用其的图像识别方法。其中光照归一化方法包括：将输入图像分割为阴影区域和光照正常区域；根据TVQI模型或者LTV模型，获得λL1取0-0.5范围的任一值时图像的小尺度部分，优选λL1＝0.2；获得λL1取0.6-1范围的任一值时图像的小尺度部分，优选vλ＝0.8；将λL1取0-0.5范围的任一值时(优选0.2)得到的图像小尺度部分作为图像阴影区域的小尺度部分，将λL1为0.6-1范围的任一值时(优选0.8)得到的图像小尺度部分作为图像正常光照区域的小尺度部分，拼接得到整幅图像的小尺度部分v。本发明不需要预先知道光源信息，也不需要训练集，能够增强图像识别在复杂光照条件下的有效性。

说明书

技术领域

本发明涉及一种对图像进行光照归一化处理的方法，还涉及一种采用其的图像识别方法，属于模式识别领域。

背景技术

近年来，人脸识别研究得到了广泛的关注。光照、姿态和表情三大问题一直是影响人脸识别精度的重要因素，其中光照因素，特别是自然环境光的变化不是人为所能控制的，因此光照处理是每个人脸识别系统必须进行的步骤。大多数人脸识别系统通常对光照条件作出一定限制，假设待处理图像是在基本均匀光照条件下获得的，它们仅允许小范围内的光照条件变化，然而实际光照条件往往不均匀，偏光、侧光、高光导致的过亮、过暗、阴影都会使效果大幅度下降。因此，如何减少光照对于人脸识别的影响得到了众多研究人员的关注。

TVQI(Total Variation based quotient image model)模型是一种使用TV-L1尺度分解模型与自商图像(SQI)模型结合的人脸光照归一化模型。Wang等提出的自商图像模型是使用图像本身的平滑度信息均衡外部的光照效应的一种光照归一化模型，其中图像的平滑度信息为加权高斯滤波器滤波的结果，但是高斯滤波器不能保持图像高频部分的边缘细节，因此自商图像模型处理结果丢失部分图像特征信息。为解决这一问题Chen等提出了TVQI模型，TVQI模型使用TV-L1分解得到的大尺度图像特征平衡人脸图像中的光照效应。TV-L1为各向异性扩散的偏微分方程，具有尺度选择特性，同时可以保持图像中的边缘特征。这种方法不仅保持了自商图像简单，有效的特点，而且能够保留更多的人脸细节信息，提高了识别效果。

下面对TV-L1模型和TV-L2模型作一简介。

TV-L1模型：

TV-L1模型是一种由偏微分方程方法发展而来的对图像进行平滑去噪的图像处理方法。它的基本思想是设一个泛函数J_λ[u]：求得使J_λ[u]得到最小值的u。其中u为TV-L1模型的结果，也就是平滑去噪后的图像，I为输入图像，也就是原图像，λ为调节去噪程度的参数，为梯度算子。

J_λ[u]中第一部分用来使图像平滑，第二部分λ∫|I-u|dx使u保持I的主要特征。可通过λ来调节u与I的相似程度。

自商图像模型(SQI)是一种光照归一化模型，它的基本方法是利用低通滤波器得到人脸图像的低频成分，再与原图像逐点的进行商运算，得到自商图像，用公式表示如下：

$Q(x,y)=\frac{I(x,y)}{S(x,y)}=\frac{I(x,y)}{F*I(x,y)}$

其中Q(x，y)为自商图像中每点的像素值，I(x，y)为原图像中每点的像素值，S(x，y)为图像的低频成分中每点的像素值，F为低通滤波器。自商图像Q具有一定光照不变性，是自商图像模型的结果。

TV-L2模型：

TV-L2模型与TV-L1模型的基本思想相同，只是使用的约束条件不同，TV-L2模型使用的是L2范数作为约束条件，TV-L1模型使用的是L1范数作为约束条件，约束条件的不同使泛函数J_λ[u]中的第二部分与TV-L1不同，TV-L2模型中的泛函数表示为：其中u为TV-L2模型的结果，也就是平滑去噪后的图像，I为输入图像，也就是原图像，λ为调节去噪程度的参数，为梯度算子。

发明内容

本发明的技术解决问题是：克服输入图像中光照因素的影响，提供一种对图像进行光照归一化处理的方法，还提供一种采用其的图像识别方法，该方法能够增强图像识别在复杂光照条件下的有效性。

本发明的技术解决方案是：

本发明提供的对图像进行光照归一化处理的方法，包括以下步骤：

将输入图像分割为阴影区域和光照正常区域；

根据TVQI模型或者LTV模型，获得λ_L1取0-0.5范围的任一值时图像的小尺度部分；优选地，λ_L1＝0.2；

根据TVQI模型或者LTV模型，获得λ_L1取0.6-1范围的任一值时图像的小尺度部分；优选地，v_λ＝0.8；

将λ_L1取0-0.5范围的任一值时(优选0.2)得到的图像小尺度部分作为图像阴影区域的小尺度部分，将λ_L1为0.6-1范围的任一值时(优选0.8)得到的图像小尺度部分作为图像正常光照区域的小尺度部分，拼接得到整幅图像的小尺度部分v。

本发明提供的对图像进行光照归一化处理的方法，还可以进一步包括以下步骤：

将输入图像代入TV-L2模型，获得图像的大尺度部分u_L2；

对得到的图像大尺度部分进行直方图均衡化；优选是分块直方图均衡化；

将所述整幅图像的小尺度部分v和均衡化后得到的图像大尺度部分进行融合。

本发明提供的对图像进行光照归一化处理的方法，还可以进一步包括以下步骤：

对均衡化后得到的图像大尺度部分进行同态滤波；

将所述整幅图像的小尺度部分v和同态滤波后得到的图像大尺度部分进行融合。

本发明提供的对图像进行光照归一化处理的方法，还可以进一步包括以下步骤：将输入图像归一化成像素为100×100的灰度图像I。

所述输入图像为灰度图像时，将图像像素修改为100×100；所述输入图像为彩色图像时，通过下式将其变为灰度图像：

$\mathrm{gray}=\frac{r+g+b}{3}$

式中，r，g，b分别代表彩色图像中红，绿，蓝分量的值，gray代表灰度图像的灰度值。

将输入图像分割为阴影区域和光照正常区域的方法是：

a)计算输入图像的平均灰度值aver：

$\mathrm{aver}=\left(\underset{i}{\overset{n}{\Sigma }}\underset{j}{\overset{m}{\Sigma }}I(i,j)\right)/(m*n)$

式中，m，n分别表示图像的长和宽；

b)计算每一个像素点的标志信息flag(x，y)：

$\mathrm{flag}(x,y)=\left(\begin{array}{ccc}1& \mathrm{if}& I(x,y)>\mathrm{aver}\\ 0& \mathrm{if}& I(x,y)\le \mathrm{aver}\end{array}\right)$

flag(x，y)等于1是表示该点为光照正常区域，flag(x，y)等于0是表示该点为阴影区域。

本发明提供的图像识别方法，是在对图像进行光照归一化处理后，使用子空间分析方法将得到的高维数据投影到低维空间中，进行特征提取，得到维数较少的向量，然后利用分类器进行分类，得到识别结果。所述分类器优选最近邻方法。

本发明与现有技术相比具有如下优点：

本发明提供的对图像进行光照归一化处理的方法，不需要预先知道光源信息，也不需要训练集，能够克服输入图像中光照因素的影响，大大增强图像识别在复杂光照条件下的有效性。

本发明特别适用于人脸图像识别，在进行人脸识别时，可以均衡人脸图像中的光照效应，有效提高人脸识别对于光照影响的鲁棒性。此方法非常简单且可应用于任何单张人脸图像。

附图说明

以下将结合附图对本发明的具体实施方式进行说明。

图1为根据本发明对人脸图像进行光照归一化处理的方法流程图。

具体实施方式

在具体实施方式中，以输入的图像为人脸图像为例对本发明进行详细说明。当然，本发明也是适用于其它图像的。

实施例一：

本实施例的光照归一化是在TVQI模型的基础上进行改进。

如图1所示，对图像进行光照归一化处理的方法，包括以下步骤：

(1)将输入图像归一化为100×100的灰度图像I

若输入图像为灰度图像，则将图像像素修改为100×100；

若输入图像为彩色图像，则通过下式将彩色图像变为灰度图像：

$\mathrm{gray}=\frac{r+g+b}{3}$

式中，r，g，b分别代表彩色图像中红，绿，蓝分量的值，gray代表灰度图像的灰度值。

(2)将输入图像分割为阴影区域和光照正常区域

将步骤(1)归一化后的输入图像I分割为阴影区域和光照正常区域的方法是：

a)计算输入图像的平均灰度值aver：

$\mathrm{aver}=\left(\underset{i}{\overset{n}{\Sigma }}\underset{j}{\overset{m}{\Sigma }}I(i,j)\right)/(m*n)$

式中，m，n分别表示图像的长和宽；

b)计算每一个像素点的标志信息flag(x，y)：

$\mathrm{flag}(x,y)=\left(\begin{array}{ccc}1& \mathrm{if}& I(x,y)>\mathrm{aver}\\ 0& \mathrm{if}& I(x,y)\le \mathrm{aver}\end{array}\right)$

flag(x，y)等于1是表示该点为光照正常区域，flag(x，y)等于0是表示该点为阴影区域。

(3)获得λ_L1＝0.2时人脸图像的小尺度部分

利用TVQI模型对步骤(1)归一化后的输入图像进行处理，得到λ_L1＝0.2时人脸图像的小尺度部分v_λ＝0.2。

TVQI模型来自：《Total variation models for variable lighting facerecognition》Chen，Terrence；Yin，Wotao；Zhou，Xiang Sean；Comaniciu，Dorin；Huang，Thomas S.Source：IEEE Transactions on Pattern Analysisand Machine Intelligence，v 28，n 9，p 1519-1524，September 2006.

具体步骤为：

a)根据TVQI模型，使用λ_L1＝0.2时的TV-L1模型得到平滑去噪后的人脸图像u_λ＝0.2，公式如下：

$u_{\lambda =0.2}=\arg {\min }_u{\int }_{\Omega }|▿u|\mathrm{dx}+{\lambda }_{L1}\int \sqrt{{(I-u)}^2+ϵ}\mathrm{dx}$

其中u为TV-L1模型的结果，也就是平滑去噪后的图像，I为输入图像，也就是原图像，λ为调节平滑去噪程度的参数，为梯度算子。

使用欧拉-拉格朗日方程数值实现可得到u_λ＝0.2的稳态解

b)利用根据自商图像模型，将得到的作为图像的低频成分，与原图像I进行逐点的商运算，得到λ_L1＝0.2时的包含人脸细节信息的小尺度部分v_λ＝0.2：

$v_{\lambda =0.2}(x,y)=I(x,y)/{\hat{u}}_{\lambda =0.2}(x,y)$

其中I(x，y)为原图像中每点的像素值，v_λ＝0.2(x，y)为TVQI模型结果中每点的像素值，为得到的稳态解中每点的像素值。

(4)获得λ_L1＝0.8时人脸图像的小尺度部分

利用TVQI模型对步骤(1)归一化后的输入图像进行处理，得到λ_L1＝0.8时人脸图像的小尺度部分v_λ＝0.8。具体步骤为：

a)根据TVQI模型，使用λ_L1＝0.8时的TV-L1模型得到平滑去噪后的人脸图像u_λ＝0.8，公式如下：

$u_{\lambda =0.2}=\arg {\min }_u{\int }_{\Omega }|▿u|\mathrm{dx}+{\lambda }_{L1}\int \sqrt{{(I-u)}^2+ϵ}\mathrm{dx}$

其中u为TV-L1模型的结果，也就是平滑去噪后的图像，I为输入图像，也就是原图像，λ为调节平滑去噪程度的参数，为梯度算子。

使用欧拉-拉格朗日方程数值实现得到u_λ＝0.8的稳态解

b)利用根据自商图像模型，将得到的作为图像的低频成分，与原图像I进行逐点的商运算，得到λ_L1＝0.8时的包含人脸细节信息的小尺度部分v_λ＝0.8：

$v_{\lambda =0.2}(x,y)=I(x,y)/{\hat{u}}_{\lambda =0.2}(x,y)$

其中I(x，y)为原图像中每点的像素值，v_λ＝0.8(x，y)为TVQI模型结果中每点的像素值，为得到的稳态解中每点的像素值。

(5)多尺度拼接得到整幅图像的小尺度部分

将步骤(3)得到的λ_L1＝0.2时的人脸图像的小尺度部分v_λ＝0.2作为人脸图像中的阴影区域的小尺度部分，将步骤(4)得到的λ_L1＝0.8时的人脸图像的小尺度部分v_λ＝0.8作为人脸图像中的正常光照区域的小尺度部分：

$v(x,y)=\left(\begin{array}{ccc}{v}_{\lambda =0.8}(x,y)& \mathrm{if}& \mathrm{flag}(x,y)==1\\ v_{\lambda =0.2}(x,y)& \mathrm{if}& \mathrm{flag}(x,y)==0\end{array}\right)$

得到整幅图像的小尺度部分v。

(6)利用TV-L2模型得到人脸图像的大尺度部分u_L2

将步骤(1)得到的归一化后的输入图像代入TV-L2模型，进行平滑去噪：

$u_{L2}=\arg {\min }_u\int |▿u|\mathrm{dx}+{\lambda }_{L2}\int {(I-u)}^2+\mathrm{ϵdx}$

其中u为平滑去噪后的图像，I为原图像，λ_L2为参数，为了保证(I-u)²可微加入干扰项ε。

使用欧拉-拉格朗日方程数值实现得到u_L2的稳态解

(7)对大尺度图像进行分块直方图均衡化

直方图均衡化的基本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了象素灰度值的动态范围，从而可达到增强图像整体对比度的效果。

对步骤(6)得到的人脸图像大尺度部分进行分块直方图均衡化(不分块的直方图均衡化也行，只是分块直方图均衡化效果更好)，增强局部对比度，均衡光照效应。具体步骤为：

A、对图像分块

${\hat{u}}_{L2}^1(x,y)={\hat{u}}_{L2}(x,y)$1≤x≤50，1≤y≤50

${\hat{u}}_{L2}^2(x-50,y)={\hat{u}}_{L2}(x,y)$51≤x≤100，1≤y≤50

${\hat{u}}_{L2}^3(x,y-50)={\hat{u}}_{L2}(x,y)$1≤x≤50，51≤y≤100

${\hat{u}}_{L2}^4(x,y)={\hat{u}}_{L2}(x-50,y-50)$51≤x≤100，51≤y≤100

B、对每一块进行直方图均衡化

利用累计分布函数方法进行直方图均衡化，方法如下：

a、计算灰度密度分布GP

GP(i)＝σ_i/(m*n)  i＝1…256

其中σ_i是图像中灰度值为i的像素点的个数；

b、计算累计直方图分布S

$S\left(i\right)=\underset{k=1}{\overset{i}{\Sigma }}\mathrm{GP}\left(k\right)$i＝1…256

c、累计分布取整，建立灰度级的映射关系R(□)

R(i)＝floor(256*S(i)+0.5)  i＝1…256

d、按照建立的映射关系，对原图像进行灰度映射，得到每一块图像的直方图均衡化结果

${\hat{u}}_{L2}^{j*}=R\left({\hat{u}}_{L2}^j\right)$j＝1，2，3，4

C、拼接为整幅图像，得到整幅图像的分块直方图均衡化的结果

${\hat{u}}_{L2}^{*}(x,y)={\hat{u}}_{L2}^{1*}(x,y)$1≤x≤50，1≤y≤50

${\hat{u}}_{L2}^{*}(x-50,y)={\hat{u}}_{L2}^{2*}(x,y)$51≤x≤100，1≤y≤50

${\hat{u}}_{L2}^{*}(x,y-50)={\hat{u}}_{L2}^{3*}(x,y)$1≤x≤50，51≤y≤100

${\hat{u}}_{L2}^{*}(x,y)={\hat{u}}_{L2}^{4*}(x-50,y-50)$51≤x≤100，51≤y≤100

(8)同态滤波

对步骤(7)得到的进行同态滤波，具体步骤为：

a)对图像进行对数运算

$z(x,y)=\ln {\hat{u}}_{L2}^{*}(x,y)$

b)对图像进行Fourier变换，将图像从空域转化到频域

其中为Fourier变换

c)利用高斯高通滤波器H(u，v)，对图像进行滤波

S(u，v)＝H(u，v)Z(u，v)

d)对图像进行逆Fourier变换，将图像从频域转化到空域

其中为Fourier逆变换

e)对图像进行指数运算，得到对图像进行同态滤波后的结果

${\hat{u}}_{L2}^{**}(x,y)=e^{g(x,y)}$

(9)多尺度融合

将步骤(5)得到的小尺度部分v和步骤(8)得到的大尺度部分进行加法融合：

$y(x,y)=\alpha u_{L2}^{**}(x,y)+\mathrm{\beta v}(x,y)$

其中对两种不同尺度使用不同的加权系数：α＝0.6，β＝0.4。y即为光照归一化后的人脸图像。

需要说明的是，上述步骤(2)、(3)、(4)和(5)是对人脸图像进行光照归一化处理的必要步骤，步骤(1)、(6)、(7)、(8)和(9)是为了使图像的光照归一化处理效果更好而进一步包括的步骤。

根据本发明的图像识别方法，是在对图像进行光照归一化处理后，使用子空间分析方法将得到的高维数据投影到低维空间中，进行特征提取，得到维数较少的向量，然后利用分类器(优选最近邻方法)进行分类，得到识别结果。

光照归一化处理后的图像由于维数较高，不能应用于人脸识别，所以需要使用子空间分析方法进行特征提取，将高维数据投影到较低维空间中。将高维数据变成低维数据的方法可以选用以下几种：

主成分分析(PCA：Principal Component Analysis)，该方法提取主成分特征；

独立成分分析(ICA：Independent Component Correlation Algorithm)，该方法提取独立成分特征；

线性鉴别分析(LDA：linearity distinction analysis)，该方法提取Fisher最优鉴别特征。

通过子空间分析方法将步骤(5)得到的v或步骤(9)得到的y投影到低维空间中，得到维数较少的向量，然后利用最近邻方法进行分类，得到识别结果。

最近邻方法是最简单的一种分类器，除了这种方法之外还有一些较为复杂的分类器方法可以与子空间分析方法结合，例如贝叶斯网络分类器、级联分类器、BP神经网络分类器等。

实施例二：

本实施例的光照归一化是在LTV模型的基础上进行改进。

LTV模型来自：《Total variation models for variable lighting facerecognition》Chen，Terrence；Yin，Wotao；Zhou，Xiang Sean；Comaniciu，Dorin；Huang，Thomas S.Source：IEEE Transactions on Pattern Analysisand Machine Intelligence，v 28，n 9，p 1519-1524，September 2006.

LTV模型与TVQI模型来自于同一篇文章，二者的区别在于：TVQI使用的是商运算，LTV使用的是对数运算。使用LTV模型与使用TVQI模型的不同之处仅在于步骤(3)和步骤(4)。

下面仅就与实施例一的不同之处进行说明。

步骤3：利用LTV模型对步骤1得到的归一化后的输入图像进行处理，得到λ_L1＝0.2时人脸图像的小尺度部分v_λ＝0.2。具体步骤为：

A、对输入图像进行对数运算

f(x，y)＝lnI(x，y)

B、使用λ_L1＝0.2时的TV-L1模型得到对f平滑去噪后的u_λ＝0.2，公式如下：

$u_{\lambda =0.2}=\arg {\min }_u{\int }_{\Omega }|▿u|\mathrm{dx}+{\lambda }_{L1}\int \sqrt{{(f-u)}^2+ϵ}\mathrm{dx}$

其中u为TV-L1模型的结果，I为输入图像，λ_L1为调节平滑去噪程度的参数，为梯度算子。

使用欧拉-拉格朗日方程数值实现可得到u_λ＝0.2的稳态解

C、得到图像的本质部分ρ

$\rho (x,y)=f(x,y)-{\hat{u}}_{\lambda =0.2}(x,y)$

D、对图像的本质部分ρ进行指数运算得到λ_L1＝0.2时的包含人脸细节信息的小尺度部分v_λ＝0.2

v_λ＝0.2(x，y)＝e^ρ(x，y)

步骤4：利用LTV模型对步骤(1)归一化的输入图像进行处理，得到λ_L1＝0.8时人脸图像的小尺度部分v_λ＝0.8。具体步骤为：

A、对输入图像进行对数运算

f(x，y)＝lnI(x，y)

B、使用λ_L1＝0.8时的TV-L1模型得到对f平滑去噪后的u_λ＝0.8，公式如下：

$u_{\lambda =0.2}=\arg {\min }_u{\int }_{\Omega }|▿u|\mathrm{dx}+{\lambda }_{L1}\int \sqrt{{(f-u)}^2+ϵ}\mathrm{dx}$

其中u为TV-L1模型的结果，I为输入图像，λ_L1为调节平滑去噪程度的参数，为梯度算子。

使用欧拉-拉格朗日方程数值实现可得到u_λ＝0.8的稳态解

C、得到图像的本质部分ρ

$\rho (x,y)=f(x,y)-{\hat{u}}_{\lambda =0.8}(x,y)$

D、对图像的本质部分ρ进行指数运算得到λ_L1＝0.8时的包含人脸细节信息的小尺度部分v_λ＝0.8

v_λ＝0.8(x，y)＝e^ρ(x，y)。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知技术。

本发明不局限于权利要求和上述实施例所述及的内容，只要是根据本发明的构思所创作出来的任何发明，都应归属于本发明的保护范围之内。