基于多尺度多方向局部二值模式的人脸识别方法

摘要

本发明公开了一种基于多尺度多方向局部二值模式的人脸识别方法，主要解决现有技术在复杂光照下识别能力较低的问题，实现步骤为：选取人脸数据库，并划分训练和测试样本集；利用图像各像素点及其八方向像素点间的差值重构人脸样本，并进行分块求均值操作，得到人脸特征向量；将各特征向量按行排列，得到各样本集特征矩阵；计算特征矩阵间的距离，得到识别结果。本发明对人脸图像各邻域内八方向特征进行多方向、多尺度加权得重构样本，并对其进行不重叠地分块、平均、串联操作得到特征向量，增加了像素点信息量，解决了人脸样本维度过高的问题，保留了空间信息。提升了人脸识别在复杂光照下的识别率，可用于视频监控、公共安全。

说明书

技术领域

本发明属于图像处理技术领域，特别涉及人脸识别，具体是一种基于多尺度多方向局部二值模式的人脸识别方法，可用于公共安全、视频监控和访问控制。

技术背景

人脸识别是基于人的面部特征信息进行身份识别的一种生物识别技术，是模式识别与计算机识别等领域的研究热点。现有的人脸识别方法主要有主成分分析PCA方法、线性判别分析LDA方法以及局部二值模式LBP方法。

PCA方法以及LDA方法均是基于图像全局信息的人脸识别方法。这两种人脸识别方法，目的在于提取图像的主成分，降低图像维度，但是在实际情况中，贡献率小的主成分往往可能含有对样本差异的重要信息，仅提取图像的主成分将造成人脸识别任务的失败。除此，由于人脸图像易受光照等因素变化的影响，PCA方法以及LDA方法仅考虑了图像的全局信息，忽略了图像各个像素点之间的方向、尺度关系，对这类问题的处理效果很不稳定。另外，PCA方法以及LDA方法均依赖强大的数学逻辑推理，计算复杂度高，而图像数据量大，处理并不方便。

LBP方法是基于图像局部信息的人脸识别方法，其对光照等因素均具备良好的鲁棒性。但是，由于LBP方法计算过于单一，仅考虑了单一像素点及其邻域像素点之间简单的差值关系，并且只覆盖了一个固定半径范围内的小区域，忽略了人脸图像素点邻域的尺度大小以及像素差值的方向性，这显然不能满足不同尺寸和频率纹理的需要，导致LBP方法常常无法提供更多有效的人脸特征信息。其次，LBP方法采取图像的灰度直方图作为其特征向量进行识别，忽略了图像的空间信息，所提供的信息量小。

以上的两类人脸识别方法，PCA方法以及LDA方法因其基于图像的全局信息，仅考虑了图像的主成分信息，忽略了很多图像的细节信息。LBP方法虽基于图像的局部信息，但其计算单一，仅覆盖了一个固定半径范围的小区域，只考虑了单一像素点及其邻域像素点之间简单的差值关系，不具有多尺度性以及差值关系方向性。在理想的实验条件下，以上的方法都可以达到很好的识别效果，但是在处理受光照等因素影响的人脸图像时，常常得不到理想的识别效果。

发明内容

本发明的目的在于针对现有方法的不足，提出了一种基于多尺度多方向局部二值模式的人脸识别方法，不仅描述了更多的人脸图像特征信息，而且保留了图像的空间信息，解决了现有技术在复杂光照下识别能力较低的问题。

本发明的技术方案包括如下步骤：

(1)人脸图像预处理：

随机提取C类人脸图像样本G副，并将各人脸图像裁剪为标准大小，作为训练样本集X＝{X_i,P_i}，其中每类人脸样本各包含M_Pi副，C表示提取的人脸类别个数,G表示人脸图像训练样本总数，X_i表示第i个训练样本，P_i表示X_i的类别标签,M＞0，G＞i＞0，C＞P_i＞0；随机提取N副人脸图像样本，并将其裁剪为标准大小，作为测试样本集Y＝{Y_j,Q_j}，其中，N表示人脸图像测试样本总数，Y_j表示第j个测试样本，Q_j表示Y_j的类别标签，N＞0，N＞j＞0；

(2)提取训练样本集X中各训练样本的特征向量并将其按行排列为训练样本特征矩阵

(2a)通过计算训练样本X_i各像素点与其八方向像素点之间多尺度多方向的差值关系，重构训练样本

(2b)对重构的训练样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练样本的特征向量

(2c)将训练样本集X内各训练样本的特征向量依次按行排列，得到训练样本特征矩阵

(3)提取测试样本集Y中各测试样本的特征向量并将其按行排列测试样本特征矩阵

(3a)通过计算测试样本Y_j各像素点与其八方向像素点之间多尺度多方向的差值关系，重构测试样本

(3b)对重构的训练样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练样本的特征向量

(3c)将训练样本集Y内各训练样本的特征向量依次按行排列，得到训练样本特征矩阵

(4)计算测试样本特征矩阵中各样本特征向量到训练样本特征矩阵中各样本特征向量之间的卡方距离，选取距离测试样本特征向量最近的训练样本特征向量的类别标签P_i作为该测试样本的识别标签通过对比测试样本集Y中各样本识别标签与其原类别标签Q_j的是否相同，得出最终的识别结果。

卡方距离：

其中，S、M均为人脸样本特征向量，S为训练样本特征向量，M为测试样本特征向量，ε为特征向量第ε个数值。

本发明基于图像局部信息，以LBP方法为基础，通过考虑中心像素点与其邻域八方向像素点之间的关系，重构了人脸图像样本，突出了人的特征信息；除此，本发明对重构了的人脸图像样本进行不重叠的分块求平均处理，并将其串联为人脸样本图像的特征向量，简化了特征向量的构建过程。

本发明与现有技术相比具有如下优点：

1、本发明将人脸图像各像素点邻域内的八方向像素特征进行多尺度、多方向加权，使得人脸重构样本内各像素点的像素值，不再简单地依靠其邻域八个像素点的值来决定。增加了重构人脸样本内，各个像素点所包含的信息量，从而提高了人脸识别技术在复杂光照条件下的识别能力。

2、本发明将人脸重构样本进行不重叠地分块平均处理，并将各块的像素平均值串联为人脸样本的特征向量，不仅解决了人脸样本维度过高的问题，而且保留了人脸图像样本的空间信息，从而加快了识别速度，提高了人脸识别技术对复杂光照因素的鲁棒性。

附图说明

图1是本发明的实现总流程图；

图2是本发明图像重构样本的具体构建过程；

图3是本发明图像样本特征向量的具体提取过程；

图4是本发明使用数据库中的样本图像。

具体实施方式

下面结合附图，对本发明详细说明：

近年来，生物特征识别技术得到了飞速的发展。人脸特征作为人的一种内在属性，因其具有强大的自身稳定性和个体差异性，使得人脸识别技术一跃成为当下最流行的生物特征识别技术。现阶段，各式各样的人脸识别算法被竞相提出。这些算法在理想的实验条件下，都可以得到良好的识别效果。但是，在现实情况中，由于人脸图像容易受到光照等变化因素的影响，传统的人脸识别方法常常达不到好的识别效果。针对这个问题，本发明提出了一种基于多尺度多方向局部二值模式的人脸识别方法。

实施例1，

参照图1，本发明的具体实施步骤如下：

(1)人脸图像预处理：随机提取C类人脸图像样本G副，并将各人脸图像裁剪为标准大小，作为训练样本集X＝{X_i,P_i}，其中每类人脸样本各包含M_Pi副，C表示提取的人脸类别个数,G表示人脸图像训练样本总数，X_i表示第i个训练样本，P_i表示X_i的类别标签,M＞0，G＞i＞0，C＞P_i＞0；随机提取N副人脸图像样本，并将其裁剪为标准大小，作为测试样本集Y＝{Y_j,Q_j}，其中，N表示人脸图像测试样本总数，Y_j表示第j个测试样本，Q_j表示Y_j的类别标签，N＞0，N＞j＞0，Q_j为任意值。

本例中，是从标准人脸库中随机地提取C类人脸图像样G幅，标准人脸库中的人脸图像均为统一大小，随机地选取C类M幅人脸样本构成的训练样本集X＝{X_i,P_i}，C类N幅人脸样本构成的测试样本集Y＝{Y_j,Q_j}，其中，C≥3，G≥2，N≥1，M≥1，M≥i≥1，N≥j≥1，X_i表示第i个训练人脸样本，P_i表示X_i的类别标签，Y_j表示第j个测试人脸样本，Q_j表示Y_j的类别标签。

(2)提取训练样本集X中各训练样本的特征向量并将其按行排列为训练样本特征矩阵

(2a)通过计算训练样本X_i各像素点与其八方向像素点之间多尺度多方向的差值关系，重构训练样本

(2b)对重构的训练样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练样本的特征向量

(2c)将训练样本集X内各训练样本的特征向量依次按行排列，得到训练样本特征矩阵

(3)提取测试样本集Y中各测试样本的特征向量并将其按行排列测试样本特征矩阵

(3a)通过计算测试样本Y_j各像素点与其八方向像素点之间多尺度多方向的差值关系，重构测试样本

(3b)对重构的训练样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练样本的特征向量

(3c)将训练样本集Y内各训练样本的特征向量依次按行排列，得到训练样本特征矩阵

(4)计算测试样本特征矩阵中各样本特征向量到训练样本特征矩阵中各样本特征向量之间的卡方距离，选取距离测试样本特征向量最近的训练样本特征向量的类别标签P_i作为该测试样本的识别标签通过对比测试样本集Y中各样本的识别标签与其原类别标签Q_j是否相同，得出测试样本集的识别结果。

卡方距离：

其中，S、M均为人脸样本特征向量，S为训练样本特征向量，M为测试样本特征向量，ε为特征向量第ε个数值。

本发明通过对人脸图像各像素点邻域内的八方向像素点进行多方向、多尺度加权，完成了对各像素点八方向邻域特征的更新，并更新了阈值的设置方式，对图像各像素点八方向的邻域特征进行二进制特征编码，代替原像素点的像素值；对重构编码后的人脸图像进行不重叠地分块处理，并对分块后各块内的像素点求平均值，并将各块的平均值依次串联为该人脸图像的特征向量，提高了识别效率。

实施例2，

参照图2，基于多尺度多方向的局部二值模式的人脸识别方法同实施例1，其中步骤(2a)及(3a)中所述，通过计算训练和测试样本W_k各像素点与其八方向像素点之间多尺度多方向的差值关系，重构训练和测试样本均按照如下方法进行：

((2a)及(3a)中出现的训练样本X_i，测试样本Y_i因表示方法不同，特在此统一表述为人脸样本W_k。)

其中，W_k表示人脸样本，W_k(s,t)表示人脸样本W_k内任意一像素点，s表示该像素点的横坐标，t表示该像素点的纵坐标。

a.1如图2，取人脸样本W_k内任意一像素点的值W_k(s,t)，分别求则该像素点与其八方向像素点之间多尺度多方向的差值关系表示为：

本例中，如图2，取以W_k(s,t)为中心像素点的5×5方形邻域，该方形邻域除中心像素点以外，共包含24个像素点。因各像素点并不是孤立存在，其存在与其周围的像素点存在着密不可分的关系，故本发明采用了更大尺度的邻域范围。除此，本例在以W_k(s,t)为中心像素点的0，45，90，135，180，-135，-90，-45八个方向上，每个方向均取该主方向以及相邻45度的两个子方向上的6个像素点进行加权，主方向像素值取原像素值的2倍，子方向像素值取原值。通过对每个方向的6个像素点进行多尺度多方向加权，将像素点之间的尺度信息与方向信息结合起来，进而丰富了图像各个方向上像素点的信息量。

a.2取上述八方向像素点间多尺度多方向的差值关系均值记作

当时，

当时，

如图2，按从右到左得顺序依次排列构成一个二进制序列编码，并将其转换成十进制数值，并将该十进制数值作为像素点W_k(s,t)的重构像素值，记作

本例中，取中心像素点八个方向的差值关系的均值作为阈值，对八方向的像素差值进行二值化操作，更新了阈值的设置方式，使得重构像素值的确定更加科学可靠。

a.3通过上述方法遍历人脸样本W_k内各个像素点，得到人脸样本W_k的重构人脸样本

本发明考虑了人脸图像各中心像素点与其八个方向多尺度多方向加权像素值之间的差值关系，并更新了编码过程中阈值的确定方法，丰富了图像样本中各个重构像素值的信息量，为人脸识别提供了更多的细节信息。

实施例3，

参照图3，基于多尺度多方向的局部二值模式的人脸识别方法同实施例1-例2，本发明步骤(2b)及(3b)中所述的对重构的训练和测试样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练和测试样本的特征向量按照如下方法进行：

b.1如图3，不重叠地按照从左至右、从上至下的顺序，依次选取重构人脸样本中的z*z个像素点构成像素块其中z为任意常数，f为像素块的编号，并对像素块内z*z个像素点做像素平均处理，得到该像素块邻域内各像素点的平均值：

其中为像素块内任意一像素点的像素值。

b.2如图3，按照从左至右，从上至下的顺序，依次将各像素块平均值串联起来，构成该人脸样本的特征向量：

本例中，如果图像尺寸恰好等于z的整数倍，则按上述方法求得人脸样本图像的特征向量；如果图像尺寸不等于z的整数倍，则将余下的像素块汇入该剩余像素块左侧或上侧的像素块内求得像素均值，并排列得到人脸样本图像的特征向量。

本发明通过对重构图像样本进行分块，求均值，以及串联操作，不仅保留了图像的空间信息，而且大大地降低了图像的维度，进而提高了数据的运算速度。

下面给出一个更加详尽的例子，对本发明进一步说明

实施例4，

基于多尺度多方向的局部二值模式的人脸识别方法同实施例1-例3，

步骤1、人脸图像预处理：

(1a)选取人脸数据库：

本实例从Yale B人脸库中选38人组成的2414幅人脸图，人脸图像大小为192×168，参见图4(a)；从CUMPIE人脸库中选取68人组成的1632幅人脸图，人脸图像大小为64×64，参见图4(b)。

(1b)构成训练样本集和测试样本集：

从各个人脸数据库内，随机地选取C类M幅人脸样本构成的训练样本集X＝{X_i,P_i}，C类N幅人脸样本构成的测试样本集Y＝{Y_j,Q_j}，其中，C≥3，G≥2，N≥1，M≥1，M≥i≥1，N≥j≥1，X_i表示第i个训练人脸样本，P_i表示X_i的类别标签，Y_j表示第j个测试人脸样本，Q_j表示Y_j的类别标签。

步骤2、提取训练样本集X的特征矩阵

(2a)如图2，通过计算训练样本X_i各像素点与其八方向像素点之间的差值关系，重构训练样本

按照如下方法进行：

取训练样本X_i内任意一像素点的值X_i(s,t)，则该像素点与其八方向像素点之间的差值关系表示为：

取上述八方向像素点间多尺度多方向的差值关系均值记作v表示八方向的方向编号，8≥v≥1。

当时，

当时，

按从右到左的顺序依次排列构成一个二进制序列编码，并将其转换成十进制数值，并将该十进制数值作为像素点X_i(s,t)的重构像素值，记作

通过上述方法遍历训练样本X_i内各个像素点，得到训练样本X_i的重构训练样本

(2b)如图3，对重构的训练样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练样本的特征向量

按照如下方法进行：

不重叠地按照从左至右、从上至下的顺序，依次选取重构训练样本中的z*z个像素点构成像素块其中z为任意常数，f为像素块的标号，并对像素块邻域内z*z个像素点做像素平均处理，得到该像素块邻域内各像素点的平均值：

其中为像素块内任意一像素点的像素值。

按照从左至右、从上至下的顺序，依次将各像素块平均值串联起来，构成该人脸样本的特征向量：

(2c)将训练样本集X内各训练样本的特征向量依次按行排列，得到训练样本特征矩阵

步骤3、提取测试样本集Y的特征矩阵

(3a)如图2，通过计算测试样本Y_j各像素点与其八方向像素点之间的差值关系，重构测试样本

按照如下方法进行：

取测试样本Y_j内任意一像素点的值Y_j(s,t)，则该像素点与其八方向像素点之间的差值关系表示为：

取上述八方向像素点间多尺度多方向的差值关系均值记作v表示八方向的方向编号，8≥v≥1。

当时，

当时，

按从右到左得顺序依次排列构成一个二进制序列编码，并将其转换成十进制数值，并将该十进制数值作为像素点Y_j(s,t)的重构像素值，记作

通过上述方法遍历训练样本Y_j内各个像素点，得到训练样本Y_j的重构训练样本

(3b)如图3，对重构的训练样本分块求取块平均值，并将各块平均值串联为一个行向量，作为该训练样本的特征向量

按照如下方法进行：

不重叠地按照从左至右、从上至下的顺序，依次选取重构测试样本中的z*z个像素点构成像素块其中z为任意常数，f为像素块编号，并对像素块邻域内z*z个像素点做像素平均处理，得到该像素块邻域内各像素点的平均值：

其中为像素块内任意一像素点的像素值。

按照从左至右、从上至下的顺序，依次将各像素块平均值串联起来，构成该人脸样本的特征向量：

(3c)将训练样本集Y内各训练样本的特征向量依次按行排列，得到训练样本特征矩阵

步骤4、对测试样本进行识别：

计算测试样本特征矩阵中各样本特征向量到训练样本特征矩阵中各样本特征向量之间的卡方距离，选取距离测试样本特征向量最近的训练样本的类别标签P_i作为该测试样本的识别标签通过对比测试样本集Y中各样本的识别标签与其原类别标签Q_j是否相同，得出测试样本集的最终识别结果。

卡方距离：

其中，S、M均为人脸样本特征向量，S为训练样本特征向量，M为测试样本特征向量，ε为特征向量第ε个数值。

本发明将人脸图像各像素点邻域内的八方向像素特征进行多尺度、多方向加权，并更新了阈值的设置方法，对图像样本各像素点的八方向加权像素点进行二值操作，进而重构了人脸图像各像素点的像素值，增加了重构人脸样本内，各个像素点所包含的信息量；除此，本发明将人脸重构样本进行不重叠地分块平均处理，并将各块的像素平均值串联为人脸样本的特征向量，不仅解决了人脸图像样本维度过高的问题，而且保留了人脸图像样本的空间信息。总之，本发明提高了人脸识别技术对复杂环境因素的鲁棒性，提高了人脸识别技术在复杂光照下的识别能力。

本发明的效果可以通过仿真实验进一步说明：

实施例5，

基于多尺度多方向的局部二值模式的人脸识别方法同实施例1-例4，

实验条件：

实验在CPU为Core(TM)3.40GHZ、内存4G、WINDOWS 7系统上使用MatlabR2012b进行仿真。

选取Yale B人脸数据库中38人的2414幅图像，人脸图像大小为192×168，每个人有不同的姿势、不同的光照条件，图4a是Yale B人脸数据库某男性的样本图像；选取CUMPIE人脸数据库中68人的1632幅图像，人脸图像大小为64×64，每个人有不同的姿势、不同的光照条件；图4b是CUMPIE人脸数据库某女性的样本图像。

实验内容：

实验1：针对上述人脸库，分别用本发明在不同分块大小条件下进行了40次人脸识别实验。表1是针对Yale B人脸库，每类训练样本个数分别取6、8、10，分块大小取不同值时的平均人脸识别率。表2是针对CUMPIE人脸库，每类训练样本个数分别取6、8、10，分块大小取不同值时的平均人脸识别率。表中“T6、T8、T10”表示训练样本数分别取6，8，10。

表1本发明在Yale B数据库下，训练样本、分块大小取不同值时的识别率(％)

表2本发明在CUMPIE数据库下，训练样本、分块大小取不同值时的识别率(％)

通过表1、表2可以看出，本发明在不同的人脸数据库下都可以达到良好的识别效果，也验证了本发明具有良好的稳定性。同时，当本发明的分块大小取不同值时，随着块内像素点的增多，图像的特征向量维数不断减小，所能提供人脸特征也不断减少，识别率略有下降。随着块内像素点的减小，图像的特征向量维数不断增多，识别率虽有提高，但是也适当的损失了人脸识别的识别速度。

为了保持人脸图像的高识别率，又不损失识别速度，本发明在下述实验中，选择7×7作为分块大小，进行进一步的对比实验。

实施例6，

基于多尺度多方向的局部二值模式的人脸识别方法同实施例1-例4，仿真条件和内容同实施例5。

实验2：针对上述人脸库，本发明对LBP方法重构的人脸样本采取了本发明所述的分块、求均值、串联的方法提取了人脸图像特征向量，并进一步进行识别，将其命名为NewLBP。同时，本发明对LDP方法重构的人脸样本采取了本发明所述的分块、求均值、串联的方法提取了人脸图像特征向量，并进一步进行识别，将其命名为NewLDP。分别用LBP、LDP、NewLBP、NewLDP、以及本发明进行了40次人脸识别实验，并求得了平均识别结果。实验结果如表3，表3中取分块数为7×7。“T6、T8、T10”表示训练样本数分别取6，8，10。

表3本发明和其他方法在各人脸数据库下的识别率(％)

LBPLDPNewLBPNewLDP本发明Yale B(T6)31.1229.6965.6660.0086.18Yale B(T8)35.6633.8272.0266.6890.54Yale B(T10)39.2937.1876.6571.7493.58CUMPIE(T6)73.0670.6380.6975.7786.40CUMPIE(T8)80.8077.6184.8780.5289.37CUMPIE(T10)85.4381.8287.3783.7090.90

通过表3可以看出，本发明与其他人脸识别方法相比，具有更好的识别效果。同时，使用了本发明特征向量提取方法的NewLBP方法以及NewLDP方法与原LBP方法以及LDP方法相比，识别效果也得到了大幅度的提高。经验证，本发明具有良好的可实施性。

简而言之，本发明公开的一种基于多尺度多方向局部二值模式的人脸识别方法，主要解决现有技术在复杂环境下识别能力较低的问题，其实现步骤为：1.选取人脸数据库，并将其划分训练和测试样本集；2.利用人脸样本像素点及其八方向像素点之间的差值关系，重构训练样本及测试样本；3.对重构的训练及测试样本进行分块求均值操作，得到训练及测试样本的特征向量；4.将各人脸样本的特征向量依次按行排列，得到训练及测试样本的特征矩阵；5.计算测试样本特征矩阵与训练样本特征矩阵之间的卡方距离，得到测试样本集的识别结果。本发明对人脸图像各邻域内八方向特征进行多方向、多尺度加权得重构样本，并对其进行不重叠地分块、平均、串联操作得到特征向量，增加了像素点信息量，解决了人脸样本维度过高的问题，保留了空间信息。本发明提升了人脸识别在复杂光照下的识别率，可应用于视频监控、图像检索和公共安全。